Выгрузка всех товаров из каталога wildberries

Парсер сайта wildberries чаще всего применяется для выгрузки всех товаров из заданных разделов (категорий) сайта.

Нашей задачей будет выгрузить ВСЕ товары раздела, обойдя ограничение wildberries в 10 тысяч результатов по любому запросу (100 страниц результатов по 100 товаров, — больше вы не увидите, даже если в просматриваемой вами категории сотни тысяч товаров).

Для начала, ознакомьтесь с инструкцией по настройке параметров парсера wildberries, — там написано много полезного и важного.

Давайте посмотрим, как нужно правильно задать параметры парсера для выгрузки ВСЕХ товаров из произвольного раздела сайта:

На скриншоте выделены параметры парсера:

• красным — важные для этой задачи
• зеленым — имеющие влияние на результат, но тут вы можете сами выбрать любой из вариантов значений
• не помечены — не влияющие на результат для этого типа задачи

Почему помечен красным параметр «Глубина перебора подкатегорий»?
Чтобы исключить ситуацию, когда в объёмной категории (типа раздела Одежда, где более 830 тысяч товаров) окажутся одновременно более 10 тысяч товаров по одной цене, и парсер при выбранной опции «не перебирать подкатегории» просто не сможет добраться до всех товаров по этой цене, из-за этого ограничения сайта (подробнее об этом написано в инструкции по параметрам парсера WB)

Включать или нет кеширование страниц — решать вам. Если не нужен в результатах столбец с количеством продаж товара, смело включайте кеширование, и тогда начиная со второго запуска, парсер будет работать намного быстрее.

PS: Под задачу анализа позиций в каталоге WB парсер настраивается несколько иначе (инструкция)