Параметры парсера wildberries

В настройках парсера wildberries можно задать параметры, которые влияют на вывод результата, и используются для настройки этого парсера под различные задачи:

Всего в настройках этого парсера есть 12 параметров:
(для версии парсера wildberries от 23 июня 2020 года)

Режим сортировки

В выпадающем списке доступны несколько вариантов:

популярность
рейтинг
цены по возрастанию / убыванию
скидка
обновление

Способ сортировки влияет только на порядок вывода данных на лист, и на значение столбца Позиция (для варианта, когда задачей парсера является не сбор всех товаров из раздела, а анализ позиций товаров в выдаче wildberries).
Выбор опций сортировки полностью аналогичен имеющимся на сайте:

Минимальная / максимальная цена

2 текстовых поля, в которых можно задать диапазон цен для фильтрации результатов с сайта.
По умолчанию, значения этих параметров выставлены как 0 и 1000000 (чтобы в выборки попали все товары). Здесь можно задать любые числовые значения минимальной и максимальной цены.

ВАЖНО: в вывод на лист могут попасть товары, цены на которые выходят за рамки заданного диапазона. Это происходит потому, что парсер не отслеживает соответствие цены товара заданным критериям, а применяет фильтр по цене при запросе товаров из раздела (аналогично тому, как если бы вы задали диапазон цен на сайте). Сайт же устроен так, что в выборку могут попадать и товары дешевле / дороже (а парсер берет все результаты выдачи, т.е. в таблице Excel вы увидите все те же товары, которые выдаст сайт)

Парсить только товары с отзывами

При включении этой опции парсер не будет выводить товары, у которых нет от одного отзыва:

Максимальное количество товаров по каждому запросу / категории

Этот параметр позволяет ограничить количество товаров, взятых в каждом обрабатываемом подразделе / бренде / запросе.

Если вы хотите загрузить все товары раздела, то поставьте в этом поле 1000000 (чтобы снять ограничение).
Уменьшать это значение нужно только в случае, когда стоит задача отслеживать позиции товаров, — тогда в этом поле ставим значение от 1 до 10000 (например, чтобы вывести топ-10 товаров по каждому запросу, поставьте в этом поле 10).

ВАЖНО: Максимальное значение этого параметра, чтобы сохранялась актуальность поля Позиция в результатах, — 10000 (по любому запросу / в любом раздеде wildberries выдаёт максимум 10 тысяч результатов. Если загружать больше результатов (например, чтобы выгрузить всю женскую обувь — 255852 товара), то парсер будет делать несколько запросов, разбивая подразделы по цене (сначала взяв товары с ценой от 0 до 300 руб, потом от 300 до 500 руб, и т.д.), и данные в столбце Позиция перестанут соответствовать действительности (изменится порядок вывода товаров)

Кешировать страницы товаров

Включение этой опции максимально ускоряет второй и последующие запуски парсера, поскольку при каждом запуске парсер обращается к сайту только для получения страниц каталога (по 100 товаров на странице), а страницы товаров (карточки товаров) берутся из кеша (временных файлов на компьютере, созданных при первом запуске). Но, в этом случае, нет возможности получить такую важную характеристику товара, как «Товар купили» (количество продаж), т.к. эти данные присутствуют только в актуальной карточке товара (на сайте).

Таким образом, если вам нужен для анализа столбец с количеством продаж товара на текущую дату, то эту опцию (кеширование) надо отключить. Во всех остальных случаях, кеширование можно включить для ускорения работы (так как остальные данные, извлекаемые из карточек товара, обычно не меняются, - описание, характеристики, фото и т.п., а цены, скидки и остатки по складам подгружаются отдельно, и на их актуальность включение / отключение кеширования не влияет — они всегда актуальны)

Скидка пользователя, в процентах

В этом поле можно задать значение вашей скидки, в виде числа от 0 до 20, и тогда в выгрузке вы будете видеть такие же цены, как в браузере, будучи авторизованным на сайте wildberries.

20 марта 2021 года эта опция отключена (так как для новых товаров с ID>20.000.000 нет возможности получить эту цену с учётом скидки пользователя).

Значение скидки можно найти в своём профиле на сайте:

Названия размеров

В выпадающем списке можно выбрать тип размеров: оригинальные или российские.
Значение по умолчанию: оригинальные (российские размеры на сайте могут быть прописаны не для всех товаров)

Выводить количество дней на сайте (по дате первого отзыва)

Эта опция выведена в настройки, потому что получение этих данных требует отдельного запроса к сайту, что увеличивает время парсинга.
Если вам не нужны столбцы Дата первого отзыва и Количество дней на сайте, то можете отключить эту галочку, и парсер будет работать немного быстрее.

Примечания:

Количество дней на сайте вычисляется как разница между текущей датой и датой первого отзыва для товара.
Если у товара нет отзывов, парсер будет проставлять 1 в поле Количество дней на сайте.
У товаров с несколькими модификациями (разные цвета одной модели) отзывы на сайте объединены.
Может получиться так, что конкретно этот товар (платье красного цвета) был добавлен позже, а первый отзыв относится к другому товару этой группы (платье белого цвета). Парсер в данный момент не учитывает цвет товара из отзывов.
Позже в парсере появится возможность получать количество дней на сайте более точно, в том числе для товаров без отзывов (дата будет приблизительная, плюс-минус несколько дней, но будет намного ближе к действительности, чем дата первого отзыва). Кроме того, парсер сможет кешировать эти данные (не будут требоваться повторные запросы к сайту для поиска первого отзыва, если до этого парсер уже запрашивал данные по этому товару).
Эта возможность будет предоставляться за дополнительную плату (если вам это интересно, пишите в скайп или на почту, — это ускорит процесс)

Глубина перебора подкатегорий

В выпадающем списке доступны 3 варианта:

не перебирать
на 1 уровень
на 2 уровня

Это очень важный параметр, — от него зависит количество результатов на выходе парсера.

Если ваша задача — выгрузить все товары из разделов / брендов, то выберите вариант «на 2 уровня». Тогда парсер в заданной вами категории будет перебирать подкатегории, а в них — ещё вложенные подкатегории, и таким образом доберётся до всех товаров (не забываем, что в любой выборке на сайте можно получить максимум 10 тысяч результатов).

Вообще, конечно, есть и большие категории второго уровня (где больше 10 тысяч товаров), и парсер оттуда всё равно возьмёт все товары (разбив подкатегорию на несколько выборок, для разных диапазонов цен), но лучше не ограничивать парсер в возможности перебора подкатегорий, — а то вдруг в огромной главной категории (типа Одежды, где 830 тысяч товаров) окажутся одновременно более 10000 товаров по одной цене (что маловероятно на Wildberries, но на Озоне такое точно встречается), тогда при опции перебора «не перебирать» парсер не сможет добраться до всех товаров по этой цене.

Если же вам нужно отслеживать позиции товаров (например, вывести топ-10 товаров в заданных разделах), то вы можете выбрать любой из вариантов перебора, в зависимости от того, какой нужен результат.

Например, мы хотим получить топ-10 товаров из раздела Обувь, который содержит 6 подразделов (мужская, женская, ортопедическая, и т.п.), а в этих подразделах иногда есть еще вложенные подразделы (детская обувь подразделяется на подкатегории Для мальчиков и Для девочек).

Если мы выберем режим «не перебирать», то на выходе получим 10 строк (с позициями от 1 до 10), — парсер просмотрит только раздел Обувь, не заглядывая в подразделы. При выборе варианта «на 1 уровень» мы в результате получим уже 60 строк (с позициями от 1 до 10 для каждого из подразделов), — парсер возьмет 10 первых товаров из каждого подраздела 1 уровня. Если же мы укажем здесь «на 2 уровня», то на выходе будет много блоков по 10 строк, — для каждого из подразделов 2 уровня (если второго уровня в каком-то подразделе нет, выведутся первые товары подраздела первого уровня)

Не выводить товар на лист повторно, если он уже есть в таблице

Эту опцию рекомендуется включить, если вы выгружаете разделы сайта целиком, т.к. один товар может на сайте присутствовать одновременно в разных разделах.
Но, если вы анализируете позиции товаров, и нужно из нескольких подразделов собрать топ-100 товаров, то обязательно отключите эту опцию, иначе некоторые блоки (выборки из подразделов) будут содержать не 100 товаров, а меньше (когда парсеру попадется товар, уже попавший в ранее сделанную выборку, и присутствующий уже в таблице)

В новых версиях парсера могут появиться дополнительные опции, не описанные в этой инструкции.

Если вам нужны какие-то дополнительные настройки для этого парсера, — пишите на почту, или в комментариях к статье.

Какие настройки выбрать для каждой из типовых задач:

Настройки парсера Wildberries для выгрузки всех товаров по запросу / из заданных разделов
Настройки парсера Wildberries для анализа позиций товаров в выдаче

3243 просмотра