История обновлений парсера wildberries

В этой статье сообщается об изменениях в настройках парсера wildberries, в связи с обновлением сайта.

15 апреля 2024

Не выводились данные по новым товарам — переделал алгоритм, во избежание подобных проблем в будущем.
Небольшие изменения по получению списка товаров по поисковым запросам (но работает нестабильно, иногда ошибки выскакивают, и парсер пропускает товары. Проблема касается только случаев, когда в «Исходные данные» вставлен текст поискового запроса, или ссылка на результаты поиска)

16 февраля 2024

Не выводились данные по новым товарам.
Небольшие изменения по получению списка товаров по поисковым запросам.

20 июля 2023

Изменения в API сайта — половина запросов стала выполняться иначе
(перестали выводиться половина столбцов).

23 мая 2023

Парсер стал выдавать ошибку при получении списка комментариев, — исправлено
Теперь невозможен вывод даты первого отзыва (ибо сайт показывает последние 1000 комментариев, и никак не получить первый комментарий, если их у товара больше 1000).
По умолчанию отключен вывод оценок и точного рейтинга, — можно включить, но работать будет в 2 раза медленнее (из-за изменений в API сайта).

21 февраля 2023

Некоторые разделы парсер перестал обрабатывать из-за изменений на сайте, — исправлено
Восстановлено получение ссылок на фото товаров, — в связи с переделкой сайта ссылки на картинки теперь имеют совсем другой формат.
Добавлен выбор / ввод города — от изменения города меняется порядок выдачи товаров, и немного изменяется количество товаров.

15 декабря 2022

Добавлены 3 новых столбца (группа товара, тип товара, предмет)
Добавлен фильтр по выводимым отзывам (можно выводить отзывы только за несколько последних дней)

24 ноября 2022

Очередное изменение API сайта (каталог товаров запрашивается 4 разными способами, в зависимости от типа страницы)

24 августа 2022

Изменения в API сайта (новое API поиска, вывод цен по другому запросу, новый способ получения списка товаров)
Кроме того, восстановлен вывод данных в столбцы со списками похожих и рекомендованных товаров, а также поисковых тегов («с этим товаром искали»)

17 июня 2022

Внесены небольшие изменения в настройки — парсер начал выдавать ошибки типа таких:

1 июня 2022

Изменения в API сайта. Восстановлен вывод данных в столбцы Купили более и Подраздел
 

18 мая 2022

Добавлен столбец «Комплектация».
 

16 мая 2022

В очередной раз полностью переделали начинку сайта, причем переделывали несколько раз (перенастроил парсер, через 2 дня уже не работает, надо снова переделывать, — и так 3 раза за последний месяц).

Полностью восстановлена работа парсера, в том числе касательно работы с ссылками на результаты поиска (последние полгода этот функционал не был доступен)
Изменились некоторые параметры в блоке «Переменные» на вкладке Основная информация настроек парсера (убрал неактуальные, добавил новые)

Добавлено несколько новых столбцов:

15 марта 2022

Исправлен вывод данных о продавце товара (отображались кракозябры вместо русских символов).
Исправлена ошибка предыдущего обновления, касательно истории цен.
 

12 марта 2022

Реализован вывод истории цен (по данным из карточки товара)
Включается в блоке «Переменные» на вкладке Основная информация настроек парсера:

Новые столбцы выводятся между наличием по складам, и характеристиками товара:

24 февраля 2022

Помимо отзывов, выводятся также вопросы по товару
Исправлено получение остатков товара на складах (перестало работать в связи с изменениями на сайте)
 

10 ноября 2021

В очередной раз изменилась начинка сайта (появилось новое API, старое API отключили)
Вновь появилась возможность задавать скидку покупателя (из профиля на сайте) в параметрах парсера.
Исчез столбец «Точное количество продаж» (теперь таких данных нет в коде страницы) - есть только поле «Купили более»
Добавлена возможность выводить наличие по складам без детализации по размерам (галочка в параметрах парсера)
 

20 октября 2021

Небольшое исправление для восстановления работы парсера
 

1 сентября 2021

Исправлена ошибка с выводом названий подразделов (первые 4 столбца)
Добавлен столбец «Точное количество продаж» (ранее эти данные были не у всех товаров) справа от столбца «Купили более»
 

18 июля 2021

В очередной раз переделали начинку сайта. На сайте добавили новый API, и изменили механизм поиска.
Убраны столбцы «Теги» (теги недавно убрали с сайта) и «Процент довольных качеством» (давно на сайте нет этих данных)
Добавлены новые столбцы «ИНН продавца», «Адрес продавца» (данные появились в новом API)
Для некоторых товаров стали заполняться столбцы «Подраздел», где раньше не было данных (но не для всех товаров на сайте сейчас есть эти данные)
 

20 мая 2021

Исправлены мелкие ошибки в настройках парсера.
 

13 мая 2021

Реализована возможность выводить все отзывы по товарам.
Инструкция по включению режима вывода отзывов (ВНИМАНИЕ: в этом режиме на лист выводится НАМНОГО больше строк)
 

6 мая 2021

Доработаны настройки парсера с целью исключения ошибок, когда в исходной ссылке присутствует параметр page=1.
Кроме того, на первой странице некоторых разделов выводится не 100 товаров, а больше (внедряются несколько рекламных товаров). Раньше парсер эти товары не выводил, теперь же выводится всё в точности как на страницах сайта.
 

18 апреля 2021

Изменение API сайта (часть страниц выводится не как раньше).
 

30 марта 2021

Отключение старого API сайта (теперь по ID товара не получить полную информацию о товаре).
В связи с этим парсер перестал выводить основные данные (в том числе цены) для всех товаров (кроме товаров с ID>20.000.000, данные по которым уже месяц как брались со страниц товаров, а не по API). Теперь все данные приходится получать со страниц товаров, что заметно замедляет работу парсера (приходится прогружать страницы товаров, а раньше этого можно было избежать, используя API, получая одним запросом данные сразу по 100 товарам)
Отключены столбцы (теперь эти данные не доступны): Цвета по фильтрам, Название 2
 

18 марта 2021

Изменения API сайта (старые версии настроек не выводят данные). Это повлияло на парсинг любых разделов / поисковых фраз (кроме парсинга по списку ID товаров).
Добавлен столбец ОГРН продавца.
 

22 февраля 2021

Не выводятся данные для новых товаров (ID>20.000.000)
Это связано с тем, что недокументированное API wildberries, которое используется парсером, не работает для товаров с кодами от 20.000.000
Для любого товара с ID до 19999999 данные выводятся, а данные по новым товарам видимо хранятся в отдельной базе, и при запросе данных по этим товарам вылетает ошибка :

{"state":-1,"data":{"errorMsg":"lookup catalog-backend-part20.wbx on 10.10.112.10:53: no such host"}}

Это не временная ошибка (прошел месяц, а ситуация не меняется), и товары с ID>20.000.000 всё чаще появляются в результатах поиска.
Для новых товаров данные приходится брать со страницы товара, но там есть не всё, что было доступно через API.
Для товаров с ID>20.000.000 не выводятся:

• столбец «Цвета по фильтрам»
• значения остатков по складам

Для старых товаров есть данные, сколько товаров каждого размера есть на каждом из складов, а для новых  мы можем получить лишь список складов, где есть в наличии этот товар.
Т.е. раньше по каждому размеру данные были в таком виде: склад Коледино - 10 шт., склад Подольск - 5 шт, склад Казань - 24 шт., а для новых товаров сейчас данные идут в таком виде: всего 39 шт, склады: Коледино, Подольск, Казань.

22 ноября 2020

мелкая доработка (перестал выводиться столбец «Продавец»)
 

18 ноября 2020

Серьезное изменение начинки сайта (парсер пришлось перенастраивать чуть ли ни «с нуля»)
Часть сайта перевели на новое API, другую часть оставили на старом. Итого 2 разных механизма запросов, для разных разделов
(хотя внешне выглядит всё одинаково)

5 августа 2020

добавлено несколько новых столбцов

PS: Ранее история изменений парсера WB не велась (парсер поддерживается и продаётся с сентября 2017 года)