Организовать сбор информации с одного из крупнейших сайтов частных объявлений Украины - Olx.ua
Парсер по ключевому слову, заданному в исходных данных (в примерах это 2 ключевых слова - "собака" и "автомобиль"), находит список всех объявлений по всей Украине, заходит в каждое объявление на первых двух страницах поиска и выводит в лист эксель информацию, содержащуюся в объявление:
- название объявления
- описание объявления
- тип товара (новый, б/у - применимо не ко всем товарам)
- дата объявления
- цена
- валюта
- количество просмотров
- город
- номер телефона
Номера телефонов на сайте Olx.ua защищены от парсинга. Скорость скачивания данных с телефонами очень низкая. Сервер не показывает больше определенного количества за единицу времени, поэтому сбор больших объемов с телефонами данной настройкой невозможен.
Также на лист выводится гиперссылка на само объявление, на поисковую страницу по данному запросу и информация о самом запросе.
В процессе работы парсер сверяется с уже выведенными данными и не выводит дубли объявлений на лист (если гиперссылка на объявление уже есть на листе, то повторно это объявление выводиться не будет).
Данный парсер может быть доработан под Ваши потребности. Например:
- выводить дополнительные поля/столбцы в выгрузку (например, объявление от частного лица или от юридического, или имя контактного лица),
- осуществлять поиск не по всей Украине, а в отдельных областях (и в целом воссоздавать работу фильтров на сайте olx.ua, ограничивать минимальную и максимальную стоимость товара, указывать нужную рубрику и т.д.)
- выгружать картинки объявления (от 1-ой до всех доступных), в том числе с переименованием фотографий по нужной Вам маске.
Для приобретения полной версии настройки этого парсера, обращайтесь на почту, с указанием ссылки на эту статью.
Комментарии
Приветствую! Подскажите, вашим парсером можно обойти лимит в 25 страниц на olx?
Настройка под данный сайт выполняется под заказ. Если Вы ознакомились с тем, что написано в данной статье по поводу телефонов, и Вас это устраивает, можете оформить заказ. Инструкция по оформлению заказа: https://excelvba.ru/programmes/Parser/order
Я заинтересован в данном парсинге, но к сожалению города и состояние не подтягивает
Настройку пришлось немного подкорректировать, т.к. другая страна.
Отправил Вам образец выгрузки (сто строк) на почту.
Можете показать на примере?
http://olx.pl/motoryzacja/czesci-samochodowe/oswietlenie/warszawa/?search[private_business]=private&search[dist]=5&view=list
Отправить комментарий