Надстройка Parser для Excel — простое и удобное решение для парсинга любых сайтов (интернет-магазинов, соцсетей, площадок объявлений) с выводом данных в таблицу Excel (формата XLS* или CSV), а также скачивания файлов.
Особенность программы — очень гибкая настройка постобработки полученных данных (множество текстовых функций, всевозможные фильтры, перекодировки, работа с переменными, разбиение значения на массив и обработка каждого элемента в отдельности, вывод характеристик в отдельные столбцы, автоматический поиск цены товара на странице, поддержка форматов JSON и XML).
В парсере сайтов поддерживается авторизация на сайтах, выбор региона, GET и POST запросы, приём и отправка Cookies и заголовков запроса, получение исходных данных для парсинга с листа Excel, многопоточность (до 200 потоков), распознавание капчи через сервис RuCaptcha.com, работа через браузер (IE), кеширование, рекурсивный поиск страниц на сайте, сохранение загруженных изображений товара под заданными именами в одну или несколько папок, и многое другое.
Поиск нужных данных на страницах сайта выполняется в парсере путем поиска тегов и/или атрибутов тегов (по любому свойству и его значению). Специализированные функции для работы с HTML позволяют разными способами преобразовывать HTML-таблицы в текст (или пары вида название-значение), автоматически находить ссылки пейджера, чистить HTML от лишних данных.
За счёт тесной интеграции с Excel, надстройка Parser может считывать любые данные из файлов Excel, создавать отдельные листы и файлы, динамически формировать столбцы для вывода, а также использовать всю мощь встроенных в Excel возможностей.
Поддерживается также сбор данных из текстовых файлов (формата Word, XML, TXT) из заданной пользователем папки, а также преобразование файлов Excel из одного формата таблицы в другой (обработка и разбиение данных на отдельные столбцы)
В программе «Парсер сайтов» можно настроить обработку нескольких сайтов. Перед запуском парсинга (кнопкой на панели инструментов Excel) можно выбрать ранее настроенный сайт из выпадающего списка.
Пример использования парсера для мониторинга цен конкурентов
Дополнительные видеоинструкции, а также подробное описание функционала, можно найти в разделе Справка по программе
В программе можно настроить несколько парсеров (обработчиков сайтов).
Любой из парсеров настраивается и работает независимо от других.
Примеры настроенных парсеров (можно скачать, запустить, посмотреть настройки)
Видеоинструкция (2 минуты), как запустить готовый (уже настроенный) парсер
Настройка программы, - дело не самое простое (для этого, надо хоть немного разбираться в HTML)
Если вам нужен готовый парсер, но вы не хотите разбираться с настройкой,
— закажите настройку парсера разработчику программы. Стоимость настройки под конкретный сайт - от 2500 рублей.
(настройка под заказ выполняется только при условии приобретения лицензии на надстройку «Парсер» (4000 руб)
Инструкция (с видео) по заказу настройки парсера
По всем вопросам, готов проконсультировать вас в Скайпе.
Программа не привязана к конкретному файлу Excel.
Вы в настройках задаёте столбец с исходными данными (ссылками или артикулами),
настраиваете формирование ссылок и подстановку данных с сайта в нужные столбцы,
нажимаете кнопку, - и ваша таблица заполняется данными с сайта.
Программа «Парсер сайтов» может быть полезна для формирования каталога товаров интернет-магазинов,
поиска и загрузки фотографий товара по артикулам (если для получения ссылки на фото, необходимо анализировать страницу товара),
загрузки актуальных данных (цен и наличия) с сайтов поставщиков, и т.д. и т.п.
Справка по программе «Парсер сайтов»
Можно попробовать разобраться с работой программы на примерах настроенных парсеров
Комментарии
Пётр, нет простых способов это сделать
Можно что-нибудь наколдовать с настройками, но повозиться надо
Если готовы приобрести программу, и проблема только в добавлении пустых строк, - напишите в скайп, что-нибудь придумаем
администратор здравствуйте, скажите пожалуйста как сделать чтобы строки c результатам были разделены пустыми строками при выводе на лист?
Помощь с настройкой парсера под сайты НЕ входит в стоимость программы.
За дополнительную плату, - да, можно
Если приобрету парсер, подскажете как настроить, в какую точку "долбить"? Так сказать, направите в верном направлении?
Всё возможно. Только настройка чуть сложнее.
Можем настроить под заказ.
Заказы на парсер принимаются в таком виде
http://excelvba.ru/programmes/Parser/order
Добрый день, возможно ли запарсерить "фильтр (вкладку)" выбор по автомобилям с сайта https://shininvest.ru/. Дело в том, что попытался сам, но застопарился на свойстве модель автомобиля, парсер их (модели) не выводит, не видит, а в браузере отображает, вот и не приложу ума, либо проблема в "кудрявости" рук, либо это невозможно...
Николай, надо делать проверку, отобразилась ли капча на странице
И отображать окно браузера, только если капча отобразилась, - а не при каждой загрузке страницы
Можем настроить под заказ.
Правильно ли составлен алгоритм?
1) Загрузить ИСХОДНЫЙ КОД веб-страницы || URL="https://prosvet1.com/g6060167-potolochnye-svetilniki"
2) Отразить/скрыть IE || Visible="отобразить"
3)INFO:Вывод сообщения (MsgBox) || Mesager=""; Title="";Buttons="0 = OK";
4) Отразить/скрыть IE || Visible="скрыть"
5) HTML: Получить все ссылки пейджера || Filters="auto"; PagerMask="page_"
В конечном итоге выводит:
Защита от роботов
function doSubmit(token) {
try {
var f = document.querySelector("form#check-captcha");
if (f) {
f.submit()
}
} catch(e) {}
}
Защита от роботов
Вы попали сюда, вероятно, потому что с вашего ip адреса было сделано слишком много запросов к сайту за единицу времени.
Введите текст, который вы видите на картинке, для того, чтобы вернуться к работе с сайтом.
В IE не выводится окно для ручного ввода.
Правильно ли настроил?
Всё просто, - надо 3 действия:
1) отобразить окно браузера IE
2) вывести MSGBOX с сообщением «Нажмите ОК, когда капча будет введена»
3) скрыть окно браузера IE
Подскажите как реализовать вывод капчи в окне браузера IE.
Здравствуйте, Николай
Пока такого нет.
Сейчас можно, при использовании браузера IE, отобразить его окно в случае необходимости ввода капчи
В скором времени реализую автораспознавание этой капчи через сервис rucaptcha.com
Добрый день. Есть функция для вывода "google captcha антибот" на экран и пройти капчу самому в процессе парсинга?
Теперь я видел ВСЕ!
ФАНТАСТИЧЕСКАЯ РАБОТА!
Если автор сделал такое в EXCEL, то я ПРЕКЛОНЯЮ КОЛЕНИ перед его мастерством!
На своем долгом веку я видел только один условно бесплатный прект похожего уровня, который использую для парсинга товаров в Opencart, и к которому испытываю просто восторг.
Теперь таких проектов два!
Спасибо за работу, обязательно приобрету!
P.S. Интересная капча, первый раз такое вижу, понравилась!
Old School Style from file_id.diz !!! )))
Можем настроить под заказ, или могу помочь решить эту проблему, если готовы оплатить программу-парсер.
Пишите в скайп.
а у меня так не получается, тот сайт на котором авторизуюсь через IE, в парсере отправляет на страницу с ошибкой.. может гдето в IE настройки какие посмотреть?
Высылайте заказ на парсер (по каждому из сайтов) в таком виде:
http://excelvba.ru/programmes/Parser/order
тогда будет понятно, что вам нужно сделать, - и, соответственно, возможно или нет
Добрый день! есть возможность сделать парсер для сайтов типа exist.ru, www.autodoc.ru? критерий марка авто.
Есть возможность парсить ЛЮБЫЕ сайты.
На каком движке сайт, - разницы нет.
Есть ли возможность парсить сайты на Wordpress?
Здравствуйте, Елена.
Напишите мне в скайп, решим вопрос.
Игорь, здравствуйте. Чуть более года назад скачивала ваш парсер при создании своего сайта, но к сожалению моих знаний не хватило и я не смогла разобраться в настройках. Сейчас снова возникла потребность в такой программе и хотелось бы попробовать настроить парсер перед покупкой, но триал версия закончена и программа просит приобрести лицензию. Скажите пожалуйста можно ли получить пробный доступ сейчас еще раз?
Иногда сайты меняются, - так что перенастраивать надо
Там в конце статьи указаны контакты моего коллеги, - обратитесь к нему, он перенастроит, если готовы оплатить программу и эту настройку под букинг.
http://excelvba.ru/programmes/Parser/samples/booking.com
Добрый день!
Образец парсера для booking.com не работает корректно. Возникает ошибка - сервер не ответил за 30 секунд.
Игорь, а есть какой-нибудь подобный пример
Иван, тут надо смотреть в браузере, куда он выполняет запрос при щелчке по такой «типа ссылке» (там скрипт отрабатывает, подгружая данные)
И парсером выполнять аналогичный запрос.
Добрый день. Есть некоторые сайты где на одной странице указаны несколько ссылок с хэштегами. например site.com/#1 это один товар, site.com/#1 это второй и тд. При загрузке исходного кода в парсере в виде site.com/#2 не происходит загрузка кода. Как загружать такие страницы.
Действительно, можно так. Спасибо за наводку!
По ходу еще вопрос. Если данные собираются в новом открывающемся листе, можно ли как то вытягивать данные из листа источника, помимо столбца, который является исходным значением для парсера? А то я каждый раз устраиваю "танцы с бубнами" либо сцепляя данные исходного листа с последующим разбиением на массив, либо сохраняю массив в текстовый файл и гружу его как источник данных. Наверняка не увидел чего-то простого в настройках?
Олег, да, есть в планах такое сделать, - уже были подобные просьбы
Но это можно сделать и в настройках парсера, - буквально пару действий добавить (увеличить значение счетчика, проверка на выполнение условия - например, что счетчик кратен 1000, и действие сохранения файла Excel)
Добрый день, Игорь! Вставлю свои "пять копеек" в части предложения по обработке большого количества ссылок.
Не плохо было бы сделать опцию автосохранения выходного файла данных во время работы парсера. Соответственно если парсится на текущий лист, то сохранять под текущим именем. Если открывается новый лист - в опциях задавать имя файла для сохранения. Ну и конечно задавать интервал времени, после которого делать сохранение.
Весьма актуально, поскольку бывают сбои и в операционной системе и в компьютере. И очень обидно после многочасового парсинга потерять данные.
Я сейчас периодически вручную делаю сохранение во время работы, но это не совсем удобно и не совсем корректно.
Спасибо, многопоточная загрузка это когда несколько циклов параллельно идут, я правильно понял?
Мне было бы интересней не заказывать парсеры, а обучаться их созданию)) Семинаров нет?