mail mail
Нужен макрос для Excel?
Сделайте заказ прямо сейчас!
Ищете готовое решение?
Выбирайте и покупайте!
У вас есть интернет-магазин?
Настроим парсер под любой сайт!

Скачать бесплатно пробную (TRIAL) версию программы:
Parser.xla (версия 2.9.19 от 24.06.2017)


Парсер сайтов и файлов (парсинг данных с сайта в Excel)

Структура программы «Парсер сайтов»

Надстройка Parser для Excel — простое и удобное решение для парсинга любых сайтов (интернет-магазинов, соцсетей, площадок объявлений) с выводом данных в таблицу Excel (формата XLS* или CSV), и также скачивания файлов.

Особенность программы — очень гибкая настройка постобработки полученных данных (множество текстовых функций, всевозможные фильтры, перекодировки, работа с переменными, разбиение значения на массив и обработка каждого элемента в отдельности, вывод характеристик в отдельные столбцы, автоматический поиск цены товара на странице, поддержка форматов JSON и XML).

 

В парсере сайтов поддерживается авторизация на сайтах, выбор региона, GET и POST запросы, приём и отправка Cookies и заголовков запроса, получение исходных данных для парсинга с листа Excel, многопоточность (до 200 потоков), распознавание капчи через сервис RuCaptcha.com, работа через браузер (IE), кеширование, рекурсивный поиск страниц на сайте, сохранение загруженных изображений товара под заданными именами в одну или несколько папок, и многое другое.

Поиск нужных данных на страницах сайта выполняется в парсере путем поиска тегов и/или атрибутов тегов (по любому свойству и его значению). Специализированные функции для работы с HTML позволяют разными способами преобразовывать HTML-таблицы в текст (или пары вида название-значение), автоматически находить ссылки пейджера, чистить HTML от лишних данных.

За счёт тесной интеграции с Excel, надстройка Parser может считывать любые данные из файлов Excel, создавать отдельные листы и файлы, динамически формировать столбцы для вывода, а также использовать всю мощь встроенных в Excel возможностей.
Поддерживается также сбор данных из текстовых файлов (формата Word, XML, TXT) из заданной пользователем папки, а также преобразование файлов Excel из одного формата таблицы в другой (обработка и разбиение данных на отдельные столбцы)

В программе «Парсер сайтов» можно настроить обработку нескольких сайтов. Перед запуском парсинга (кнопкой на панели инструментов Excel) можно выбрать ранее настроенный сайт из выпадающего списка.

Пример использования парсера для мониторинга цен конкурентов

 

Видеоинструкция по настройке парсера сайтов для формирования прайса с интернета-магазина:

 

Дополнительная видеоинструкция: загрузка страниц и авторизация на сайте

 

В программе можно настроить несколько парсеров (обработчиков сайтов).
Любой из парсеров настраивается и работает независимо от других.

Примеры настроенных парсеров (можно скачать, запустить, посмотреть настройки)

Видеоинструкция (2 минуты), как запустить готовый (уже настроенный) парсер

 

Настройка программы, - дело не самое простое (для этого, надо хоть немного разбираться в HTML)

Если вам нужен готовый парсер, но вы не хотите разбираться с настройкой,
— закажите настройку парсера разработчику программы. Средняя стоимость настройки под конкретный сайт, - 1500 рублей.
(настройка под заказ выполняется только при условии приобретения лицензии на надстройку «Парсер» (2500 руб)

Инструкция (с видео) по заказу настройки парсера
По всем вопросам, готов проконсультировать вас в Скайпе.

 

Программа не привязана к конкретному файлу Excel.
Вы в настройках задаёте столбец с исходными данными (ссылками или артикулами),
настраиваете формирование ссылок и подстановку данных с сайта в нужные столбцы,
нажимаете кнопку, - и ваша таблица заполняется данными с сайта.

Программа «Парсер сайтов» может  быть полезна для формирования каталога товаров интернет-магазинов,
поиска и загрузки фотографий товара по артикулам (если для получения ссылки на фото, необходимо анализировать страницу товара),
загрузки актуальных данных (цен и наличия) с сайтов поставщиков, и т.д. и т.п.

 

Ссылки на инструкции по программе «Парсер сайтов» (список инструкций пополняется)

Можно попробовать разобраться с работой программы на примерах настроенных парсеров

Комментарии

Приветствую! Сколько будет стоить активировать парсер?
И что делать допустим если я переустановлю виндовс? Активация будет действительная?

Вот тут не то задали

Далее проверка на выполнения условия "Равно" 0 Остановить.

Либо при опции ОСТАНОВИТЬ указываем параметр остановки (-1 или -2) в 4-м параметре,
либо выбираем опцию «Задать новое значение и остановить»

Ну и убедитесь, что в переменной %counter1% находится значение больше нуля.
Для этого, надо где-то сделать проверку на наличие значения, и добавить действие «Проверка на выполнение условия» - если значение НЕ равно (параметр1) пустой строке (параметр2), то увеличить значение счётчика (параметр3) номер 1 (параметр 4)

Перед командой отправки почты, проверяем значение переменной %counter1% - если оно равно нулю, то выбираем опцию «остановить»
Как проверить значение переменной?
Я в "Наборе действий" Parser_Finish
считал значение переменной %counter1% которое подставил в 1 столбец вывода на лист. (Последним действием в столбце 1)
Далее проверка на выполнения условия "Равно" 0 Остановить.
Отправка на почту.
Он все равно мне присылает файлы даже если там ни чего нет.

По выводу на лист - сделать можно, но надо перед выводом на лист проверять это условие, отменяя вывод для ненужных строк
Если сами не разберетесь - напишите в скайп, попробую помочь
Запретить отправлять файл на почту - легко. В настройках вывода в любой столбец добавляем действие УВЕЛИЧИТЬ ЗНАЧЕНИЕ СЧЕТЧИКА,
таким образом, парсер будет считать, сколько строк вывелось на лист.
А перед командой отправки почты, проверяем значение переменной %counter1% - если оно равно нулю, то выбираем опцию «остановить»

Здравствуйте!!! Подскажите как сделать!!! У меня есть настроенный парсер который выводит все характеристики товаров. Как сделать так, что когда при "выводе на лист" если там встречается характеристика (Допустим размеры "45,46,47,52 и тд) не выводились и вся строка с другими параметрами этого товара так же не загружалась. А переходила к следующему товару. Грубо говоря я хочу что б выводились товары по условию. Но как это сделать когда эти параметры считываются только при "выводе на лист" и как запретить загружать остальное для этого товара.
И можно ли запретить отправлять файл на почту если он не содержит данных. А то получается парсер считает данные но по моим условиям ни чего не найдется и я получу пустой файл.

Надо настроить авторизацию в парсере
Если готовы оплатить программу, могу помочь с настройкой (обращайтесь в скайп)

Здравствуйте, интересует как спарсить текст, доступный только после авторизации?
То есть я загружаю исходный код страницы, нажимаю тестировать, в окне "Результаты абработки" выбираю открыть в браузере, запускается яндекс браузер, авторизируюсь, снова нажимаю тестировать, но ничего не меняется.

Здравствуйте, Руслан
Обычно мы под заказ настраиваем (и предоставляем готовые настройки), но в порядке исключения могу настроить это на вашем компьютере (чтобы вы видели, как это делается)
Программа-парсер стоит 2500 руб + настройка через TeamViewer обойдется в 2000 руб (если у вас комп мощный, и интернет быстрый, - тогда смогу показать)
Если по стоимости устраивает - пишите в скайп

Добрый день
Имеется сайт
http://docs.cntd.ru/ и список ГОСТОВ (порядка 1 тыс)
Задача-зайти на сайт, и в разделе ПОИСК вбивать каждый поиск, из полученного результата извлекать ссылку на каждый гост, и информацию
Например вбиваем ГОСТ 21485-94, сайт отображает 2 госта (почему их там два, я сам не знаю, в некоторых местах по три даже показывает). Далее из получившихся двух результатов выбираем один (первый например). из открывшейся страницы нужна след инфа:
1. ссылка на сайт
2. Справа нарисован зеленый круг и галочка, и там указано "действующий", нужно Слово "Действующий" (бывает что слово "Недействующий")
3. Далее есть вкладка на документом "Текст документа", когда мы нажимаем на этот "текст" то появляется слова-"Текст документа", "Статус", "сканер копия", требуется выбирать "Статус", и уже из открывшейся страницы нужна след инфа-
Дата принятия: 17 марта 1995
Дата начала действия: 01 июля 1995
Дата окончания действия: 01 июля 2017
Дата редакции: 01 декабря 2003

Хотелось бы понять как это сделать с помощью вашего парсера, а не просто готовый макрос покупать. Спасибо

Здравствуйте, Михаил
Можно авторизоваться в браузере Internet Explorer, и потом использовать действие «открыть страницу в Internet Explorer»
Это проще, но заметно медленнее будет работать

Примеры настройки авторизации - выложу (сделаю видео), но позже

Добрый день, Игорь!
Есть способ пройти авторизацию на сайте в ручную, для дальнейшего парсинга через парсер?
Сайт не отображает цены без авторизации, а настроить авторизацию ни как не могу.
Вопрос номер 2: Не могли бы Вы выложить примеры автризации через парсер?
Спасибо.

Если нужен браузер (чтобы скрипты отработали), то только Internet Explorer
В большинстве случаев, использование браузера не требуется (а парсер может представиться любым браузером)
Действие «Загрузить исходный код веб-страницы» не использует браузеры

Здравствуйте!!! Подскажите парсер может работать только через Internet Explorer или через другие браузеры тоже? Спрашиваю почему, потому-что Internet Explorer не все открывает сайты. (Это для "открыть страницу в Internet Explorer")

Какие свойства? Зачем их открывать?
Если вы про свойства файла (перед первым запуском чтобы разблокировать) - тут ничего не подскажу, это штатный функционал Windows, должно открываться.

Здравствуйте. У меня почему то не открываются свойства программы.С чем это может быть связано?

Спвсибо Вам огромное! помогло!;)

Добрый день, Александр!

Вот этот пример настройки парсера разберите http://excelvba.ru/programmes/Parser/samples/eafsupplychain

Спасибо огромное, с этим разобрался.
Подскажите пожалуйста как еще пользоватся диалоговым окном выбора переменных, например после запуска парсера я помещаю в переменную ссылки производителей и их название и в это окно я хочу выводить и выбирать в нем производителя для подстановки в парсер ссылки на него для дальнейшего парсинга только определенного производителя а не всех?

Александр, это сложный сайт, тут страницы перелистываются скриптами, и механизм настройки отличается от стандартного.
Сначала, надо загрузить страницу по ссылке, и получить ID категории, чтобы сформировать ссылку вида
https://belbazar24.by/ajax.php?action=get_poducts&cat_id=180

По этой ссылке сервером выдается ответ, где присутствует информация о товарах и количестве страниц в формате JSON
Дальше - сложнее, если сами не разберетесь, можем настроить под заказ.

Пример списка действий, как от исходный ссылке добраться до страниц результатов:

Действие Параметр Значение
Загрузить ИСХОДНЫЙ КОД веб-страницы URL
Кодировка веб-страницы
Загружать все страницы результатов
Выполнять после каждой загрузки
HTML: Поиск тегов Тип элемента input
Название проверяемого атрибута id
Значение проверяемого атрибута cat_id
Тип результата / извлекаемый атрибут value 1
Добавить текст ДО или ПОСЛЕ Префикс https://belbazar24.by/ajax.php?action=get_poducts&cat_id=
Суффикс
Загрузить ИСХОДНЫЙ КОД веб-страницы URL
Кодировка веб-страницы
Загружать все страницы результатов
Выполнять после каждой загрузки
Декодирование JSON

Здравствуйте, делаю настройку парсера вот на эту страничку https://belbazar24.by/catalog/elady/ однако при загрузке кода страницы в парсере - каталог товаров и соответсвенно пейджер - загружается пустой, подскажите как правильно прогрузить полностью страничку с этого сайта?
Заранее благодарен.

Константин, добавьте мою программу (или расширение .xla) в список исключений аваста
Или установите более умный антивирус, типа бесплатного Касперского.
Любой парсер распознаётся антивирусами как вирус (ибо парсер предназначен для скачивания данных и файлов из интернета)
http://excelvba.ru/faq/virus

Добрый день! я скачал файл Parser.xla аваст выдал сообщение о том, что он заражен вирусом MO97:Dropper-AJ

С яндексом (некоторыми сервисами) получится работать только через браузер Internet Explorer
(потому что там скрипты какие-то хитрые, - лично я не понял, как данные вытаскивать из сервисов типа wordstat, если без браузера)
Используйте действие «Открыть страницу в Internet Explorer»

Есть ли решения обхода яндекс защиты?

Парсер не работает с личными кабинетами в яндекс,например из своего аккаунта в яндекс директе нельзя вытащить нужную информацию,защита яндекса от парсеров

Добрый день. А может есть какой-нибудь пример парсера, с авторизацией на сайте.

Видеоурока по Captcha и авторизации пока нет.
Как вариант, - авторизуетесь вручную в браузере Internet Explorer, вводите там капчу,
а парсер потом использует IE для загрузки страниц сайта

Добрый день. а как быть если на сайте необходима авторизация, да еще а капчу ввести требуется. Есть ли видеоурок?

В общем случае, - несильно (если не использовать многопоточную загрузку)
Для сервера, 1-10 запросов в секунду (именно столько идет от парсера, в большисетве случаев) — это мелочи (проблемы начинаются при сотнях и более запросов в секунду, и то только на слабых сайтах)

Добрый день.
Подскажите пожалуйста, насколько сильно программа "нагружает" сайт, который парсит.

Отправить комментарий

Содержание этого поля является приватным и не предназначено к показу.
CAPTCHA
Подтвердите, пожалуйста, что вы - человек:
          _____   _   _              _   _   
_ _ | ____| | | | | __ __ __| | | |_
| | | | | _| | |_| | \ \/ / / _` | | __|
| |_| | | |___ | _ | > < | (_| | | |_
\__,_| |_____| |_| |_| /_/\_\ \__,_| \__|
Введите код, изображенный в стиле ASCII-арт.