Парсер сайтов и файлов (парсинг данных с сайта в Excel)

Структура программы «Парсер сайтов»

Надстройка Parser для Excel — простое и удобное решение для парсинга любых сайтов (интернет-магазинов, соцсетей, площадок объявлений) с выводом данных в таблицу Excel (формата XLS* или CSV), а также скачивания файлов.

Особенность программы — очень гибкая настройка постобработки полученных данных (множество текстовых функций, всевозможные фильтры, перекодировки, работа с переменными, разбиение значения на массив и обработка каждого элемента в отдельности, вывод характеристик в отдельные столбцы, автоматический поиск цены товара на странице, поддержка форматов JSON и XML).

 

В парсере сайтов поддерживается авторизация на сайтах, выбор региона, GET и POST запросы, приём и отправка Cookies и заголовков запроса, получение исходных данных для парсинга с листа Excel, многопоточность (до 200 потоков), распознавание капчи через сервис RuCaptcha.com, работа через браузер (IE), кеширование, рекурсивный поиск страниц на сайте, сохранение загруженных изображений товара под заданными именами в одну или несколько папок, и многое другое.

Поиск нужных данных на страницах сайта выполняется в парсере путем поиска тегов и/или атрибутов тегов (по любому свойству и его значению). Специализированные функции для работы с HTML позволяют разными способами преобразовывать HTML-таблицы в текст (или пары вида название-значение), автоматически находить ссылки пейджера, чистить HTML от лишних данных.

За счёт тесной интеграции с Excel, надстройка Parser может считывать любые данные из файлов Excel, создавать отдельные листы и файлы, динамически формировать столбцы для вывода, а также использовать всю мощь встроенных в Excel возможностей.
Поддерживается также сбор данных из текстовых файлов (формата Word, XML, TXT) из заданной пользователем папки, а также преобразование файлов Excel из одного формата таблицы в другой (обработка и разбиение данных на отдельные столбцы)

В программе «Парсер сайтов» можно настроить обработку нескольких сайтов. Перед запуском парсинга (кнопкой на панели инструментов Excel) можно выбрать ранее настроенный сайт из выпадающего списка.

Пример использования парсера для мониторинга цен конкурентов

 

Видеоинструкция

На видео рассказывается о работе с программой, и показан процесс настройки парсера интернет-магазина:

 

Дополнительные видеоинструкции, а также подробное описание функционала, можно найти в разделе Справка по программе

 

В программе можно настроить несколько парсеров (обработчиков сайтов).
Любой из парсеров настраивается и работает независимо от других.

Примеры настроенных парсеров (можно скачать, запустить, посмотреть настройки)

Видеоинструкция (2 минуты), как запустить готовый (уже настроенный) парсер

 

Настройка программы, - дело не самое простое (для этого, надо хоть немного разбираться в HTML)

Если вам нужен готовый парсер, но вы не хотите разбираться с настройкой,
— закажите настройку парсера разработчику программы. Стоимость настройки под конкретный сайт - от 2000 рублей.
(настройка под заказ выполняется только при условии приобретения лицензии на надстройку «Парсер» (3300 руб)

Инструкция (с видео) по заказу настройки парсера
По всем вопросам, готов проконсультировать вас в Скайпе.

 

Программа не привязана к конкретному файлу Excel.
Вы в настройках задаёте столбец с исходными данными (ссылками или артикулами),
настраиваете формирование ссылок и подстановку данных с сайта в нужные столбцы,
нажимаете кнопку, - и ваша таблица заполняется данными с сайта.

Программа «Парсер сайтов» может  быть полезна для формирования каталога товаров интернет-магазинов,
поиска и загрузки фотографий товара по артикулам (если для получения ссылки на фото, необходимо анализировать страницу товара),
загрузки актуальных данных (цен и наличия) с сайтов поставщиков, и т.д. и т.п.

 

Справка по программе «Парсер сайтов»

Можно попробовать разобраться с работой программы на примерах настроенных парсеров

Как скачать и протестировать программу

Комментарии

Евгений, из вашего вопроса непонятно, надо убрать лишние описания в процессе работы парсера, или по окончании его работы (отфильтровав таблицу с результатом)
Позвоните в скайп, попробую помочь

Добрый день!
После работы парсера получаю массив описаний товара, как оставить только те описания где более 200 знаков.

Заказали парсер для работы с предложениями на сайте Авито. Всё работает, помогает очень хорошо.
Особенно хочется отметить хорошую поддержку данного продукта. Сайт постоянно меняется, естественно нарушается работа парсера. Однако разработчики очень быстро присылают исправленные варианты, практически в день обращения.
Пользуемся уже около полугода. Спасибо.

Здравствуйте
По этому режиму инструкции нет, но там все просто - указываете столбец с исходными данными, и все значения из него по-очереди подаются на вход обработки в исходные действий

Игорь, здравствуйте! Гениальное ПО, спасибо!!! А у Вас есть видеоинструкция, где более подробно рассматривается функционал "брать данные с листа Excel, из заданного столбца" во вкладке "исходные данные"??? Пытаюсь разобраться самостоятельно, но без навыков программирования нелегко это))

Квадратные и фигурные скобки, - это, наверное, формат JSON
В парсере есть функция «Преобразовать JSON в XML», а после этого работаем как с HTML, поиском нужных тегов.

Подскажите, пожалуйста, какой функцией заменить все запятые в тексте кроме тех, которые внутри квадратных скобок и внутри фигурных скобок. Заменить на разрыв строки.

брандмауэр Windows отключен, антивирусов нет. Скайпа нет.

Проверьте, что брандмауэр Windows отключен, и что антивирусы не блокируют доступ экселю в интернет
Ну а если сами не разберетесь, - пишите в скайп, попробую помочь

Не помогло. mario.ua - ошибка "Сервер не ответил за 6 сек".

Возможно, у вас в системе где-то какой-то прокси прописан, или еще что-то в тоже же духе.
Парсеры, скачанные из примеров настроенных, должны работать (по крайней мере, недавно опубликованные)
На этом парсере проверьте - он 100% должен заработать: http://excelvba.ru/programmes/Parser/samples/mario.ua
Если не заработает - пишите в скайп, разберемся

Демо-версия. Такая же проблема. При парсинге страницы сайта выдает ошибку "Сервер не ответил за 6 сек". Увеличение таймаута запроса не помогает.

Страницы парсит только один парсер: тот, который я создал самым первым. Все последующие парсеры не работают (даже, если создать полную копию первого парсера, если загрузить пример парсера с сайта http://excelvba.ru/, не помогает ничего).

Это что, ограничение демо-версии?

Посмотрите видеоинструкцию из этой статьи:
Загрузка страниц сайта парсером
Возможно, нужно выбрать другой способ загрузки страницы, или передавать заголовки запроса

Здравствуйте, у меня при парсинге главной странице выдает ошибку "Сервер не ответил за 6 сек", как поменять настройки или что нужно сделать при такой ошибке?

Да, такое возможно
Если на входе - массив значений, то, используя действие «случайное число» и действие «несколько элементов массива» (для получения одного элемента со случайным номером),
можно реализовать то, что вам нужно

Добрый день!
В программе есть возможность задать несколько значений и рандомно их использовать.

Такая возможность есть только у меня, в программе эта опция недоступна.

Добрый день!
Как сделать настройку закрытой для редактирования.

Сам долго думал как это сделать, ничего не вышло. Пришлось прибегать к вбиванию массива в строку, а потом отдельным макросом транспонировать их.

Тут много вариантов, развёрнутый ответ займет несколько страниц.
Могу помочь с настройкой (услуга платная)

Здравствуйте!!! Подскажите пожалуйста как вывести массив данных (Который получается при поиске тегов) при выводе на лист в отдельную ячейку, только не в строку а в столбик.

Программа - просто бомба. Супер! 2 часа на разбор как работает и потом за 30 минут сделал то, что руками делал неделю! Буду рассматривать вариант покупки! Автору - огромное спасибо!

Здравствуйте, Елена
Нажмите кнопку ОТМЕНА, - выскочит диалоговое окно «Остановить парсер или нет»
Пока висит это окно - парсер на паузе. Как только интернет появится, - нажмите НЕТ (отказ от остановки), и парсер продолжит свою работу
В момент паузы Excel будет недоступен, но можно запустить еще один Excel (независимо от первого, и в нем поработать, пока первый Excel с парсером на паузе стоит)

Cкажите пожалуйста, в парсере можно как-то выставить функцию "пауза"?
А так же если пропал интернет, можно ли выставить авто остановку парсера с возможностью дальнейшего запуска?

Здравствуйте, Елена
Программа стоит 2500 руб, на 2 рабочих места
После переустановки Windows активируете снова, доплачивать ничего не надо будет

Приветствую! Сколько будет стоить активировать парсер?
И что делать допустим если я переустановлю виндовс? Активация будет действительная?

Вот тут не то задали

Далее проверка на выполнения условия "Равно" 0 Остановить.

Либо при опции ОСТАНОВИТЬ указываем параметр остановки (-1 или -2) в 4-м параметре,
либо выбираем опцию «Задать новое значение и остановить»

Ну и убедитесь, что в переменной %counter1% находится значение больше нуля.
Для этого, надо где-то сделать проверку на наличие значения, и добавить действие «Проверка на выполнение условия» - если значение НЕ равно (параметр1) пустой строке (параметр2), то увеличить значение счётчика (параметр3) номер 1 (параметр 4)

Перед командой отправки почты, проверяем значение переменной %counter1% - если оно равно нулю, то выбираем опцию «остановить»
Как проверить значение переменной?
Я в "Наборе действий" Parser_Finish
считал значение переменной %counter1% которое подставил в 1 столбец вывода на лист. (Последним действием в столбце 1)
Далее проверка на выполнения условия "Равно" 0 Остановить.
Отправка на почту.
Он все равно мне присылает файлы даже если там ни чего нет.

По выводу на лист - сделать можно, но надо перед выводом на лист проверять это условие, отменяя вывод для ненужных строк
Если сами не разберетесь - напишите в скайп, попробую помочь
Запретить отправлять файл на почту - легко. В настройках вывода в любой столбец добавляем действие УВЕЛИЧИТЬ ЗНАЧЕНИЕ СЧЕТЧИКА,
таким образом, парсер будет считать, сколько строк вывелось на лист.
А перед командой отправки почты, проверяем значение переменной %counter1% - если оно равно нулю, то выбираем опцию «остановить»

Здравствуйте!!! Подскажите как сделать!!! У меня есть настроенный парсер который выводит все характеристики товаров. Как сделать так, что когда при "выводе на лист" если там встречается характеристика (Допустим размеры "45,46,47,52 и тд) не выводились и вся строка с другими параметрами этого товара так же не загружалась. А переходила к следующему товару. Грубо говоря я хочу что б выводились товары по условию. Но как это сделать когда эти параметры считываются только при "выводе на лист" и как запретить загружать остальное для этого товара.
И можно ли запретить отправлять файл на почту если он не содержит данных. А то получается парсер считает данные но по моим условиям ни чего не найдется и я получу пустой файл.

Отправить комментарий

Содержание этого поля является приватным и не предназначено к показу.
CAPTCHA
Подтвердите, пожалуйста, что вы - человек:
   __                        ____        _   _    
/ /_ _ __ ___ ___ / ___| __| | | | __
| '_ \ | '_ ` _ \ / _ \ \___ \ / _` | | |/ /
| (_) | | | | | | | | __/ ___) | | (_| | | <
\___/ |_| |_| |_| \___| |____/ \__,_| |_|\_\
Введите код, изображенный в стиле ASCII-арт.