Парсер сайтов и файлов (парсинг данных с сайта в Excel)

Надстройка Parser для MS Excel: общие сведения

Предназначение программы: быстрый сбор любых данных с различных сайтов или файлов, с выводом результата в Excel.

Основные возможности:

  • парсинг интернет-магазинов и любых других сайтов (соцсетей, каталогов, объявлений и т.д.)
  • извлечение данных из файлов формата Word / Excel / txt / PDF
  • скачивание файлов (изображений, документов, и т.п.)
  • обновление цен по ссылкам (мониторинг цен конкурентов / РРЦ)

Особенности программы

Простота использования и настройки

  • Запуск парсера нажатием одной кнопки на ленте Excel
  • Для настройки парсеров не нужно знание программирования!
    Достаточно минимально понимать HTML (что такое теги), и изучить 2 основные команды парсера (загрузка страницы, и поиск тегов). Этого достаточно для 90% задач.
  • Если сами не разберётесь с настройкой — всегда можно заказать нам настройку парсера под вашу задачу.
  • Всё что нужно для работы парсера, это Windows 10 (или новее) и Microsoft Excel (версии 2010 или новее)
    Иногда ещё нужен браузер Google Chrome (для работы с проблемными сайтами)
  • Можно настроить программу под несколько разных сайтов (задач), и легко переключаться между настройками через выпадающий список на панели инструментов программы.

Гибкая постобработка данных

  • Множество текстовых функций для обработки полученной информации
  • Разнообразные фильтры и функции перекодировки
  • Работа с переменными и массивами данных
  • Разбиение значений на отдельные элементы с индивидуальной обработкой
  • Автоматический вывод характеристик товаров в отдельные столбцы
  • Интеллектуальный поиск цен на страницах
  • Поддержка форматов JSON и XML

Продвинутые сетевые возможности

  • Несколько способов загрузки страниц — WinHTTP / WinAPI / WinINET / IE / Google Chrome
  • Авторизация — поддержка входа в аккаунты на различных сайтах
  • Региональные настройки — выбор географического региона для парсинга
  • HTTP-запросы — поддержка GET и POST методов, конструктор запросов
  • Cookies и Headers — полная работа с HTTP-заголовками и куки
  • Многопоточность — до 200 одновременных потоков для ускорения работы
  • Обход защиты — распознавание капчи через сервис RuCaptcha.com, паузы между запросами
  • Браузерная интеграция — работа с защищёнными от роботов сайтами через Google Chrome
  • Кеширование — сохранение данных для повторного использования

Неограниченные возможности поиска и навигации по сайту

  • Рекурсивный поиск страниц на сайтах
  • Поиск данных по HTML-тегам и их атрибутам
  • Автоматическое обнаружение ссылок пагинации (пейджера)
  • Специализированные функции для работы с HTML-таблицами
  • Преобразование HTML в текст и пары "название-значение"
  • Очистка HTML от лишних данных

Интеграция с Excel

  • Чтение данных из файлов Excel для использования в парсинге
  • Создание отдельных листов и файлов
  • Динамическое формирование столбцов для вывода результатов
  • Использование всех встроенных возможностей Excel (условное форматирование, формат ячеек)
  • Удобная панель инструментов для запуска парсинга

Работа с файлами

  • Сбор данных из файлов различных форматов (Word, XML, TXT, Excel, PDF)
  • Обработка файлов из заданных пользователем папок
  • Сохранение изображений и документов под заданными именами в настраиваемые папки

С момента выхода программы в 2014 году, её функционал постоянно развивался (вышли сотни обновлений), поэтому сейчас в парсере есть всё, что только может вам понадобиться для сбора данных из интернета.

Более подробно всё это описано в разделе Справка по программе

Видеоинструкция
YouTube
VK Video
RuTube

На видео рассказывается о работе с программой, и показан процесс настройки парсера интернет-магазина:

Дополнительные видео и подробное описание функционала можно найти в разделе Справка по программе

В программе можно настроить несколько парсеров (обработчиков сайтов).
Любой из парсеров настраивается и работает независимо от других.

Примеры настроенных парсеров (можно скачать, запустить, посмотреть настройки)

Видеоинструкция (2 минуты), как запустить готовый (уже настроенный) парсер

Если вам нужен готовый парсер, но вы не хотите разбираться с настройкой,
— закажите настройку парсера разработчику программы. Стоимость настройки под конкретный сайт - от 2500 рублей.
Настройка под заказ выполняется только при условии приобретения лицензии на надстройку «Парсер» (4000 руб)

Инструкция (с видео) по заказу настройки парсера
По всем вопросам, связанным с заказом, готов проконсультировать вас в Телеграм.

Как скачать и протестировать программу

Комментарии

Подскажите , я могу выбрать так чтоб вместо ссылки на фото , было само фото в файле?

Андрей, да, парсер и такое умеет (хоть и не для этого предназначен)

Всем доброго времени суток! Вопрос следующий: есть эксель файл на 13к+ строк, мне нужно чтобы парсер нашел все строки с заданным мною значением и плученный результат скопировал в отдельный файл. Чтобы он именно строку всю копировал из исходного файла и перемещал в нужный мне. Возможно ли это сделать с помощью этого парсера?
Спасибо.

Сергей, если при выводе на лист парсер перезаписывает одну и ту же строку, - читайте справку:
https://excelvba.ru/programmes/Parser/manuals/errors/overwriting

Здравствуйте, настроил по видео парсер. Загружается циклично одна и таже строка с данными, где ошибка?

Программа не считывает POST запросы из браузера. Программа вообще с браузером никак не связана.
Вы смотрите, какие запросы выполняет браузер, и настраиваете такие же запросы в парсере.
https://excelvba.ru/programmes/Parser/manuals/Loading_Pages_and_Logon

Еще раз здравствуйте. А подскажите пожалуйста какое действие необходимо провести в программе, чтобы не по одному вставлять запросу из браузера, а программа сама смогла считывать post или get запросы которые выполняет браузер, ведь в пейджере могут быть и тысячи страниц.

Алексей, такое парсить тоже можно, но настройка сложнее (не как в инструкции).
Здесь страницы переключает скрипт. В ссылке не должно быть символа # (это для браузера)
Т.е. обрезайте URL по символу # перед загрузкой страницы.
А потом смотрите, какие запросы выполняет браузер (об этом - во второй видеоинструкции)

Данные со страниц пейджера загружаются по таким ссылкам:

https://bolts.catalogs-parts.com/cat_scripts/get_oils.php?params=&group_id=0&page=0&lang=ru&client=1
https://bolts.catalogs-parts.com/cat_scripts/get_oils.php?params=&group_id=0&page=16&lang=ru&client=1
https://bolts.catalogs-parts.com/cat_scripts/get_oils.php?params=&group_id=0&page=32&lang=ru&client=1
и т.д.

Если сами не разберетесь, можем настроить под заказ.

Добрый день. Подскажите пожалуйста возможно ли найти offset, если ссылка получается такого плана https://bolts.catalogs-parts.com/#{client:1;page:bolts;lang:ru;group:0}
Если ввожу ссылку в браузере, то он находит нужную страницу, а программа указывает на ошибку 404 не существует. По вашему видео остановился на шаге найти offset. Html код в программе отображается без ссылок и тегов, одни скрипты. Как поступать в таких случаях? Возможно ли вообще парсить такие страницы?

подскажите, как можно в таблице html убрать строку (целиком) содержащую определенный параметр (например бренд, срок поставки).
И еще после "преобразовать таблицы в список.." получается массив равный количеству ячеек (например 2-сроки на 5-столбцов получится 10 элементов массива) как сделать массив по количеству строк?

Да, работает. С любой версией Excel под windows.

Подскажите а работает ли парсер с excel 2016

Всё должно загружать. Что-то не так настроили, видимо.

пейджер в пробной версии загружает только 7 ссылок из 100. Это правильно так и должно быть?

Алексей, да, может.

Скажите а ваш парсер может собирать данные с джава таблицы, все скрытые строки.
Например вот здесь выводится только 50 строк, мне нужны все

https://stats.nba.com/players/traditional/?sort=PTS&dir=-1

Заказы на парсер принимаются в таком виде
https://excelvba.ru/programmes/Parser/order
Для начала, высылайте заказ, чтобы было что обсуждать.

А как связаться - здесь написано:
https://excelvba.ru/contacts

Как с вами связаться?

Да, возможно.

Здравствуйте, возможно сделать:
Программа выделяет в столбце экселя данные и вносит в поисковую строку на сайте, вбивает еще один стобец, а результат первой и второй строки заменяется резултатом с сайта и вносится еще один стобец данных с сайта в таблицу эксель.

Очень нужно, очень интересно

Илья, можем настроить под заказ, если у вас до сих пор не получилось.
Я не консультирую по вопросам настройки парсеров.

Игорь, здравствуйте! Повторю вопрос))) На сайте ссылки дублируются, одна находится в названии товара, вторая в его каталожном номере... Проблема в том, что эти ссылки находятся в одном блоке, с одинаковыми тэгами, отличаются только анкорами. Как можно реализвать удаление (не обработку) дублей? Или, чтоб как то парсер брал ссылки через 1 в пейджере?
Или такая функция не предусмотрена в парсере?

И еще такой вопрос, с чем может быть связано то, что с разными проходами по сайту получаются разные результаты, например первый проход - 3567 строчек, второй 8370 строк, третий 4000?

Здравствуйте! Подскажите, как парсер завершает работу? Наблюдаю следующую картину: excel перестает заполняться данными, висят 2 окошка парсера: "Инициализация исходных данных (00:00:01)" и "Обработка результатов 100%" и ничего не происходит, из активных кнопок только "отменить"

Добрый день, как можно симитировать нажатие на скриптовую ссылку (которая не содержит привычный тег a)? Необходимые данные выводятся в модальном окне.

Здравствуйте, Сергей.
Тут возможны 2 причины:
1. Что-то недоустановлено в системе. Найти и решить проблему сложно.
2. Парсер несовместим с office 2003.
У остальных программ и поддерживаю ещё пока совместимость с 2003 версией, а вот насчёт парсера уже и не помню, - там сложный функционал, возможно пришлось пожертвовать совместимостью (сейчас 2003 версию почти никто не использует). Рекомендую установить Office 2010.

Здравствуйте. На втором компе подряд не получается запустить триал парсера. Выдаёт ошибку "Compile error in hidden module: mod_Declaration". Оба компа Win7, Office 2003, файл разблокирован, безопасность: низкая.
Что я делаю не так?

Есть разные способы.
Либо брать все товары из главных категорий (вообще не перебирая вложенные), либо, если во вложенных категориях присутствуют товары, отсутствующие в родительских, то можно перебирать все категории, добавив проверку на их наличие.
Если сами не разберётесь, можем настроить под заказ.

Здравствуйте, подскажите, как парсить каталог, у которого разная вложенность карточек товаров? Например, одна категория находится catalog/dvs, другая catalog/hodovka/kolesa, и т.п.

Азамат, значит, сработала защита сайта.
Нужно настраивать решение капчи, или использовать прокси серверы.
В справке по программе написано и про одно и про другое.

Не загружает исходный код, выдает:
"Мы заметили подозрительную активность с вашего IP адреса.Чтобы подтвердить, что вы не робот, пожалуйста...."