Надстройка Parser для MS Excel: общие сведения
Предназначение программы: быстрый сбор любых данных с различных сайтов или файлов, с выводом результата в Excel.
Основные возможности:
- парсинг интернет-магазинов и любых других сайтов (соцсетей, каталогов, объявлений и т.д.)
- извлечение данных из файлов формата Word / Excel / txt / PDF
- скачивание файлов (изображений, документов, и т.п.)
- обновление цен по ссылкам (мониторинг цен конкурентов / РРЦ)
Особенности программы
Простота использования и настройки
- Запуск парсера нажатием одной кнопки на ленте Excel
- Для настройки парсеров не нужно знание программирования!
Достаточно минимально понимать HTML (что такое теги), и изучить 2 основные команды парсера (загрузка страницы, и поиск тегов). Этого достаточно для 90% задач. - Если сами не разберётесь с настройкой — всегда можно заказать нам настройку парсера под вашу задачу.
- Всё что нужно для работы парсера, это Windows 10 (или новее) и Microsoft Excel (версии 2010 или новее)
Иногда ещё нужен браузер Google Chrome (для работы с проблемными сайтами) - Можно настроить программу под несколько разных сайтов (задач), и легко переключаться между настройками через выпадающий список на панели инструментов программы.
Гибкая постобработка данных
- Множество текстовых функций для обработки полученной информации
- Разнообразные фильтры и функции перекодировки
- Работа с переменными и массивами данных
- Разбиение значений на отдельные элементы с индивидуальной обработкой
- Автоматический вывод характеристик товаров в отдельные столбцы
- Интеллектуальный поиск цен на страницах
- Поддержка форматов JSON и XML
Продвинутые сетевые возможности
- Несколько способов загрузки страниц — WinHTTP / WinAPI / WinINET / IE / Google Chrome
- Авторизация — поддержка входа в аккаунты на различных сайтах
- Региональные настройки — выбор географического региона для парсинга
- HTTP-запросы — поддержка GET и POST методов, конструктор запросов
- Cookies и Headers — полная работа с HTTP-заголовками и куки
- Многопоточность — до 200 одновременных потоков для ускорения работы
- Обход защиты — распознавание капчи через сервис RuCaptcha.com, паузы между запросами
- Браузерная интеграция — работа с защищёнными от роботов сайтами через Google Chrome
- Кеширование — сохранение данных для повторного использования
Неограниченные возможности поиска и навигации по сайту
- Рекурсивный поиск страниц на сайтах
- Поиск данных по HTML-тегам и их атрибутам
- Автоматическое обнаружение ссылок пагинации (пейджера)
- Специализированные функции для работы с HTML-таблицами
- Преобразование HTML в текст и пары "название-значение"
- Очистка HTML от лишних данных
Интеграция с Excel
- Чтение данных из файлов Excel для использования в парсинге
- Создание отдельных листов и файлов
- Динамическое формирование столбцов для вывода результатов
- Использование всех встроенных возможностей Excel (условное форматирование, формат ячеек)
- Удобная панель инструментов для запуска парсинга
Работа с файлами
- Сбор данных из файлов различных форматов (Word, XML, TXT, Excel, PDF)
- Обработка файлов из заданных пользователем папок
- Сохранение изображений и документов под заданными именами в настраиваемые папки
С момента выхода программы в 2014 году, её функционал постоянно развивался (вышли сотни обновлений), поэтому сейчас в парсере есть всё, что только может вам понадобиться для сбора данных из интернета.
Более подробно всё это описано в разделе Справка по программе
Дополнительные видео и подробное описание функционала можно найти в разделе Справка по программе
В программе можно настроить несколько парсеров (обработчиков сайтов).
Любой из парсеров настраивается и работает независимо от других.
Примеры настроенных парсеров (можно скачать, запустить, посмотреть настройки)
Видеоинструкция (2 минуты), как запустить готовый (уже настроенный) парсер
Если вам нужен готовый парсер, но вы не хотите разбираться с настройкой,
— закажите настройку парсера разработчику программы. Стоимость настройки под конкретный сайт - от 2500 рублей.
Настройка под заказ выполняется только при условии приобретения лицензии на надстройку «Парсер» (4000 руб)
Инструкция (с видео) по заказу настройки парсера
По всем вопросам, связанным с заказом, готов проконсультировать вас в Телеграм.
Комментарии
Михаил, в последней версии парсера исправлена ошибка с созданием файла CSV в кодировке Windows-1251 при наличии в файле недопустимых символов (ранее создавался пустой файл)
Обновите программу, всё заработает.
В общем случае, это никак не реализовать. Если в одном случае надо разбить 66001001 на 6600 10 01, а в другом - на 6600 1001 (а при других разбиениях - найдено ничего не будет),
то программа никак не догадается, как разбивать артикул в каждом конкретном случае
Если какое-то одно правило разбивки, - то можно сделать (если вы это правило сформулируете, - почему именно в этой позиции пробел нужно поставить, т.е. опишите, как найти позицию для пробела, - например, всегда отделяем первые 4 символа пробелом)
Если же четких правил нет, - то и сделать не получится (кроме как перебирать все возможные варианты разбивки, что сложно в настройке, и очень сильно скажется на времени парсинга)
1. Подскажите как реализовать!!! При парсинге товаров по поиску артикула, у некоторых сайтов система поиска работает по разному, одни с удалением пробелов у других нет. Допусти на одном сайте артикул 66001001 это тоже самое что и 6600 10 01 и 6600 1001. А у других это разные артикулы. То есть товар реально на сайте представлен а парсер найти его не может.
2. Как разбить эту текстовую строку З1-01.3 на З1-0 1.3
Если не удается сохранить файл в кодировке Windows-1251, значит, в файле присутствуют символы Unicode, не допустимые в этой кодировке.
Используйте кодировку utf-8, и проблем не будет.
Спасибо!!! Все получилось!!! Успехов Вам. Программа просто шикарная.
Настроить - вкладка ДОПОЛНИТЕЛЬНО - Наборы действий - добавляем набор с названием Parser_Finish
И в этот набор добавляем действие «Запустить другой парсер» (указав в параметре название второго парсера)
Здравствуйте!!! Подскажите, можно ли после того как программа скачала исходные данные с сайта и вывела их на лист в столб 1, автоматически подключился другой парсер который настроен на другой сайт и брал информацию с листа из заданного столба 1. И так далее. Это нужно для того чтоб не запускать второй парсер вручную.
Пишите пока на почту order@excelvba.ru
У скайпа последнюю неделю (у многих пользователей, не только у меня) проблема с доставкой сообщений, скоро починят.
Есть еще один вариант связи, вайбер, телеграм? опять не могу достучаться в скайп.
Здравствуйте, Игорь
Последние несколько дней скайп глючит, - уже несколько человек не смогли со мной связаться
Напишите мне на почту, указав свой ник в скайпе, - я сам вам напишу
Добрый день, пытаюсь связаться в скайпе уже 3ий день для настройки парсера, подскажите как с вами связаться? Спасибо.
Сергей, это управляющий символ перевода строки
Когда используется кривой модуль импорта на сайте, - он заменяет перевод строки (внутри ячейки который, вводимый при помощи Alt + Enter) вот на этот _x000D_
А грамотно написанный модуль импорта выполняет замену перевода строки на HTML-тег «br /»
Если в результате использования моего парсера, на сайте появляются такие символы, есть 2 варианта решения:
1) выводить в соответствующий столбец данные в формате HTML (с оберткой в виде тегов)
2) добавить для столбца действие ЗАМЕНИТЬ ЧАСТЬ ТЕКСТА, а менять {NL} на пробел или HTML-тег «br /»
Здравствуйте. Как победить косяк с выдачей знаков _x000D_ ? Это встречается у людей и с битриксом и опенкардом.
Читал на просторах инета, что это xl знак. Приходится поля где это есть (описание) форматировать через open office. Как средствами xl это сделать не нашёл. Может подскажите?
Здравствуйте, Михаил
Математические действия, - все есть.
Чтобы добавить к цене 15%, используйте действие «умножить» с параметром 1.15
Насчет сохранения в CSV - там вроде всё корректно (если что-то не получается, - пишите в скайп, разберемся)
Здравствуйте, Игорь!
Подскажите, есть возможность выполнить мат.действие парсером?
Например, прибавить к значению определенный %.
И, по поводу корректного сохранения в CSV, еще не реализовано?
Спасибо!!!
Юрий, я чужие макросы не исправляю (тем более бесплатно)
Могу настроить парсер под вашу задачу
Заказы на парсер принимаются в таком виде
http://excelvba.ru/programmes/Parser/order
Помогите пож-та разобраться с проблемой - При скачивании -сайт Гисжкх (линки в файле ) по методу Ie.Navigate линк - выгрузка работает 250-300 линков нормально ,
а потом выдается ошибка VBA Excel "использован старый формат либо библиотека имеет неверный тип"
Помогает остановить макрос/закрыть/открыть файл/запустить макрос. Через 250-300 линков ошибка повторяется.
По описанию ошибки - работал с языком windows по умолчанию - USA - ошибка не пропала.
Файл с макросом и линками
https://yadi.sk/i/tOEgOV82xsdg8
https://yadi.sk/i/OKdt4bEzxsdkS
Там не в маске дело
Надо было указать парсеру, где на странице искать пейджер
Решение на скриншоте
А по второму вопросу, - надо правильно задать столбец, по которому определяется последняя строка таблицы.
в настройках это вкладка ВЫВОД НА ЛИСТ - подвкладка НАСТРОЙКИ ЛИСТА ДЛЯ ВЫВОДА
По-умолчанию, там стоит столбец 1 «A» - видимо, у вас в этот столбец данные не выводятся.
Укажите там столбец, который всегда заполнен, - и проблема исчезнет.
PS: Смотрю, вы там взломали программу, и себе 666 дней триала замутили, — круто, конечно, но ОЧЕНЬ рискованно. Купите программу, или удалите её с компа.
Вот пример ещё один нашёл - www.naturasiberica.ru
С маской /page/#/ - не работает. А на второй вопрос вы не ответили по поводу затирки данных каждой следующей страницей?
Правильно работает - но только если правильно настроить
Маску пейджера надо задать в виде /page/#/
(ну или как-то так, - пример реальной ссылки вы не указали, так что мне проверить не на чем)
Неправильно работает с page'ing'ом. 1. Не отлавливает страницы если url заканчивается на "/", а страницы далее нумеруются по типу "/page/2/". Проверял на примере url (условно) первоначальный url "domen.ru/" дальнейшие уже "domen.ru/page/2/". 2. Затирает значения предыдущих страниц - то есть если 10 страниц то выдает данные только 10ой страницы.
HTTPS - конечно поддерживает.
Что вы подразумеваете под онлайн-режимом, не понял.
1. Парсер поддерживает htpps ?
2. Есть ли режим онлайн?
Евгений, техподдержка осуществляется только через Скайп и тимвьюер. Пишите в личку, обсудим
Добрый день!
Кеширование отключено.
Создал несколько копии настроек парсера ошибка осталась.
В приложении 4 файла + настройка.
https://yadi.sk/d/5FW8nxY0xe4yk
Здравствуйте, Евгений
Насчет работы нескольких парсеров одновременно и независимо друг от друга, — это в любой версии Excel можно было сделать.
Надо только запускать отдельные копии приложения Excel (обычно это делалось запуском Excel через Пуск - Программы, но иногда требовалось создать отдельный ярлык для запуска, аналогично описанному по вашей ссылке способу)
Насчет ошибок (пересечение 2 и более парсеров) - такого не должно быть. В отдельных экземплярах приложения Excel (как у вас) всё работает независимо, как на разных компах.
Общий у парсера только кеш (если включено кеширование) - т.е. если ссылки одни и те же, а регионы разные, то при включенном кешировании, во все файлы попадут одни и те же данные. Но этого легко избежать, - либо кеширование отключить, либо создать копии настроек парсера, - чтобы названия парсеров разные были.
А если вывод идет не в ту ячейку, - значит, настроено что-то не так
Добрый день!
Система Win 7x64 office 2010 32 Установлено "дополнение" https://support.microsoft.com/ru-ru/kb/2636670 работа в нескольких окнах.
С этим дополнением есть возможность запускать несколько парсеров на 1 компьютере. Заметил что при работе 2-х и более парсеров данные иногда пересекаются. Например 2 файла один Ниж.Новгород второй Ростов парсер берет URL из ячейки загружает страницу выводит данные в туже ячейку. Из 3-х тысяч строк 5-10 ошибок.
Видео и настройки парсера https://yadi.sk/d/Ol8B5ztcxbS4Z
Здравствуйте, Леонид.
1) Парсер абсолютно одинаково работает в любой версии Office
Рекомендую версию 2010, без включенного автообновления, - тогда все будет годами работать идеально.
2) в парсер добавляется набор действий с названием Parser_Finish (этот набор действий автоматически выполнится по завершении работы парсера), и там задаётся одно действие «Запланировать запуск парсера» (там можно указать время или интервал запуска)
Доброго времени суток.
Пару вопросов.
1. Какая из последних версий офиса обеспечивает стабильную работу парсера?
2. Как настроить запуск парсера по таймеру, либо с заданным интервалом?
Здравствуйте, Александр.
Это у вас кривая версия Excel (проблема пришла недавно с автообновлением Office)
Красная надпись, которую вы видите, должна быть скрыта. У вас там еще много компонентов на этой и других формах не видны, т.е. программой пользоваться невозможно.
Переустановите Office, - проблема исчезнет.
Если не хотите таких проблем в будущем, - отключите автоматическое обновление Windows и Office, и всё будет работать ещё много лет.