Надстройка Parser для MS Excel: общие сведения
Предназначение программы: быстрый сбор любых данных с различных сайтов или файлов, с выводом результата в Excel.
Основные возможности:
- парсинг интернет-магазинов и любых других сайтов (соцсетей, каталогов, объявлений и т.д.)
- извлечение данных из файлов формата Word / Excel / txt / PDF
- скачивание файлов (изображений, документов, и т.п.)
- обновление цен по ссылкам (мониторинг цен конкурентов / РРЦ)
Особенности программы
Простота использования и настройки
- Запуск парсера нажатием одной кнопки на ленте Excel
- Для настройки парсеров не нужно знание программирования!
Достаточно минимально понимать HTML (что такое теги), и изучить 2 основные команды парсера (загрузка страницы, и поиск тегов). Этого достаточно для 90% задач. - Если сами не разберётесь с настройкой — всегда можно заказать нам настройку парсера под вашу задачу.
- Всё что нужно для работы парсера, это Windows 10 (или новее) и Microsoft Excel (версии 2010 или новее)
Иногда ещё нужен браузер Google Chrome (для работы с проблемными сайтами) - Можно настроить программу под несколько разных сайтов (задач), и легко переключаться между настройками через выпадающий список на панели инструментов программы.
Гибкая постобработка данных
- Множество текстовых функций для обработки полученной информации
- Разнообразные фильтры и функции перекодировки
- Работа с переменными и массивами данных
- Разбиение значений на отдельные элементы с индивидуальной обработкой
- Автоматический вывод характеристик товаров в отдельные столбцы
- Интеллектуальный поиск цен на страницах
- Поддержка форматов JSON и XML
Продвинутые сетевые возможности
- Несколько способов загрузки страниц — WinHTTP / WinAPI / WinINET / IE / Google Chrome
- Авторизация — поддержка входа в аккаунты на различных сайтах
- Региональные настройки — выбор географического региона для парсинга
- HTTP-запросы — поддержка GET и POST методов, конструктор запросов
- Cookies и Headers — полная работа с HTTP-заголовками и куки
- Многопоточность — до 200 одновременных потоков для ускорения работы
- Обход защиты — распознавание капчи через сервис RuCaptcha.com, паузы между запросами
- Браузерная интеграция — работа с защищёнными от роботов сайтами через Google Chrome
- Кеширование — сохранение данных для повторного использования
Неограниченные возможности поиска и навигации по сайту
- Рекурсивный поиск страниц на сайтах
- Поиск данных по HTML-тегам и их атрибутам
- Автоматическое обнаружение ссылок пагинации (пейджера)
- Специализированные функции для работы с HTML-таблицами
- Преобразование HTML в текст и пары "название-значение"
- Очистка HTML от лишних данных
Интеграция с Excel
- Чтение данных из файлов Excel для использования в парсинге
- Создание отдельных листов и файлов
- Динамическое формирование столбцов для вывода результатов
- Использование всех встроенных возможностей Excel (условное форматирование, формат ячеек)
- Удобная панель инструментов для запуска парсинга
Работа с файлами
- Сбор данных из файлов различных форматов (Word, XML, TXT, Excel, PDF)
- Обработка файлов из заданных пользователем папок
- Сохранение изображений и документов под заданными именами в настраиваемые папки
С момента выхода программы в 2014 году, её функционал постоянно развивался (вышли сотни обновлений), поэтому сейчас в парсере есть всё, что только может вам понадобиться для сбора данных из интернета.
Более подробно всё это описано в разделе Справка по программе
Дополнительные видео и подробное описание функционала можно найти в разделе Справка по программе
В программе можно настроить несколько парсеров (обработчиков сайтов).
Любой из парсеров настраивается и работает независимо от других.
Примеры настроенных парсеров (можно скачать, запустить, посмотреть настройки)
Видеоинструкция (2 минуты), как запустить готовый (уже настроенный) парсер
Если вам нужен готовый парсер, но вы не хотите разбираться с настройкой,
— закажите настройку парсера разработчику программы. Стоимость настройки под конкретный сайт - от 2500 рублей.
Настройка под заказ выполняется только при условии приобретения лицензии на надстройку «Парсер» (4000 руб)
Инструкция (с видео) по заказу настройки парсера
По всем вопросам, связанным с заказом, готов проконсультировать вас в Телеграм.
Комментарии
Здравствуйте! Подскажите, а можно задать список артикулов с сайта, по которым парсер будет выкачивать информацию?
Алексей, подсказать не могу, но можем настроить под заказ.
Заказы на парсер принимаются в таком виде
https://excelvba.ru/programmes/Parser/order
Здравствуйте.В карточке товара есть ссылка на доп.страницу.
подскажите пожалуйста как настроить парсер, чтобы вывести все данные в одну таблицу.
Здравствуйте.
Да, может и такое.
Добрый день! Есть немного нестандартная задача. Парсер записывает в текстовые файлы сгенерированный текст из таблицы ексель, потом я переношу эти тексты на сайт по одному. Может парсер формировать XML файл определенной структуры, что бы потом импортировать весь контент из этого файла на страницы сайта?
Дмитрий, парсер ничего не переводит сам.
Просто в загруженной странице эти названия были на русском (а в браузере вы принудительно выбрали язык сайта, потому на английском всё).
Надо парсером переключить язык сайта (это делается передачей Cookies или выполнением POST запроса)
О том, как это настраивается, смотрите в видеоинструкции:
https://excelvba.ru/programmes/Parser/manuals/Loading_Pages_and_Logon
Здравствуйте! Приобрел лицензию, настраиваю на ebay. На этапе формирования списка ссылок на товары парсер почему то текст ссылок (они же названия товаров) перевел на русский, хотя изначально страница текста на английском. При загрузке исходного кода всех страниц кодировку указывал utf-8. Подскажите пожалуйста как спарсить региональные английские названия товаров.
Илья, в справке по программе всё написано:
https://excelvba.ru/programmes/Parser/manuals/errors/overwriting
Спасибо, Игорь.
Еще столкнулся с проблемой, при выводе результатов на лист, все данные записываются в первую строку, и соответственно затираются новыми значениями.
Не могу понять, какую галочку в настройках надо поставить/снять.
Илья, пример такого парсера можно посмотреть здесь:
https://excelvba.ru/programmes/Parser/samples/gal-art
Купил лицензию)
Подскажите, как настроить парсер, чтоб он забивал в поиск на сайте нужные артикулы (из таблицы), и дальше работал с результатом вывода?
Ну или в каком пункте инструкции это написано?
Спасибо.
Здравствуйте, Илья.
1. Перенос активаций с одного компьютера на другой не предусмотрен.
При необходимости, вы можете докупить активации для новых компьютеров, по 600 руб за каждый дополнительный компьютер.
2. Да, парсер это умеет
Да, хочу купить лицензию, есть пара вопросов.
1) Можно ли при необходимости деактивировать лицензию на одном устройстве и перенести её на другое?
2) Есть ли вариант настройки парсера таким образом, чтоб он забивал в поиск нужные артикулы (из таблицы), и дальше работал с результатами поиска?
Благодарю)
Здравствуйте, Илья.
Тут весьма нестандартный пейджер, но это все тоже легко решаемо
(просто будет не 1 действие «Получить все ссылки пейджера», а несколько других команд)
Если готовы оплатить программу (2700 руб) + помощь по этому вопросу (500 руб), — покажу пример получения ссылок пейджера для этого сайта.
Игорь, здравствуйте! Спасибо за программу, очень помогает в работе.
Столкнулся с проблемой, почему-то не получается получить ссылки пейджера со страницы http://www.fonlimachinery.com/supplier-242277-komatsu-bulldozer-parts
Ставлю параметр auto - не находит, добавляю префикс "p" либо "p-" результата 0.
Подскажите, что сделать? Спасибо.
Дмитрий, по вашей ссылке 0 результатов, — и пейджера, соответственно, нет.
Я не консультирую по вопросам настройки парсеров.
Можем настроить под заказ (платно)
Здравствуйте.
Подскажите пожалуйста действия для получения ссылок пейджера на данной странице: https://www.ebay.com/sch/napkinworld/m.html?_nkw=&_armrs=1&_ipg=&_from=
Делал по инструкции. 1. Загрузил страницу с пейджером. 2. Поиск ссылок пейджера, вводил префикс &_pgn= все равно безуспешно.
Здравствуйте, Юрий.
Написал инструкцию для вашего случая: Пейджер на скриптах
Добрый вечер!
Протестировал Вашу программу на нескольких разных сайтах. Всё получилось настроить и выгрузить необходимые данные. Очень понравилась программа, приобрёл лицензию. Но при настройке на очередной сайт столкнулся с проблемой - не получается вытащить ссылки пейджера. Подскажите, пожалуйста, как их выгрузить? Ссылка на сайт https://www.mos.ru/otvet-transport/kak-proverit-razreshenie-taksi
Возможно, когда-то раньше уже запускали эту надстройку на этом компе.
Напишите мне на почту ID компьютера из О ПРОГРАММЕ - АКТИВАЦИЯ, решим проблему.
Прошу объяснить, почему после скачивания и установки надстройки появляется сообщение, что пробный период истек. Я ее только что скачал и сразу установил. Каким образом за 2 минуты пропало 2 недели обещанного тестового периода?
Hello Agustin,
Sorry but my add-in doesn't fully support English.
Translation covers only menu, toolbar and progressbar, cause most of the add-in' users who set it up understand Russian.
I could translate all the interface but it takes a lot of time. I gonna do that but not soon.
If you need we can set the program up for your task. All you need after that is to click a button to run a parser.
Hi,
I am interested in this application. I downloaded the parser from this page, "install" it and select the English language, but when I open the add on in Excel, the parser is in the Russian language, even though I selected English. Unfortunately I do not understand anything Russian and I can not prove it to trial. How can I make it in English?
Thanks!
Здравствуйте, Владимир.
С места остановки, в общем случае, не начать. Но, если всё настроено правильно, сбоев не должно быть.
Добавить новый сайт - созданием и настройкой нового парсера.
Какой парсер первым запустите - с того программа и начнет. Каждый раз изменять настройки не надо.
Здравствуйте! Я новичек, но по видеоиснтрукции все настроил! Все работает! Пока пользуюсь пробной версией. Не увидел в видео как нажать паузу! Если произошел какой-то сбой, то как продолжить парсинг с места остановки? Это ведь долгий процесс, и если парсер загрузил уже 5000 ссылок, в случае остановки парсера он потом должен начать все сначала? И второй вопрос, как добавить еще один сайт для парсинга? Это будут другие настройки парсинга. Как программе указывать с какого сайта начать парсить? Каждый раз надо изменять настройки?
Стас, да, можно
Достаточно одну команду добавить, - Добавить новый лист в книгу (на подуровне, где категория обрабатывается. обычно это 2 подуровень)
PS: 50 тыс строк для Excel - не проблема. Странно, что там что-то не выдерживает.
Добрый день, а можно чтобы книга создавалась на каждую категорию. То как построить цепочку? Т.к. на лист все красиво выводиться,но когда более 50тыс позиций, книга не выдержит.
Антон, да, может. С любого сайта может.
Здравствуйте.
Может ли Ваш парсер делать выгрузку с сайта 55opt.org ?
Да, есть такая возможность.
В настройках столбца для вывода, нужно поставить галочку на вкладке Формат - подвкладке Изображение.
Только если у вас строк немного выводится, а то файл будет весить очень много.