Надстройка Parser для MS Excel: общие сведения
Предназначение программы: быстрый сбор любых данных с различных сайтов или файлов, с выводом результата в Excel.
Основные возможности:
- парсинг интернет-магазинов и любых других сайтов (соцсетей, каталогов, объявлений и т.д.)
- извлечение данных из файлов формата Word / Excel / txt / PDF
- скачивание файлов (изображений, документов, и т.п.)
- обновление цен по ссылкам (мониторинг цен конкурентов / РРЦ)
Особенности программы
Простота использования и настройки
- Запуск парсера нажатием одной кнопки на ленте Excel
- Для настройки парсеров не нужно знание программирования!
Достаточно минимально понимать HTML (что такое теги), и изучить 2 основные команды парсера (загрузка страницы, и поиск тегов). Этого достаточно для 90% задач. - Если сами не разберётесь с настройкой — всегда можно заказать нам настройку парсера под вашу задачу.
- Всё что нужно для работы парсера, это Windows 10 (или новее) и Microsoft Excel (версии 2010 или новее)
Иногда ещё нужен браузер Google Chrome (для работы с проблемными сайтами) - Можно настроить программу под несколько разных сайтов (задач), и легко переключаться между настройками через выпадающий список на панели инструментов программы.
Гибкая постобработка данных
- Множество текстовых функций для обработки полученной информации
- Разнообразные фильтры и функции перекодировки
- Работа с переменными и массивами данных
- Разбиение значений на отдельные элементы с индивидуальной обработкой
- Автоматический вывод характеристик товаров в отдельные столбцы
- Интеллектуальный поиск цен на страницах
- Поддержка форматов JSON и XML
Продвинутые сетевые возможности
- Несколько способов загрузки страниц — WinHTTP / WinAPI / WinINET / IE / Google Chrome
- Авторизация — поддержка входа в аккаунты на различных сайтах
- Региональные настройки — выбор географического региона для парсинга
- HTTP-запросы — поддержка GET и POST методов, конструктор запросов
- Cookies и Headers — полная работа с HTTP-заголовками и куки
- Многопоточность — до 200 одновременных потоков для ускорения работы
- Обход защиты — распознавание капчи через сервис RuCaptcha.com, паузы между запросами
- Браузерная интеграция — работа с защищёнными от роботов сайтами через Google Chrome
- Кеширование — сохранение данных для повторного использования
Неограниченные возможности поиска и навигации по сайту
- Рекурсивный поиск страниц на сайтах
- Поиск данных по HTML-тегам и их атрибутам
- Автоматическое обнаружение ссылок пагинации (пейджера)
- Специализированные функции для работы с HTML-таблицами
- Преобразование HTML в текст и пары "название-значение"
- Очистка HTML от лишних данных
Интеграция с Excel
- Чтение данных из файлов Excel для использования в парсинге
- Создание отдельных листов и файлов
- Динамическое формирование столбцов для вывода результатов
- Использование всех встроенных возможностей Excel (условное форматирование, формат ячеек)
- Удобная панель инструментов для запуска парсинга
Работа с файлами
- Сбор данных из файлов различных форматов (Word, XML, TXT, Excel, PDF)
- Обработка файлов из заданных пользователем папок
- Сохранение изображений и документов под заданными именами в настраиваемые папки
С момента выхода программы в 2014 году, её функционал постоянно развивался (вышли сотни обновлений), поэтому сейчас в парсере есть всё, что только может вам понадобиться для сбора данных из интернета.
Более подробно всё это описано в разделе Справка по программе
Дополнительные видео и подробное описание функционала можно найти в разделе Справка по программе
В программе можно настроить несколько парсеров (обработчиков сайтов).
Любой из парсеров настраивается и работает независимо от других.
Примеры настроенных парсеров (можно скачать, запустить, посмотреть настройки)
Видеоинструкция (2 минуты), как запустить готовый (уже настроенный) парсер
Если вам нужен готовый парсер, но вы не хотите разбираться с настройкой,
— закажите настройку парсера разработчику программы. Стоимость настройки под конкретный сайт - от 2500 рублей.
Настройка под заказ выполняется только при условии приобретения лицензии на надстройку «Парсер» (4000 руб)
Инструкция (с видео) по заказу настройки парсера
По всем вопросам, связанным с заказом, готов проконсультировать вас в Телеграм.
Комментарии
Виктор, могу настроить под заказ (платно)
Там всё просто, но я не готов бесплатно выспрашивать подробности, и потом расписывать, что где нажать.
Если готовы оплатить - высылайте заказ на почту
Здравствуйте!
не нашел как скачивать файлы (картинки) с одинаковыми названиями.
получаю на входе массив значений dir1/aaa.jpg, dir2/aaa.jpg и т.д. (название файлов одинаковы)
для скачивания нашел только "Загрузить файл с передачей заголовков запроса", тут нет параметров чтобы переименовать файл. получается из всех картинок скачать можно только одну.
как быть?
Пётр, нет простых способов это сделать
Можно что-нибудь наколдовать с настройками, но повозиться надо
Если готовы приобрести программу, и проблема только в добавлении пустых строк, - напишите в скайп, что-нибудь придумаем
администратор здравствуйте, скажите пожалуйста как сделать чтобы строки c результатам были разделены пустыми строками при выводе на лист?
Помощь с настройкой парсера под сайты НЕ входит в стоимость программы.
За дополнительную плату, - да, можно
Если приобрету парсер, подскажете как настроить, в какую точку "долбить"? Так сказать, направите в верном направлении?
Всё возможно. Только настройка чуть сложнее.
Можем настроить под заказ.
Заказы на парсер принимаются в таком виде
http://excelvba.ru/programmes/Parser/order
Добрый день, возможно ли запарсерить "фильтр (вкладку)" выбор по автомобилям с сайта https://shininvest.ru/. Дело в том, что попытался сам, но застопарился на свойстве модель автомобиля, парсер их (модели) не выводит, не видит, а в браузере отображает, вот и не приложу ума, либо проблема в "кудрявости" рук, либо это невозможно...
Николай, надо делать проверку, отобразилась ли капча на странице
И отображать окно браузера, только если капча отобразилась, - а не при каждой загрузке страницы
Можем настроить под заказ.
Правильно ли составлен алгоритм?
1) Загрузить ИСХОДНЫЙ КОД веб-страницы || URL="https://prosvet1.com/g6060167-potolochnye-svetilniki"
2) Отразить/скрыть IE || Visible="отобразить"
3)INFO:Вывод сообщения (MsgBox) || Mesager=""; Title="";Buttons="0 = OK";
4) Отразить/скрыть IE || Visible="скрыть"
5) HTML: Получить все ссылки пейджера || Filters="auto"; PagerMask="page_"
В конечном итоге выводит:
Защита от роботов
function doSubmit(token) {
try {
var f = document.querySelector("form#check-captcha");
if (f) {
f.submit()
}
} catch(e) {}
}
Защита от роботов
Вы попали сюда, вероятно, потому что с вашего ip адреса было сделано слишком много запросов к сайту за единицу времени.
Введите текст, который вы видите на картинке, для того, чтобы вернуться к работе с сайтом.
В IE не выводится окно для ручного ввода.
Правильно ли настроил?
Всё просто, - надо 3 действия:
1) отобразить окно браузера IE
2) вывести MSGBOX с сообщением «Нажмите ОК, когда капча будет введена»
3) скрыть окно браузера IE
Подскажите как реализовать вывод капчи в окне браузера IE.
Здравствуйте, Николай
Пока такого нет.
Сейчас можно, при использовании браузера IE, отобразить его окно в случае необходимости ввода капчи
В скором времени реализую автораспознавание этой капчи через сервис rucaptcha.com
Добрый день. Есть функция для вывода "google captcha антибот" на экран и пройти капчу самому в процессе парсинга?
Теперь я видел ВСЕ!
ФАНТАСТИЧЕСКАЯ РАБОТА!
Если автор сделал такое в EXCEL, то я ПРЕКЛОНЯЮ КОЛЕНИ перед его мастерством!
На своем долгом веку я видел только один условно бесплатный прект похожего уровня, который использую для парсинга товаров в Opencart, и к которому испытываю просто восторг.
Теперь таких проектов два!
Спасибо за работу, обязательно приобрету!
P.S. Интересная капча, первый раз такое вижу, понравилась!
Old School Style from file_id.diz !!! )))
Можем настроить под заказ, или могу помочь решить эту проблему, если готовы оплатить программу-парсер.
Пишите в скайп.
а у меня так не получается, тот сайт на котором авторизуюсь через IE, в парсере отправляет на страницу с ошибкой.. может гдето в IE настройки какие посмотреть?
Высылайте заказ на парсер (по каждому из сайтов) в таком виде:
http://excelvba.ru/programmes/Parser/order
тогда будет понятно, что вам нужно сделать, - и, соответственно, возможно или нет
Добрый день! есть возможность сделать парсер для сайтов типа exist.ru, www.autodoc.ru? критерий марка авто.
Есть возможность парсить ЛЮБЫЕ сайты.
На каком движке сайт, - разницы нет.
Есть ли возможность парсить сайты на Wordpress?
Здравствуйте, Елена.
Напишите мне в скайп, решим вопрос.
Игорь, здравствуйте. Чуть более года назад скачивала ваш парсер при создании своего сайта, но к сожалению моих знаний не хватило и я не смогла разобраться в настройках. Сейчас снова возникла потребность в такой программе и хотелось бы попробовать настроить парсер перед покупкой, но триал версия закончена и программа просит приобрести лицензию. Скажите пожалуйста можно ли получить пробный доступ сейчас еще раз?
Иногда сайты меняются, - так что перенастраивать надо
Там в конце статьи указаны контакты моего коллеги, - обратитесь к нему, он перенастроит, если готовы оплатить программу и эту настройку под букинг.
http://excelvba.ru/programmes/Parser/samples/booking.com
Добрый день!
Образец парсера для booking.com не работает корректно. Возникает ошибка - сервер не ответил за 30 секунд.
Игорь, а есть какой-нибудь подобный пример
Иван, тут надо смотреть в браузере, куда он выполняет запрос при щелчке по такой «типа ссылке» (там скрипт отрабатывает, подгружая данные)
И парсером выполнять аналогичный запрос.
Добрый день. Есть некоторые сайты где на одной странице указаны несколько ссылок с хэштегами. например site.com/#1 это один товар, site.com/#1 это второй и тд. При загрузке исходного кода в парсере в виде site.com/#2 не происходит загрузка кода. Как загружать такие страницы.
Действительно, можно так. Спасибо за наводку!
По ходу еще вопрос. Если данные собираются в новом открывающемся листе, можно ли как то вытягивать данные из листа источника, помимо столбца, который является исходным значением для парсера? А то я каждый раз устраиваю "танцы с бубнами" либо сцепляя данные исходного листа с последующим разбиением на массив, либо сохраняю массив в текстовый файл и гружу его как источник данных. Наверняка не увидел чего-то простого в настройках?
Олег, да, есть в планах такое сделать, - уже были подобные просьбы
Но это можно сделать и в настройках парсера, - буквально пару действий добавить (увеличить значение счетчика, проверка на выполнение условия - например, что счетчик кратен 1000, и действие сохранения файла Excel)