Надстройка Parser для Excel — простое и удобное решение для парсинга любых сайтов (интернет-магазинов, соцсетей, площадок объявлений) с выводом данных в таблицу Excel (формата XLS* или CSV), а также скачивания файлов.
Особенность программы — очень гибкая настройка постобработки полученных данных (множество текстовых функций, всевозможные фильтры, перекодировки, работа с переменными, разбиение значения на массив и обработка каждого элемента в отдельности, вывод характеристик в отдельные столбцы, автоматический поиск цены товара на странице, поддержка форматов JSON и XML).
В парсере сайтов поддерживается авторизация на сайтах, выбор региона, GET и POST запросы, приём и отправка Cookies и заголовков запроса, получение исходных данных для парсинга с листа Excel, многопоточность (до 200 потоков), распознавание капчи через сервис RuCaptcha.com, работа через браузер (IE), кеширование, рекурсивный поиск страниц на сайте, сохранение загруженных изображений товара под заданными именами в одну или несколько папок, и многое другое.
Поиск нужных данных на страницах сайта выполняется в парсере путем поиска тегов и/или атрибутов тегов (по любому свойству и его значению). Специализированные функции для работы с HTML позволяют разными способами преобразовывать HTML-таблицы в текст (или пары вида название-значение), автоматически находить ссылки пейджера, чистить HTML от лишних данных.
За счёт тесной интеграции с Excel, надстройка Parser может считывать любые данные из файлов Excel, создавать отдельные листы и файлы, динамически формировать столбцы для вывода, а также использовать всю мощь встроенных в Excel возможностей.
Поддерживается также сбор данных из текстовых файлов (формата Word, XML, TXT) из заданной пользователем папки, а также преобразование файлов Excel из одного формата таблицы в другой (обработка и разбиение данных на отдельные столбцы)
В программе «Парсер сайтов» можно настроить обработку нескольких сайтов. Перед запуском парсинга (кнопкой на панели инструментов Excel) можно выбрать ранее настроенный сайт из выпадающего списка.
Пример использования парсера для мониторинга цен конкурентов
Дополнительные видеоинструкции, а также подробное описание функционала, можно найти в разделе Справка по программе
В программе можно настроить несколько парсеров (обработчиков сайтов).
Любой из парсеров настраивается и работает независимо от других.
Примеры настроенных парсеров (можно скачать, запустить, посмотреть настройки)
Видеоинструкция (2 минуты), как запустить готовый (уже настроенный) парсер
Настройка программы, - дело не самое простое (для этого, надо хоть немного разбираться в HTML)
Если вам нужен готовый парсер, но вы не хотите разбираться с настройкой,
— закажите настройку парсера разработчику программы. Стоимость настройки под конкретный сайт - от 2000 рублей.
(настройка под заказ выполняется только при условии приобретения лицензии на надстройку «Парсер» (3300 руб)
Инструкция (с видео) по заказу настройки парсера
По всем вопросам, готов проконсультировать вас в Скайпе.
Программа не привязана к конкретному файлу Excel.
Вы в настройках задаёте столбец с исходными данными (ссылками или артикулами),
настраиваете формирование ссылок и подстановку данных с сайта в нужные столбцы,
нажимаете кнопку, - и ваша таблица заполняется данными с сайта.
Программа «Парсер сайтов» может быть полезна для формирования каталога товаров интернет-магазинов,
поиска и загрузки фотографий товара по артикулам (если для получения ссылки на фото, необходимо анализировать страницу товара),
загрузки актуальных данных (цен и наличия) с сайтов поставщиков, и т.д. и т.п.
Справка по программе «Парсер сайтов»
Можно попробовать разобраться с работой программы на примерах настроенных парсеров
Комментарии
Во время действи "подключиться к запущенному ie" в результате обработки получается IE not found, хотя ie запущен. В чем может быть причина? https://prnt.sc/h3emtu
Александр, надо передавать заголовки запроса.
Смотрите вторую видеоинструкцию
Добрый день, при попытке загрузить исходный код страницы https://raiton.ru/category/matrasy/?del_filter=y&PAGEN_1=1 выдает ошибку, мол сервер не ответил за столько-то секунд, выдает ошибку моментально, если выбрать кодировку страницы direct выдает ошибку
Ошибка прямой загрузки кода страницы
Код ошибки: 0x800C0008 (-2146697208)
INET_E_DOWNLOAD_FAILURE
The download has failed (the connection was interrupted).
Собственно вопрос, в чем проблема?
Спасибо, Игорь! Проблему решил.
Здравствуйте, Дмитрий
Лицензия не слетит.
Добавьте в список исключений мой сайт ExcelVBA.ru
и расширение файла надстройки *.XLA
(чтобы надстройки вообще не проверялись)
PS: может проще отключить вообще этого защитника, раз от него вреда больше, чем пользы?
Установите лучше бесплатного Касперского
Хотя, настроить исключения - не должно быть сложно.
Центр безопасности защитника Windows стал удалять Parser.xla постоянно. Даже не позволяет включить этот файл в список исключений, т.к. пишет, что он содержит вредоносную ссылку. Что делать? И при повторном скачивании и установке файла не слетит ли лицензия?
Вот спасибо! Не обращал внимание на этот пункт. Дальше разберусь
Виктор, для начала забываем про действие «Загрузить файл с передачей заголовков запроса». Это вообще не то, что вам нужно.
Загрузка любых файлов в парсере настраивается на вкладке ЗАГРУЗКА ФАЙЛОВ.
Добавляем там загрузку, в списке действий получаем массив ссылок (URL) для загрузки.
В качестве имени файла можно указать ссылку на переменную, содержащую массив значений вида
c:/ПолныйПуть1/aaa.jpg, c:/ПолныйПуть2/aaa.jpg
Массив имен файлов должен содержать столько же значений, сколько ссылок (URL для загрузки) сформировано действиями в списке действий загрузки.
Спасибо за ответ. Я понимаю, что у нас страна в стиле "платно". Но я это могу сделать если припрет другими вариантами: 1) внешний скрипт эксель, переименовывает файл в артикул+№.jpg, 2) php скриптом запрос в базу для получения оригинального наименования файла, 3) другие варианты
Вопрос в том, что есть в парсере возможность не применяя всяких внешних изысков это реализовать, может я опять какую-то команду не вижу...
Иван, напишите мне в скайп или на почту, решим проблему.
Здравствуйте.
Купили Ваш парсер на 3 ПК, на все установили, все работает отлично.
На одном из компьютеров после переустановки системы и офиса при вводе эл.почты для регистрации парсера вылазит ошибка, что парсер уже используется на 3 ПК.
Можно ли как-то решить эту проблему?
Виктор, могу настроить под заказ (платно)
Там всё просто, но я не готов бесплатно выспрашивать подробности, и потом расписывать, что где нажать.
Если готовы оплатить - высылайте заказ на почту
Здравствуйте!
не нашел как скачивать файлы (картинки) с одинаковыми названиями.
получаю на входе массив значений dir1/aaa.jpg, dir2/aaa.jpg и т.д. (название файлов одинаковы)
для скачивания нашел только "Загрузить файл с передачей заголовков запроса", тут нет параметров чтобы переименовать файл. получается из всех картинок скачать можно только одну.
как быть?
Пётр, нет простых способов это сделать
Можно что-нибудь наколдовать с настройками, но повозиться надо
Если готовы приобрести программу, и проблема только в добавлении пустых строк, - напишите в скайп, что-нибудь придумаем
администратор здравствуйте, скажите пожалуйста как сделать чтобы строки c результатам были разделены пустыми строками при выводе на лист?
Помощь с настройкой парсера под сайты НЕ входит в стоимость программы.
За дополнительную плату, - да, можно
Если приобрету парсер, подскажете как настроить, в какую точку "долбить"? Так сказать, направите в верном направлении?
Всё возможно. Только настройка чуть сложнее.
Можем настроить под заказ.
Заказы на парсер принимаются в таком виде
http://excelvba.ru/programmes/Parser/order
Добрый день, возможно ли запарсерить "фильтр (вкладку)" выбор по автомобилям с сайта https://shininvest.ru/. Дело в том, что попытался сам, но застопарился на свойстве модель автомобиля, парсер их (модели) не выводит, не видит, а в браузере отображает, вот и не приложу ума, либо проблема в "кудрявости" рук, либо это невозможно...
Николай, надо делать проверку, отобразилась ли капча на странице
И отображать окно браузера, только если капча отобразилась, - а не при каждой загрузке страницы
Можем настроить под заказ.
Правильно ли составлен алгоритм?
1) Загрузить ИСХОДНЫЙ КОД веб-страницы || URL="https://prosvet1.com/g6060167-potolochnye-svetilniki"
2) Отразить/скрыть IE || Visible="отобразить"
3)INFO:Вывод сообщения (MsgBox) || Mesager=""; Title="";Buttons="0 = OK";
4) Отразить/скрыть IE || Visible="скрыть"
5) HTML: Получить все ссылки пейджера || Filters="auto"; PagerMask="page_"
В конечном итоге выводит:
Защита от роботов
function doSubmit(token) {
try {
var f = document.querySelector("form#check-captcha");
if (f) {
f.submit()
}
} catch(e) {}
}
Защита от роботов
Вы попали сюда, вероятно, потому что с вашего ip адреса было сделано слишком много запросов к сайту за единицу времени.
Введите текст, который вы видите на картинке, для того, чтобы вернуться к работе с сайтом.
В IE не выводится окно для ручного ввода.
Правильно ли настроил?
Всё просто, - надо 3 действия:
1) отобразить окно браузера IE
2) вывести MSGBOX с сообщением «Нажмите ОК, когда капча будет введена»
3) скрыть окно браузера IE
Подскажите как реализовать вывод капчи в окне браузера IE.
Здравствуйте, Николай
Пока такого нет.
Сейчас можно, при использовании браузера IE, отобразить его окно в случае необходимости ввода капчи
В скором времени реализую автораспознавание этой капчи через сервис rucaptcha.com
Добрый день. Есть функция для вывода "google captcha антибот" на экран и пройти капчу самому в процессе парсинга?
Теперь я видел ВСЕ!
ФАНТАСТИЧЕСКАЯ РАБОТА!
Если автор сделал такое в EXCEL, то я ПРЕКЛОНЯЮ КОЛЕНИ перед его мастерством!
На своем долгом веку я видел только один условно бесплатный прект похожего уровня, который использую для парсинга товаров в Opencart, и к которому испытываю просто восторг.
Теперь таких проектов два!
Спасибо за работу, обязательно приобрету!
P.S. Интересная капча, первый раз такое вижу, понравилась!
Old School Style from file_id.diz !!! )))
Можем настроить под заказ, или могу помочь решить эту проблему, если готовы оплатить программу-парсер.
Пишите в скайп.
а у меня так не получается, тот сайт на котором авторизуюсь через IE, в парсере отправляет на страницу с ошибкой.. может гдето в IE настройки какие посмотреть?
Высылайте заказ на парсер (по каждому из сайтов) в таком виде:
http://excelvba.ru/programmes/Parser/order
тогда будет понятно, что вам нужно сделать, - и, соответственно, возможно или нет
Добрый день! есть возможность сделать парсер для сайтов типа exist.ru, www.autodoc.ru? критерий марка авто.
Отправить комментарий