Надстройка Parser для Excel — простое и удобное решение для парсинга любых сайтов (интернет-магазинов, соцсетей, площадок объявлений) с выводом данных в таблицу Excel (формата XLS* или CSV), а также скачивания файлов.
Особенность программы — очень гибкая настройка постобработки полученных данных (множество текстовых функций, всевозможные фильтры, перекодировки, работа с переменными, разбиение значения на массив и обработка каждого элемента в отдельности, вывод характеристик в отдельные столбцы, автоматический поиск цены товара на странице, поддержка форматов JSON и XML).
В парсере сайтов поддерживается авторизация на сайтах, выбор региона, GET и POST запросы, приём и отправка Cookies и заголовков запроса, получение исходных данных для парсинга с листа Excel, многопоточность (до 200 потоков), распознавание капчи через сервис RuCaptcha.com, работа через браузер (IE), кеширование, рекурсивный поиск страниц на сайте, сохранение загруженных изображений товара под заданными именами в одну или несколько папок, и многое другое.
Поиск нужных данных на страницах сайта выполняется в парсере путем поиска тегов и/или атрибутов тегов (по любому свойству и его значению). Специализированные функции для работы с HTML позволяют разными способами преобразовывать HTML-таблицы в текст (или пары вида название-значение), автоматически находить ссылки пейджера, чистить HTML от лишних данных.
За счёт тесной интеграции с Excel, надстройка Parser может считывать любые данные из файлов Excel, создавать отдельные листы и файлы, динамически формировать столбцы для вывода, а также использовать всю мощь встроенных в Excel возможностей.
Поддерживается также сбор данных из текстовых файлов (формата Word, XML, TXT) из заданной пользователем папки, а также преобразование файлов Excel из одного формата таблицы в другой (обработка и разбиение данных на отдельные столбцы)
В программе «Парсер сайтов» можно настроить обработку нескольких сайтов. Перед запуском парсинга (кнопкой на панели инструментов Excel) можно выбрать ранее настроенный сайт из выпадающего списка.
Пример использования парсера для мониторинга цен конкурентов
Дополнительные видеоинструкции, а также подробное описание функционала, можно найти в разделе Справка по программе
В программе можно настроить несколько парсеров (обработчиков сайтов).
Любой из парсеров настраивается и работает независимо от других.
Примеры настроенных парсеров (можно скачать, запустить, посмотреть настройки)
Видеоинструкция (2 минуты), как запустить готовый (уже настроенный) парсер
Настройка программы, - дело не самое простое (для этого, надо хоть немного разбираться в HTML)
Если вам нужен готовый парсер, но вы не хотите разбираться с настройкой,
— закажите настройку парсера разработчику программы. Стоимость настройки под конкретный сайт - от 2000 рублей.
(настройка под заказ выполняется только при условии приобретения лицензии на надстройку «Парсер» (3300 руб)
Инструкция (с видео) по заказу настройки парсера
По всем вопросам, готов проконсультировать вас в Скайпе.
Программа не привязана к конкретному файлу Excel.
Вы в настройках задаёте столбец с исходными данными (ссылками или артикулами),
настраиваете формирование ссылок и подстановку данных с сайта в нужные столбцы,
нажимаете кнопку, - и ваша таблица заполняется данными с сайта.
Программа «Парсер сайтов» может быть полезна для формирования каталога товаров интернет-магазинов,
поиска и загрузки фотографий товара по артикулам (если для получения ссылки на фото, необходимо анализировать страницу товара),
загрузки актуальных данных (цен и наличия) с сайтов поставщиков, и т.д. и т.п.
Справка по программе «Парсер сайтов»
Можно попробовать разобраться с работой программы на примерах настроенных парсеров
Комментарии
Сергей, на некоторых сайтах надо иначе настраивать получение списка страниц результатов:
https://excelvba.ru/programmes/Parser/manuals/setting/procedure/pager/en...
Подскажите пжлст, почему не все ссылки пейджера прогружаются. Допустим у меня их 65. А прогружается только количество, которое указано на каждой из страниц, т.е 10
Инструкция, что делать, если не запускается:
https://excelvba.ru/faq/addin_toolbar
Надстройка acrobat тут ни при чем (она у вас установлена была до этого, к моей программе отношения не имеет)
добрый день, подскажите, не запускается настройка парсера, открываю файл parser.xla, а вместо обычной настройки открывается надстройка acrobat, в чем может быть причина
Зачем седьмой по счету?
К какому-нибудь тексту в этом пункте привяжитесь, и удалите действием Проверка на выполнение условия.
саламчик! как удалить(пропустить) ненужный элемент массива? например я получил 10 разделов меню, 7ой по счету элемент мне ненужен.
Откуда надо, оттуда и будет собирать.
Всё, что можно увидеть в Интернет Эксплорер, можно взять и вывести в Эксель.
Игорь, добрый день.
Спасибо за ответ. Да, работа ведётся через internet explorer. Парсер будет собирать информацию из личного кабинета?
Здравствуйте, Александр.
С открытой части - без проблем. С закрытой, где нужна ЭЦП, только если это работает через браузер Интернет Эксплорер
Игорь, добрый день.
можно ли использовать парсер для работы с единой информационной системой в сфере закупок (ЕИС)? Интересует возможность сбора информации с открытой части (веб), закрытой (вход по электронной подписи) и опубликованных документов
Когда парсер преобразовавает результат в текст, все эти символы становятся читаемыми.
Видимо, вы берете тип результата innerHtml, а нужно ConvertToText
Пересмотрите видеоинструкцию, там всё показано.
Либо это дополнительное действие используйте:
https://excelvba.ru/programmes/Parser/actions/ConvertHTMLtoText
Игорь, подскажите пожалуйста, как можно избавиться (точнее, корректно сконвертировать в текстовый вид) от "специальных символов HTML" получаемых в большом количестве при загрузке страницы? Какие есть вариант(ы)? А то всё в перемешку, и нормальный текст, с кавычками и дефисами и прочими знаками и вот примерно с таким видом: https://i.imgur.com/XxfQwyh.png
Александр, такого тоже нет.
Команду закрытия эксель тоже могу добавить, но доработка будет платной (другие пользователи о таком не просили)
В скрытом режиме теоретически можно, но делать подобное не планирую (теряется возможность контролировать процесс и прерывать его)
Игорь, если честно, был на 100% уверен, что такая функция имеется и просто не могу ее найти. Был бы вам весьма благодарен, за добавление возможности запускать внешние файлы по событию! И, что-бы как говорится "два раза не вставать"... подскажите, а возможно не просто "Закрыть книгу Excel", а закрыть Excel полностью? А то автоматические процессы заканчиваются, а Excel висит себе открытым... И ещё вопрос, существует ли возможность работы Excel с запущенным парсером в скрытом (невидимом? фоновом?) режиме?
Александр, такой возможности нет, но могу добавить в следующих версиях программы.
Подскажите пожалуйста, как можно после завершения работы парсера дать команду на запуска bat или exe файла?
Здравствуйте, Ольга.
Да, конечно можно.
Высылайте заказ на парсер в таком виде:
https://excelvba.ru/programmes/Parser/order
Будет заказ - будет информация о стоимости.
Добрый день! Рассматриваем приобретение Вашей надстройки Парсер. Скажите, пожалуйста, перед приобретением программы, можно Вам выслать ТЗ, чтобы Вы ответили, сможете сделать такую настройку для нас или нет. Сколько у Вас стоит настройка Парсера под определенную задачу? Спасибо!
Я не имею возможности консультировать по вопросам настройки.
Можем настроить под заказ.
По первому вопросу: посмотрите вторую видеоинструкцию, там как раз про это:
https://excelvba.ru/programmes/Parser/manuals/Loading_Pages_and_Logon
Очень нравится ваша программа, но из-за собственных слабых познаний затрудняюсь в использование. Покажите пожалуйста, как перейти по вкладкам на сайте, если они исполнены как "< l i data-block="summary" data - ajax="summary/"> Результаты
". Или как добавить к ссылке полученной через "Преобразование в гиперссылку" текст, чтобы исходных код страницы брался с "гиперсылка"+"то что я добавил". Спасибо)
Здравствуйте, Дмитрий
Напишите мне в скайп, решим проблему.
Добрый день!
В последнее время на одном из компьютеров стало очень долго открываться окно настроек Парсера. Также очень много времени требуется для сохранения даже самых незначительных изменений. Также сам процесс парсинга данных занимает в разы больше времени, чем это было до возникновения данной проблемы. На другой машине таких проблем не возникает.
Прошу подсказать, с чем могут быть связаны такие подтормаживания надстройки? Сам Excel, ровно как и Windows, не тормозят ни капли. Машина мощная. Судя по графикам, процессор грузится в моменты открытия и внесения изменений в настройки приблизительно на 30%.
Очень надеюсь на Ваш совет, т.к. подобное поведение надстройки вызывает существенные трудности при её эксплуатации.
Теоретически возможно, конечно, но я версию под Mac делать не буду.
Мои программы работают только под Windows
Здравствуйте. А можно ли сделать такой парсер для MS EXEl под mac и если да, сколько это будет стоить?
Если сделаете пример результата в Экселе, то можно
Добрый день! Есть ли возможность парсинга части таблицы из word в excel с сохранением разметки?
В действии «Поиск тегов» первым параметром указываете div, а четвертым data-brand
Здравствуйте, как из такого div взять data-brand?
div class="col-sm-3 col-xs-6 brand" style="text-align: center; padding-bottom: 15px;" data-brand="110"
Если это ваш сайт, то вы и без парсера можете выгрузить эти данные из админки.
Если это не ваш сайт, то эти данные получить невозможно.
Привет. Нужны дааные которые пользователи вводят при регистрации на сайте в специальной форме, это можно сделать с помощью вашей программы или надо заказывать настройку такого парсинга отдельно?
Отправить комментарий