mail mail
Нужен макрос для Excel?
Сделайте заказ прямо сейчас!
Ищете готовое решение?
Выбирайте и покупайте!
У вас есть интернет-магазин?
Настроим парсер под любой сайт!

Скачать бесплатно пробную (TRIAL) версию программы:
Parser.xla (версия 2.9.16 от 17.04.2017)


Парсер сайтов и файлов (парсинг данных с сайта в Excel)

Структура программы «Парсер сайтов»

Надстройка Parser для Excel — простое и удобное решение для парсинга любых сайтов (интернет-магазинов, соцсетей, площадок объявлений) с выводом данных в таблицу Excel (формата XLS* или CSV), и также скачивания файлов.

Особенность программы — очень гибкая настройка постобработки полученных данных (множество текстовых функций, всевозможные фильтры, перекодировки, работа с переменными, разбиение значения на массив и обработка каждого элемента в отдельности, вывод характеристик в отдельные столбцы, автоматический поиск цены товара на странице, поддержка форматов JSON и XML).

 

В парсере сайтов поддерживается авторизация на сайтах, выбор региона, GET и POST запросы, приём и отправка Cookies и заголовков запроса, получение исходных данных для парсинга с листа Excel, многопоточность (до 200 потоков), распознавание капчи через сервис RuCaptcha.com, работа через браузер (IE), кеширование, рекурсивный поиск страниц на сайте, сохранение загруженных изображений товара под заданными именами в одну или несколько папок, и многое другое.

Поиск нужных данных на страницах сайта выполняется в парсере путем поиска тегов и/или атрибутов тегов (по любому свойству и его значению). Специализированные функции для работы с HTML позволяют разными способами преобразовывать HTML-таблицы в текст (или пары вида название-значение), автоматически находить ссылки пейджера, чистить HTML от лишних данных.

За счёт тесной интеграции с Excel, надстройка Parser может считывать любые данные из файлов Excel, создавать отдельные листы и файлы, динамически формировать столбцы для вывода, а также использовать всю мощь встроенных в Excel возможностей.
Поддерживается также сбор данных из текстовых файлов (формата Word, XML, TXT) из заданной пользователем папки, а также преобразование файлов Excel из одного формата таблицы в другой (обработка и разбиение данных на отдельные столбцы)

В программе «Парсер сайтов» можно настроить обработку нескольких сайтов. Перед запуском парсинга (кнопкой на панели инструментов Excel) можно выбрать ранее настроенный сайт из выпадающего списка.

Пример использования парсера для мониторинга цен конкурентов

 

Видеоинструкция по настройке парсера сайтов для формирования прайса с интернета-магазина:

 

Дополнительная видеоинструкция: загрузка страниц и авторизация на сайте

 

В программе можно настроить несколько парсеров (обработчиков сайтов).
Любой из парсеров настраивается и работает независимо от других.

Примеры настроенных парсеров (можно скачать, запустить, посмотреть настройки)

Видеоинструкция (2 минуты), как запустить готовый (уже настроенный) парсер

 

Настройка программы, - дело не самое простое (для этого, надо хоть немного разбираться в HTML)

Если вам нужен готовый парсер, но вы не хотите разбираться с настройкой,
— закажите настройку парсера разработчику программы. Средняя стоимость настройки под конкретный сайт, - 1500 рублей.
(настройка под заказ выполняется только при условии приобретения лицензии на надстройку «Парсер» (2500 руб)

Инструкция (с видео) по заказу настройки парсера
По всем вопросам, готов проконсультировать вас в Скайпе.

 

Программа не привязана к конкретному файлу Excel.
Вы в настройках задаёте столбец с исходными данными (ссылками или артикулами),
настраиваете формирование ссылок и подстановку данных с сайта в нужные столбцы,
нажимаете кнопку, - и ваша таблица заполняется данными с сайта.

Программа «Парсер сайтов» может  быть полезна для формирования каталога товаров интернет-магазинов,
поиска и загрузки фотографий товара по артикулам (если для получения ссылки на фото, необходимо анализировать страницу товара),
загрузки актуальных данных (цен и наличия) с сайтов поставщиков, и т.д. и т.п.

 

Ссылки на инструкции по программе «Парсер сайтов» (список инструкций пополняется)

Можно попробовать разобраться с работой программы на примерах настроенных парсеров

Комментарии

Там не в маске дело
Надо было указать парсеру, где на странице искать пейджер
Решение на скриншоте

А по второму вопросу, - надо правильно задать столбец, по которому определяется последняя строка таблицы.
в настройках это вкладка ВЫВОД НА ЛИСТ - подвкладка НАСТРОЙКИ ЛИСТА ДЛЯ ВЫВОДА
По-умолчанию, там стоит столбец 1 «A» - видимо, у вас в этот столбец данные не выводятся.
Укажите там столбец, который всегда заполнен, - и проблема исчезнет.

PS: Смотрю, вы там взломали программу, и себе 666 дней триала замутили, — круто, конечно, но ОЧЕНЬ рискованно. Купите программу, или удалите её с компа.

Вот пример ещё один нашёл - www.naturasiberica.ru
С маской /page/#/ - не работает. А на второй вопрос вы не ответили по поводу затирки данных каждой следующей страницей?

Правильно работает - но только если правильно настроить
Маску пейджера надо задать в виде /page/#/
(ну или как-то так, - пример реальной ссылки вы не указали, так что мне проверить не на чем)

Неправильно работает с page'ing'ом. 1. Не отлавливает страницы если url заканчивается на "/", а страницы далее нумеруются по типу "/page/2/". Проверял на примере url (условно) первоначальный url "domen.ru/" дальнейшие уже "domen.ru/page/2/". 2. Затирает значения предыдущих страниц - то есть если 10 страниц то выдает данные только 10ой страницы.

HTTPS - конечно поддерживает.
Что вы подразумеваете под онлайн-режимом, не понял.

1. Парсер поддерживает htpps ?
2. Есть ли режим онлайн?

Евгений, техподдержка осуществляется только через Скайп и тимвьюер. Пишите в личку, обсудим

Добрый день!

Кеширование отключено.
Создал несколько копии настроек парсера ошибка осталась.
В приложении 4 файла + настройка.
https://yadi.sk/d/5FW8nxY0xe4yk

Здравствуйте, Евгений
Насчет работы нескольких парсеров одновременно и независимо друг от друга, — это в любой версии Excel можно было сделать.
Надо только запускать отдельные копии приложения Excel (обычно это делалось запуском Excel через Пуск - Программы, но иногда требовалось создать отдельный ярлык для запуска, аналогично описанному по вашей ссылке способу)

Насчет ошибок (пересечение 2 и более парсеров) - такого не должно быть. В отдельных экземплярах приложения Excel (как у вас) всё работает независимо, как на разных компах.
Общий у парсера только кеш (если включено кеширование) - т.е. если ссылки одни и те же, а регионы разные, то при включенном кешировании, во все файлы попадут одни и те же данные. Но этого легко избежать, - либо кеширование отключить, либо создать копии настроек парсера, - чтобы названия парсеров разные были.
А если вывод идет не в ту ячейку, - значит, настроено что-то не так

Добрый день!
Система Win 7x64 office 2010 32 Установлено "дополнение" https://support.microsoft.com/ru-ru/kb/2636670 работа в нескольких окнах.
С этим дополнением есть возможность запускать несколько парсеров на 1 компьютере. Заметил что при работе 2-х и более парсеров данные иногда пересекаются. Например 2 файла один Ниж.Новгород второй Ростов парсер берет URL из ячейки загружает страницу выводит данные в туже ячейку. Из 3-х тысяч строк 5-10 ошибок.
Видео и настройки парсера https://yadi.sk/d/Ol8B5ztcxbS4Z

Здравствуйте, Леонид.
1) Парсер абсолютно одинаково работает в любой версии Office
Рекомендую версию 2010, без включенного автообновления, - тогда все будет годами работать идеально.

2) в парсер добавляется набор действий с названием Parser_Finish (этот набор действий автоматически выполнится по завершении работы парсера), и там задаётся одно действие «Запланировать запуск парсера» (там можно указать время или интервал запуска)

Доброго времени суток.
Пару вопросов.
1. Какая из последних версий офиса обеспечивает стабильную работу парсера?
2. Как настроить запуск парсера по таймеру, либо с заданным интервалом?

Здравствуйте, Александр.
Это у вас кривая версия Excel (проблема пришла недавно с автообновлением Office)
Красная надпись, которую вы видите, должна быть скрыта. У вас там еще много компонентов на этой и других формах не видны, т.е. программой пользоваться невозможно.
Переустановите Office, - проблема исчезнет.
Если не хотите таких проблем в будущем, - отключите автоматическое обновление Windows и Office, и всё будет работать ещё много лет.

Добрый день! Подскажите, как восстановить работоспособность парсера - старые надстройки работают, но нет возможности ни редактирования, ни создания новых (в окне настройки - внизу красным шрифтом сообщение "Настройки этого парсера недоступны для редактирования"). Спасибо.

Если считаете, что такое можно сделать, - сделайте, кучу денег заработаете)
Парсер работает с любыми сайтами, независимо от того, работает сайт в IE или не работает (никакой тут связи нет)
PS: Я «на слабо» не ведусь)
Если бы такое можно было сделать (чтобы без настройки любой сайт парсился) - конечно бы сделал. Но это нереально.

Добрый день, а почему бы не сделать универсальный парсер, без настройки за 400руб, а с настройкой под самого глупого юзера? )) неужели такому крутому и слабо?) и наверное парсер нормально работает только на тех сайтах, которые можно открыть с помощью IE и вероятно не в 2013, 16 офисе

Добрый день.
Когда Вам удобно будет связаться по скайпу для помощи в написании парсера?
Стандартный вариант заказа не подходит так как необходимо получать данный после авторизации.
Я написал Вам в скайпе.

Алекс, напишите мне в скайп, решим проблему.
Ник в скайпе: ExcelVBA.ru

(версия 2.4.0 от 10.10.2016) виснет наглухо при попытке открыть любой набор на действий или уровень на редактирование
Нет ли возможности отключить проверку обновлений? Антивирус постоянно ругается а последняя версия не работает. Нашел копию 2.2.2 работаю с ней

Здравствуйте, Алексей.
Да, можно

заказы на парсер принимаются в таком виде
http://excelvba.ru/programmes/Parser/order

Возможно ли с помощью Вашей программы собрать объявления например с сайта http://tambov.barahla.net/realty/218/?page=4? Меня интересует несколько параметров:текст объявления, цена, площадь, дата, ссылка на конкретное объявление, ну и еще несколько.

Для удаления, нажмите О программе - Опции - Удалить программу

Здравствуйте, каким образом полностью удалить программу с компьютера?

Вадим, ответ на ваш вопрос есть здесь: http://excelvba.ru/faq/virus

Здравствуйте, почему то антивирус ругаться стал на парсер. пишет что троян. (windows defender)

например, действием ЗАДАТЬ НОВОЕ ЗНАЧЕНИЕ
с параметром %переменная1% %переменная2%
PS: есть и другие способы (например, действие «добавить текст до или после»)

Здравствуйте! как в парсере объединить данные из двух переменных, которые были записаны шагами ранее? Какая последовательность команд при этом должна быть?

Так (без предупреждения, автоматически) устанавливаются только критические обновления (которые бывают очень редко)

Программа сама обновляется. Галка устанавливать обновления автоматически не стоит.

Анатолий, если готовы приобрести программу-парсер (2500 руб), и оплатить перенастройку парсера (от 500 руб), - то сделаю, пишите мне в скайп, обсудим, что и как там должно в парсере работать.

Отправить комментарий

Содержание этого поля является приватным и не предназначено к показу.
CAPTCHA
Подтвердите, пожалуйста, что вы - человек:
   ___    _____   _____   _       _____      _ 
/ _ \ |_ _| | ____| | | |__ / | |
| | | | | | | _| | | / / _ | |
| |_| | | | | |___ | |___ / /_ | |_| |
\__\_\ |_| |_____| |_____| /____| \___/
Введите код, изображенный в стиле ASCII-арт.