Надстройка Parser для Excel — простое и удобное решение для парсинга любых сайтов (интернет-магазинов, соцсетей, площадок объявлений) с выводом данных в таблицу Excel (формата XLS* или CSV), а также скачивания файлов.
Особенность программы — очень гибкая настройка постобработки полученных данных (множество текстовых функций, всевозможные фильтры, перекодировки, работа с переменными, разбиение значения на массив и обработка каждого элемента в отдельности, вывод характеристик в отдельные столбцы, автоматический поиск цены товара на странице, поддержка форматов JSON и XML).
В парсере сайтов поддерживается авторизация на сайтах, выбор региона, GET и POST запросы, приём и отправка Cookies и заголовков запроса, получение исходных данных для парсинга с листа Excel, многопоточность (до 200 потоков), распознавание капчи через сервис RuCaptcha.com, работа через браузер (IE), кеширование, рекурсивный поиск страниц на сайте, сохранение загруженных изображений товара под заданными именами в одну или несколько папок, и многое другое.
Поиск нужных данных на страницах сайта выполняется в парсере путем поиска тегов и/или атрибутов тегов (по любому свойству и его значению). Специализированные функции для работы с HTML позволяют разными способами преобразовывать HTML-таблицы в текст (или пары вида название-значение), автоматически находить ссылки пейджера, чистить HTML от лишних данных.
За счёт тесной интеграции с Excel, надстройка Parser может считывать любые данные из файлов Excel, создавать отдельные листы и файлы, динамически формировать столбцы для вывода, а также использовать всю мощь встроенных в Excel возможностей.
Поддерживается также сбор данных из текстовых файлов (формата Word, XML, TXT) из заданной пользователем папки, а также преобразование файлов Excel из одного формата таблицы в другой (обработка и разбиение данных на отдельные столбцы)
В программе «Парсер сайтов» можно настроить обработку нескольких сайтов. Перед запуском парсинга (кнопкой на панели инструментов Excel) можно выбрать ранее настроенный сайт из выпадающего списка.
Пример использования парсера для мониторинга цен конкурентов
Дополнительные видеоинструкции, а также подробное описание функционала, можно найти в разделе Справка по программе
В программе можно настроить несколько парсеров (обработчиков сайтов).
Любой из парсеров настраивается и работает независимо от других.
Примеры настроенных парсеров (можно скачать, запустить, посмотреть настройки)
Видеоинструкция (2 минуты), как запустить готовый (уже настроенный) парсер
Настройка программы, - дело не самое простое (для этого, надо хоть немного разбираться в HTML)
Если вам нужен готовый парсер, но вы не хотите разбираться с настройкой,
— закажите настройку парсера разработчику программы. Стоимость настройки под конкретный сайт - от 2500 рублей.
(настройка под заказ выполняется только при условии приобретения лицензии на надстройку «Парсер» (4000 руб)
Инструкция (с видео) по заказу настройки парсера
По всем вопросам, готов проконсультировать вас в Скайпе.
Программа не привязана к конкретному файлу Excel.
Вы в настройках задаёте столбец с исходными данными (ссылками или артикулами),
настраиваете формирование ссылок и подстановку данных с сайта в нужные столбцы,
нажимаете кнопку, - и ваша таблица заполняется данными с сайта.
Программа «Парсер сайтов» может быть полезна для формирования каталога товаров интернет-магазинов,
поиска и загрузки фотографий товара по артикулам (если для получения ссылки на фото, необходимо анализировать страницу товара),
загрузки актуальных данных (цен и наличия) с сайтов поставщиков, и т.д. и т.п.
Справка по программе «Парсер сайтов»
Можно попробовать разобраться с работой программы на примерах настроенных парсеров
Комментарии
Добрый день!
Мне нужно создать макрос для закачивание необходимой информации с сайта госзакупок по номеру извещения.
Максим, эта опция до сих пор была не задействована, - только что её включил.
Скачайте последнюю версию программы с сайта, - и всё заработает.
Кстати, это «таймаут запроса» по-умолчанию равен 6 секундам, - сколько времени программа ожидает ответа от веб-сервера.
А «интервал между запросами» по-умолчанию равен нулю.
Опция "интервал между запросами" реализована?
По умолчанию 6, ставил максимум 600, разницы нет.
Sfera, как именно нужно сделать?
Копируя ссылки в Excel, а потом, нажав кнопку, собрать какие-то данные по выбранным товарам в другие столбцы?
С этим программа вполне справится.
Или надо как-то иначе?
Как сделать вот так?
http://idea-sr.ru/checkout/
или вот так?
http://shopikea.ru/checkout.html
Обращайтесь в скайп, - расскажу и покажу, как настраивать
(инструкция по программе пока не готова)
Не получается копировать изображения:( Не понимаю какими действиями дать программе понять что именно с этой ссылки качать нужно
Не скачивается ваша надстройка
Здравствуйте, Сергей.
Реализовать под OpenOffice, - можно, почему бы и нет.
Но это вопрос не ко мне, - я работаю только с Excel, а в OpenOffice совсем другие макросы (более сложные в плане разработки), так что я сомневаюсь, что кто-то будет делать подобное в бесплатных табличных редакторах.
Насчёт абракадабры, - такое возможно (хотя, я сам очень редко с таким сталкивался), если кодировка веб-страницы, возвращаемая сервером в заголовке веб-страницы, не соответствует реальной кодировке
В следующих версиях программы, будет возможность перекодировки.
Вместо текста возвращает абру-кадабру типа СÑма до ÑплаÑи: 197.00 гÑн
Скажите, а можно реализовать эту программу для Open Office? Сами понимаете он бесплатный, а на работе Excel - это дорого.
23 января 2014 г. в 09:22 стало доступно обновление программы «Parser» (версия 1.0.0 Beta).
Изменения в новой версии программы:
Рекомендуем обновить программу до последней версии!
Уверен, что знаете. Мне никогда не требовалась авторизация.
По-вашему, я не знаю про веб-запросы?
Я делаю универсальную программу, - где получение данных выполняется по результатам нескольких (вложенных) запросов + авторизация + скачивание файлов.
Веб-запрос далеко не всегда выводит данные в том виде, в каком их удобно обрабатывать.
А с некоторых сайтов, эти способом вообще не удается получить данные.
Зачем так заморачиваться?
Используем метод http://msdn.microsoft.com/ru-ru/library/office/ff837764.aspx, загружаем данные в массив и обрабатываем как надо.
Здравствуйте, Антонина.
Программа пока в стадии разработки, - пока рано тестировать
Только сегодня сделал более-менее универсальную версию, не выкладывал её ещё.
Чтобы все относительно стабильно работало, и можно было тестировать, - мне нужно время на доработку, примерно неделю-две ещё.
Программа сложная получается, - потому разработка затянулась.
Продажи программы начнутся во второй половине декабря,
когда я уже смогу гарантировать стабильную работу программы.
НИЧЕГО НЕ ПОНЯЛА?! КАК ПОЛЬЗОВАТЬСЯ? ПОМОГИТЕ ПРОТЕСТИРОВАТЬ