Надстройка Parser для Excel — простое и удобное решение для парсинга любых сайтов (интернет-магазинов, соцсетей, площадок объявлений) с выводом данных в таблицу Excel (формата XLS* или CSV), а также скачивания файлов.
Особенность программы — очень гибкая настройка постобработки полученных данных (множество текстовых функций, всевозможные фильтры, перекодировки, работа с переменными, разбиение значения на массив и обработка каждого элемента в отдельности, вывод характеристик в отдельные столбцы, автоматический поиск цены товара на странице, поддержка форматов JSON и XML).
В парсере сайтов поддерживается авторизация на сайтах, выбор региона, GET и POST запросы, приём и отправка Cookies и заголовков запроса, получение исходных данных для парсинга с листа Excel, многопоточность (до 200 потоков), распознавание капчи через сервис RuCaptcha.com, работа через браузер (IE), кеширование, рекурсивный поиск страниц на сайте, сохранение загруженных изображений товара под заданными именами в одну или несколько папок, и многое другое.
Поиск нужных данных на страницах сайта выполняется в парсере путем поиска тегов и/или атрибутов тегов (по любому свойству и его значению). Специализированные функции для работы с HTML позволяют разными способами преобразовывать HTML-таблицы в текст (или пары вида название-значение), автоматически находить ссылки пейджера, чистить HTML от лишних данных.
За счёт тесной интеграции с Excel, надстройка Parser может считывать любые данные из файлов Excel, создавать отдельные листы и файлы, динамически формировать столбцы для вывода, а также использовать всю мощь встроенных в Excel возможностей.
Поддерживается также сбор данных из текстовых файлов (формата Word, XML, TXT) из заданной пользователем папки, а также преобразование файлов Excel из одного формата таблицы в другой (обработка и разбиение данных на отдельные столбцы)
В программе «Парсер сайтов» можно настроить обработку нескольких сайтов. Перед запуском парсинга (кнопкой на панели инструментов Excel) можно выбрать ранее настроенный сайт из выпадающего списка.
Пример использования парсера для мониторинга цен конкурентов
Дополнительные видеоинструкции, а также подробное описание функционала, можно найти в разделе Справка по программе
В программе можно настроить несколько парсеров (обработчиков сайтов).
Любой из парсеров настраивается и работает независимо от других.
Примеры настроенных парсеров (можно скачать, запустить, посмотреть настройки)
Видеоинструкция (2 минуты), как запустить готовый (уже настроенный) парсер
Настройка программы, - дело не самое простое (для этого, надо хоть немного разбираться в HTML)
Если вам нужен готовый парсер, но вы не хотите разбираться с настройкой,
— закажите настройку парсера разработчику программы. Стоимость настройки под конкретный сайт - от 2000 рублей.
(настройка под заказ выполняется только при условии приобретения лицензии на надстройку «Парсер» (3300 руб)
Инструкция (с видео) по заказу настройки парсера
По всем вопросам, готов проконсультировать вас в Скайпе.
Программа не привязана к конкретному файлу Excel.
Вы в настройках задаёте столбец с исходными данными (ссылками или артикулами),
настраиваете формирование ссылок и подстановку данных с сайта в нужные столбцы,
нажимаете кнопку, - и ваша таблица заполняется данными с сайта.
Программа «Парсер сайтов» может быть полезна для формирования каталога товаров интернет-магазинов,
поиска и загрузки фотографий товара по артикулам (если для получения ссылки на фото, необходимо анализировать страницу товара),
загрузки актуальных данных (цен и наличия) с сайтов поставщиков, и т.д. и т.п.
Справка по программе «Парсер сайтов»
Можно попробовать разобраться с работой программы на примерах настроенных парсеров
Комментарии
только имя сертификата прописываете
PS: я в этих сертификатах не спец, и этой опцией пользовался только пару раз (редко попадаются сайты, которые без сертификата не обработать)
Если не разберетесь, - можно для загрузки страниц использовать Internet Explorer (он сам разберется с сертификатом)
в парсере путь прописывать или только имя,и куда устанавливать сертификат?
Сергей, всё можно, - если нужные вам данные есть на сайте, и вы сможете объяснить, как бы вы эту информацию собирали вручную.
Можно автоматизировать всё, что вы можете объяснить как надо делать.
Заказы на парсер принимаются в таком виде
http://excelvba.ru/programmes/Parser/order
Подскажите а делать парсинг с сайтов по определенному списку инн компаний возможно? Например у меня есть список из 100 инн компаний по которым,например, на сайте rusprofil.ru мне нужно собрать инормацию по каждому инн, содержащую название,адрес,контакты и т.д.?
Да, можно обрабатывать сайты с сертификатами
В этом поле в настройках указывается название сертификата (сертификат должен быть установлен на компе)
Добрый день, программа может парсить сайты с сертификатами ? в - дополнительно/разное/использовать сертификат при запросе - как этим пользоваться ?
Если не получается, - всегда можно заказать настройку парсера:
http://excelvba.ru/programmes/Parser/order
не получается у меня никак(
к сожалению не нашла инструкцию, сможете подсказать как авторизоваться на этом сайте http://santehcentr.com/
Парсите сайт (как обычно, - см. видеоинструкцию), - получаете таблицу с данными на отдельном листе.
Можно сразу перед выводом артикула выполнить замены лишних символов в нем на пусто.
А потом подставляете данные в свой лист при помощи формулы =ВПР() или этой надстройкой:
http://excelvba.ru/programmes/Lookup
Вариант 2: брать артикулы с листа, и вбивать их в поиск по сайту (если таким способом будет находиться на сайте то что нужно)
Подскажите как!!! Какую функцию использовать?
Да, это возможно
Здравствуйте!!! Подскажите возможно ли что б программа искала данные в заданном столбце и в соседний столбик подставляла данные которые будут парситься. Что меня интересует. Есть столбец с 1000 артикулами пример арт. 123456, я хочу на сайте который меня интересует скачать все артикулы и цены по заданному производителю привести артикул к исходному виду т.е. 123456 (А то может быть арт. 123-456, 123 456, 123.456 и тд.) И потом мне нужно что б программа в 1 столбце нашла этот артикул и подставила рядом данные которые я буду парсить, а то что не находит оставить пустым.
Здравствуйте, Станислав
Парсер загружает страницы 2 способами: либо напрямую (без браузера), либо через браузер Internet Explorer (если нужно, чтобы на странице выполнились скрипты)
Напишите мне в скайп, — объясните проблему, я постараюсь помочь.
Добрый день, такая проблема. когда открываю ссылку в хроме, ссылка открывается корректно. Если открыть в эксплорер пишет предмет не найдет. Вопрос, как сделать чтобы вашь парсер ссылался на хром а не на эксплорер?
Добрый день! все делал точно по Вашей инструкции, но у меня не загружаются страницы с пейджера, товары берутся только с первой страницы. А при тестировании уровня где получаем ссылки на пейджер выходит такое сообщение "Начат поиск пейджера, длина HTML кода: 249973"
Можно запустить несколько парсеров, в нескольких экземплярах Excel (работающих независимо друг от друга)
Напишите в скайп, подскажу, что как сделать
Здравствуйте. Подскажите как запустить 2-3 парсера одновременно и чтоб 2-3 й парсер начинал вставлять данные со строки которую я укажу.
Татьяна, в этом случае картинки чуть иначе ищутся, - ссылки на них есть в коде страницы, но в другом месте
(что вы видите в браузере, это уже после работы скриптов, который проставляет ссылки на картинки в нужные места HTML кода)
Если готовы приобрести программу, - звоните в скайп, помогу с настройкой извлечения картинок.
Здравствуйте! Подскажите, пожалуйста, в чем причина: пытаюсь выловить ссылку на изображение, но когда делаю поиск по тегам она скрывается, остается лишь srs ""
Исходный код:
Нет. Работает только в Excel под Windows
На OpenOffice 4 будет работать?
Спасибо
Алексей, по вопросам техподдержки обращайтесь напрямую в скайп
По вашему вопросу, - когда парсер запустится, все будет нормально
Базовый URL не прописался, так как вы в текущем сеансе настройки парсера не прогрузили ни одну страницу, - парсер не знает, какой URL у сайта
Если вы хоть раз выполните действие типа «Загрузить исходный код веб-страницы», то парсер запомнит URL сайта, и подставит префикс к ссылке.
Настраивал парсер и не смог вытянуть правильно url картинки:
- сделал поиск тегов http://screencast.com/t/48wQTwPw
- если выбрать значение "href_with_prefix" - не добавляет название сайта в ссылку http://screencast.com/t/tvRJQQvMuP
Как быть в этом случае, как получить полноценную ссылку?
Евгений, сейчас нет возможности для отката.
А зачем это вообще? Если что-то перестало работать, — напишите мне в скайп или на почту, исправлю.
Добрый день!
До версии 2.0.0 можно было откатить программу на более позднюю версию. Сейчас есть такая возможность?
Здравствуйте, Рустем.
Если на остальных компьютерах всё нормально работает, - значит, проблема не в моей программе.
Я с таким раньше не сталкивался, но, судя по всему, что-то в системе криво установлено (раз запуск IE приводит к перезагрузке компа)
Убедитесь, что используется последняя версия программы-парсера.
Отключите все надстройки / плагины / расширения для Internet Explorer.
Если проблема не решится, — переустановка Windows поможет точно.
На одном из компьютеров после запуска парсера, который работает с Internet Explorer, происходит перезагрузка компьютера. Подскажите в чем может быть дело?
Настроить - вкладка Вывод на лист - подвкладка Настройки листа для вывода - опция «Столбец, по которому определяется последняя строка таблицы»
Поменяйте столбец на тот, в который точно данные выводятся (видимо, у вас первый столбец пустым остается, потому, каждая новая строка затирает предыдущую)
Отправить комментарий