Надстройка Parser для Excel — простое и удобное решение для парсинга любых сайтов (интернет-магазинов, соцсетей, площадок объявлений) с выводом данных в таблицу Excel (формата XLS* или CSV), а также скачивания файлов.
Особенность программы — очень гибкая настройка постобработки полученных данных (множество текстовых функций, всевозможные фильтры, перекодировки, работа с переменными, разбиение значения на массив и обработка каждого элемента в отдельности, вывод характеристик в отдельные столбцы, автоматический поиск цены товара на странице, поддержка форматов JSON и XML).
В парсере сайтов поддерживается авторизация на сайтах, выбор региона, GET и POST запросы, приём и отправка Cookies и заголовков запроса, получение исходных данных для парсинга с листа Excel, многопоточность (до 200 потоков), распознавание капчи через сервис RuCaptcha.com, работа через браузер (IE), кеширование, рекурсивный поиск страниц на сайте, сохранение загруженных изображений товара под заданными именами в одну или несколько папок, и многое другое.
Поиск нужных данных на страницах сайта выполняется в парсере путем поиска тегов и/или атрибутов тегов (по любому свойству и его значению). Специализированные функции для работы с HTML позволяют разными способами преобразовывать HTML-таблицы в текст (или пары вида название-значение), автоматически находить ссылки пейджера, чистить HTML от лишних данных.
За счёт тесной интеграции с Excel, надстройка Parser может считывать любые данные из файлов Excel, создавать отдельные листы и файлы, динамически формировать столбцы для вывода, а также использовать всю мощь встроенных в Excel возможностей.
Поддерживается также сбор данных из текстовых файлов (формата Word, XML, TXT) из заданной пользователем папки, а также преобразование файлов Excel из одного формата таблицы в другой (обработка и разбиение данных на отдельные столбцы)
В программе «Парсер сайтов» можно настроить обработку нескольких сайтов. Перед запуском парсинга (кнопкой на панели инструментов Excel) можно выбрать ранее настроенный сайт из выпадающего списка.
Пример использования парсера для мониторинга цен конкурентов
Дополнительные видеоинструкции, а также подробное описание функционала, можно найти в разделе Справка по программе
В программе можно настроить несколько парсеров (обработчиков сайтов).
Любой из парсеров настраивается и работает независимо от других.
Примеры настроенных парсеров (можно скачать, запустить, посмотреть настройки)
Видеоинструкция (2 минуты), как запустить готовый (уже настроенный) парсер
Настройка программы, - дело не самое простое (для этого, надо хоть немного разбираться в HTML)
Если вам нужен готовый парсер, но вы не хотите разбираться с настройкой,
— закажите настройку парсера разработчику программы. Стоимость настройки под конкретный сайт - от 2000 рублей.
(настройка под заказ выполняется только при условии приобретения лицензии на надстройку «Парсер» (3300 руб)
Инструкция (с видео) по заказу настройки парсера
По всем вопросам, готов проконсультировать вас в Скайпе.
Программа не привязана к конкретному файлу Excel.
Вы в настройках задаёте столбец с исходными данными (ссылками или артикулами),
настраиваете формирование ссылок и подстановку данных с сайта в нужные столбцы,
нажимаете кнопку, - и ваша таблица заполняется данными с сайта.
Программа «Парсер сайтов» может быть полезна для формирования каталога товаров интернет-магазинов,
поиска и загрузки фотографий товара по артикулам (если для получения ссылки на фото, необходимо анализировать страницу товара),
загрузки актуальных данных (цен и наличия) с сайтов поставщиков, и т.д. и т.п.
Справка по программе «Парсер сайтов»
Можно попробовать разобраться с работой программы на примерах настроенных парсеров
Комментарии
Когда Parser.xla делает какие то действия с файлом prices (4).xls "Защита от шифрования" думает что Parser.xla пытается его зашифровать. Поэтому и выдает данное сообщение.
Иван, касперский же вам пишет, на какой файл сработка, - prices (4).xls
А моя программа имеет другое имя файла, и расширение xla
Так что, с этим не ко мне.
Если в этом файле (prices (4).xls) у вас вирус, - то он может запускаться вместе с Excel, как и моя программа
Можете отключить мою программу из автозапуска, и проверить
Здравствуйте. Используем Вашу программу. В "Kaspersky Security 10 для Windows Server 10.0.0.486" есть "Защита от шифрования". В момент запуска Вашей программы она срабатывает.
Обнаружен объект: HEUR:Generic.Unknown.Cryptor.
Имя объекта: D:\UsersDesktops\?????????\Рабочий стол\prices (4).xls
Сейчас заново все перепроверю, возможно где то допустил ошибку.
Начат поиск пейджера, длина HTML кода: 58582
Применён HTML фильтр class=pagination
(длина HTML после фильтрации: 0)
Ошибка поиска пейджера - после фильтрации получено пустое значение.
Сделал все как написали, вот такая Ошибка!
В действии «HTML: Получить все ссылки пейджера» укажите следующие параметры:
Результатом будет массив из 10 ссылок
Без проблем ,вот ссылка http://toys.ost-com.ru/products/74178/ ,на странице 20 товаров, не могу указать чтобы он получил все ссылки на остальные страницы и выгрузил весь товар, а то он по 20 шт выгружает в XML и переходит в след категорию ,а по страницам в каждой категории не ходит, только на 1-вой страницы!
Евгений, а что конкретно не получается? ссылки пейджера не находятся?
Надо реальную ссылку показывать (на страницу, с которой надо взять все ссылки пейджера), иначе помочь не смогу
День добрый.
Вопрос такой, добавляю действие "получить все ссылки пейджера" вместо "Offset" у меня надпись "?Start=" вставляю ее чтобы проспарсить все ссылки, а ничего не происходит, как решить данную проблему.
Пример:
http://primer-com.ru/products/74169?start=12
http://primer-com.ru/products/74170?start=12
(ссылки не рабочие, для примера)
Максим, если программа выдает массив из нескольких значений (разделенные тильдами с квадратиками), тут можно:
1) взять какое-то одно для вывода
2) сцепить все элементы массива через разделитель типа запятой или пробела
Эти действия есть в разделе «Функции массива»
И никаких квадратиков с тильдами не будет
Надо всего лишь добавить одно действие (последним) для соответствующего столбца
Разобрался. Как один из вариантов использовать функцию печсимв() для удаления квадратов. Далее все работает.
Спасибо. Получилось. Возник еще вопрос. Массив ссылок на картинки в ячейке excel выводится с разделителем в виде 3 вопросительных знаков в квадратиках с тильдами в начале и в конце. Заменить этот набор знаков например на запятую через Найти и Заменить не получается.
Добрый день, Максим! Попробуйте действие "Открыть веб-страницу в Internet Explorer", возможно, еще понадобится "Прокрутить страницу вниз в Internet Explorer". Только потом в конце парсинга (Parser_Finish) не забудьте использовать "Закрыть Internet Explorer", а то будет висеть экземпляр IE в скрытом режиме
Здравствуйте, на данной странице http://nazarov-gallery.ru/catalog/vosproizvedenie/akusticheskie-sistemy/... текстовое описание товара (которое во второй колонке напротив технических характеристик) выводится на страницу каким-то образом так, что отсутствует в результате полученном по действию Загрузить ИСХОДНЫЙ КОД веб-страницы. Есть ли способ его получить?
Спасибо!
Добрый вечер!
Используйте действие Проверка на соответствие маске:
*бренд1*|*бренд2*|*бренд3*
и т.д.
Добрый день.
Подскажите пожалуйста.
Нахожу ссылки категорий, в которых есть деление по брендам, их много. Как можно оставить только несколько?
Пользуясь функцией отбора остается только 1 бренд, а надо несколько.
Заранее спасибо!
Форума нет, вопросы можно задавать в комментариях к статье, может кто и ответит
Насчёт форума, - подумаю, в будущем наверняка форум понадобится.
А пока пишите здесь, - если вопрос достаточно четко сформулирован, я постараюсь ответить вкратце
Но, в то же время, на большинство вопросов по переписке не ответить, - надо подключаться к вашему компу, смотреть что там настроено, пробовать
(т.е. удалённо через TeamViewer проблема почти любая решается за несколько секунд, но вот по переписке это обычно крайне сложно и долго)
Т.е. я не готов помогать с настройкой не потому, что мне лень или денег надо, а потому что времени отнимает много (списаться / созвониться в скайпе, подключиться через тимвьюер, выяснить что надо, и т.п.)
Если бы пользователи парсера за соседним компом находились, - помогал бы быстро и бесплатно.
А без подключения к вашему компу, для помощи надо обладать навыками телепатии и кучей свободного времени, с чем у меня сложности.
А может есть какой-нибудь форум по вашей программе, где люди обмениваются опытом использования программы, и в случае необходимости смогут подсказать пути решения по тому или иному сайту. Как вы написали:"Потому что сайтов много, вопросы могут возникать регулярно, пользователей у программы уже много, и я не готов тратить на это время.", в тоже время я нашел только одну видеоинструкцию по работе с программой, из которой не все моменты понятны.
Нет, в техподдержку НЕ входит настройка парсеров / помощь с настройкой. Это только платно.
Потому что сайтов много, вопросы могут возникать регулярно, пользователей у программы уже много, и я не готов тратить на это время.
В качестве исключения, единоразово, могу помочь, если время будет свободное. Но а вообще, только платно
Добрый день.
После покупки программы,подразумевается ли бесплатная помощь в настройке (конечно не полностью парсера), а в тех местах где не получается.
Добрый день, Вадим!
Кеш используется для ускорения загрузки сайтов. 50 гб обычно очень долго скапливается, поэтому если мы делаем настройку, то особо никого не предупреждаем, а ставим очистку файлов кеша перед каждым запуском парсера и таких больших значений не набирается. Надо смотреть Ваши настройки.
Можно отключить создание файлов кеша в настройках парсера (последняя вкладка - Дополнительно/Параметры/Кеширование), там же, кстати, находится кнопка очистки кеша. Но отключение кеша может привести к увеличению времени загрузки.
Добрый день, нечайно нашел папку в AppData\Roaming\ParserCache , у меня она занимала около 50гб( это после пары парсингов) , в первые узнал что парсер создает столько временных фалов. Могли бы предупреждать о таком или лучше сделать кнопку в парсере для очистки этих файлов.
Спасибо.
Попробуйте поставить в поле "префикс пейджера" &start=
Не получается настроить парсер на этапе пейджер
страница раздела shop/show_cat.php?catid=7 или shop/show_cat.php?start=0&catid=7 а страницы имеют вид shop/show_cat.php?start=80&catid=7
Нажмите О программе - Опции, там есть кнопка для удаления.
как удалить этот макрос полностью с компьютера без следов?
значит, что-то не так настраиваете
посмотрите еще раз видеоинструкцию
могу настроить под заказ
заказы на парсер принимаются в таком виде
http://excelvba.ru/programmes/Parser/order
Причем тут парсер, если вы подставляете данные?
Точно речь про парсер, а не про надстройку для подстановки данных?
http://excelvba.ru/programmes/Lookup
Пишите подробнее на почту, что куда надо подставить
ДОбрый День! Не получается настроить парсер уже на этапе теги, что это может значить?
Подскажите пожалуйста. Есть основная таблица куда при помощи ВПР подставляются данные из других таблиц (Эти данные в другие таблицы подставляются при помощи Вашего парсера). Все работает отлично. Но мне надо что б при подстановки в основную таблицу подставлялись и гиперссылки которые в других таблицах работают а при выполнении ВПР в основной таблице их нет. Для этого нужен макрос? Или можно сделать формулой EXCEL. В ячейке куда нужно вставить ссылку уже есть формула =ЕСЛИОШИБКА(ВПР($A4;Aquamir.ru!C:D;2;0);""). Подскажите пожалуйста.
Отправить комментарий