mail mail
Нужен макрос для Excel?
Сделайте заказ прямо сейчас!
Ищете готовое решение?
Выбирайте и покупайте!
У вас есть интернет-магазин?
Настроим парсер под любой сайт!

Скачать бесплатно пробную (TRIAL) версию программы:
Parser.xla (версия 2.8.1 от 01.12.2016)


Парсер сайтов и файлов (парсинг данных с сайта в Excel)

Структура программы «Парсер сайтов»

Надстройка Parser для Excel — простое и удобное решение для парсинга любых сайтов (интернет-магазинов, соцсетей, площадок объявлений) с выводом данных в таблицу Excel (формата XLS* или CSV), и также скачивания файлов.

Особенность программы — очень гибкая настройка постобработки полученных данных (множество текстовых функций, всевозможные фильтры, перекодировки, работа с переменными, разбиение значения на массив и обработка каждого элемента в отдельности, вывод характеристик в отдельные столбцы, автоматический поиск цены товара на странице, поддержка форматов JSON и XML).

 

В парсере сайтов поддерживается авторизация на сайтах, выбор региона, GET и POST запросы, приём и отправка Cookies и заголовков запроса, получение исходных данных для парсинга с листа Excel, многопоточность (до 200 потоков), распознавание капчи через сервис RuCaptcha.com, работа через браузер (IE), кеширование, рекурсивный поиск страниц на сайте, сохранение загруженных изображений товара под заданными именами в одну или несколько папок, и многое другое.

Поиск нужных данных на страницах сайта выполняется в парсере путем поиска тегов и/или атрибутов тегов (по любому свойству и его значению). Специализированные функции для работы с HTML позволяют разными способами преобразовывать HTML-таблицы в текст (или пары вида название-значение), автоматически находить ссылки пейджера, чистить HTML от лишних данных.

За счёт тесной интеграции с Excel, надстройка Parser может считывать любые данные из файлов Excel, создавать отдельные листы и файлы, динамически формировать столбцы для вывода, а также использовать всю мощь встроенных в Excel возможностей.
Поддерживается также сбор данных из текстовых файлов (формата Word, XML, TXT) из заданной пользователем папки, а также преобразование файлов Excel из одного формата таблицы в другой (обработка и разбиение данных на отдельные столбцы)

В программе «Парсер сайтов» можно настроить обработку нескольких сайтов. Перед запуском парсинга (кнопкой на панели инструментов Excel) можно выбрать ранее настроенный сайт из выпадающего списка.
 

Пример использования парсера для мониторинга цен конкурентов

 

В программе можно настроить несколько парсеров (обработчиков сайтов).
Любой из парсеров настраивается и работает независимо от других.

Примеры настроенных парсеров (можно скачать, запустить, посмотреть настройки)

 

Программа не привязана к конкретному файлу Excel.
Вы в настройках задаёте столбец с исходными данными (ссылками или артикулами),
настраиваете формирование ссылок и подстановку данных с сайта в нужные столбцы,
нажимаете кнопку, - и ваша таблица заполняется данными с сайта.

Программа «Парсер сайтов» может  быть полезна для формирования каталога товаров интернет-магазинов,
поиска и загрузки фотографий товара по артикулам (если для получения ссылки на фото, необходимо анализировать страницу товара),
загрузки актуальных данных (цен и наличия) с сайтов поставщиков, и т.д. и т.п.

Видеоинструкция по настройке парсера сайтов для формирования прайса с интернета-магазина:

Настройка программы, - дело не самое простое (для этого, надо хоть немного разбираться в HTML)

Если вам нужен готовый парсер, но вы не хотите разбираться с настройкой,
- закажите настройку парсера разработчику программы. Средняя стоимость настройки под конкретный сайт, - 1500 рублей.
(настройка под заказ выполняется только при условии приобретения лицензии на надстройку «Парсер» (2500 руб)

Для заказа готового парсера:

  • подготовьте пример таблицы Excel с исходными данными и результатом
  • отправьте мне на почту этот файл, с подробным описанием, с какого сайта (и с каких страниц) должны браться данные, и куда подставляться
  • если парсер должен скачивать файлы, - укажите, в какую папку под каким именем сохранять загруженные файлы

В результате, вы получите свой файл Excel с «волшебной кнопкой», при нажатии которой будет выполняться парсинг (сбор данных с сайта) в вашу таблицу.

По всем вопросам, готов проконсультировать вас в Скайпе.

 

Ссылки на инструкции (список инструкций будет постоянно пополняться)

Можно попробовать разобраться с работой программы на примерах настроенных парсеров

Комментарии

Здравствуйте, Рустем.
Если на остальных компьютерах всё нормально работает, - значит, проблема не в моей программе.
Я с таким раньше не сталкивался, но, судя по всему, что-то в системе криво установлено (раз запуск IE приводит к перезагрузке компа)
Убедитесь, что используется последняя версия программы-парсера.
Отключите все надстройки / плагины / расширения для Internet Explorer.
Если проблема не решится, — переустановка Windows поможет точно.

На одном из компьютеров после запуска парсера, который работает с Internet Explorer, происходит перезагрузка компьютера. Подскажите в чем может быть дело?

Настроить - вкладка Вывод на лист - подвкладка Настройки листа для вывода - опция «Столбец, по которому определяется последняя строка таблицы»
Поменяйте столбец на тот, в который точно данные выводятся (видимо, у вас первый столбец пустым остается, потому, каждая новая строка затирает предыдущую)

Доброго вечера! Не думал что настолько тупой))) Помогите если не сложно . Настроил все точно по Вашей инструкции , но при запуске парсинга в лист EXEL добавляется только одна строка , как это исправить, все настройки перековырял , но ничего не нашел. Подскажите люди добрые где я ступил. Спасибо огромное за внимание.

Ответ есть в FAQ
Работает только под Windows (на маке - под Parallels)

Будет работать на маке в офис 365?

Да. Работает в любой версии Excel (начиная с 2003) под Windows XP - 10

Будет ли работать работает под MS Office 2016 / Windows 10?

Здравствуйте, Денис
Может, что-нибудь не так у вас настроено, либо сайт тормозит
Обновления программы не влияют на скорость загрузки (в обновлениях, в основном, новый функционал, и исправление ошибок)
Если сами не найдете причину проблемы, — позвоните в скайп, помогу

Есть ощущение, что после обновления программа стала катастрофически медленнее работать. например adidas.ru - 500 страниц с товарами занимает больше часа.
Интернет не изменился, задержек по обращению к страницам нет.
Странно это как-то.
Я один такой?

Здравствуйте, Алексей
Расписывать тут сложно (планирую сделать видеоинструкцию), — сайты разные все
Для большинства сайтов (80%), авторизация выполняется одним действием «Авторизация (POST запрос)» в наборе действий Parser_Start
Указываем 2-3 параметра - и все работает.
Если готовы приобрести программу, - звоните в скайп, покажу, как настраивается, на примере нужного вам сайта

Можно по подробнее расписать информацию по настройке парсера с авторизацией на сайте.

Александр, эта проблема проявляется только в Office 365
В заголовке статьи красными буквами написано ВАЖНАЯ ИНФОРМАЦИЯ, — нажмите, и прочитайте последний абзац
(там сказано, как решить проблему, откатив Office 365 к сентябрьской версии)

Здравствуйте использую макросы на офисе 2016 проблема с парсером там где значения увиличиваеться переключателями. Их попросту нету и невозможно увеличить значения, так же проблема с активными зонами чтобы в них попасть нужно тыкать выше чем они. Помогите решить проблему.

Михаил, в последней версии парсера исправлена ошибка с созданием файла CSV в кодировке Windows-1251 при наличии в файле недопустимых символов (ранее создавался пустой файл)
Обновите программу, всё заработает.

В общем случае, это никак не реализовать. Если в одном случае надо разбить 66001001 на 6600 10 01, а в другом - на 6600 1001 (а при других разбиениях - найдено ничего не будет),
то программа никак не догадается, как разбивать артикул в каждом конкретном случае
Если какое-то одно правило разбивки, - то можно сделать (если вы это правило сформулируете, - почему именно в этой позиции пробел нужно поставить, т.е. опишите, как найти позицию для пробела, - например, всегда отделяем первые 4 символа пробелом)
Если же четких правил нет, - то и сделать не получится (кроме как перебирать все возможные варианты разбивки, что сложно в настройке, и очень сильно скажется на времени парсинга)

1. Подскажите как реализовать!!! При парсинге товаров по поиску артикула, у некоторых сайтов система поиска работает по разному, одни с удалением пробелов у других нет. Допусти на одном сайте артикул 66001001 это тоже самое что и 6600 10 01 и 6600 1001. А у других это разные артикулы. То есть товар реально на сайте представлен а парсер найти его не может.
2. Как разбить эту текстовую строку З1-01.3 на З1-0 1.3

Если не удается сохранить файл в кодировке Windows-1251, значит, в файле присутствуют символы Unicode, не допустимые в этой кодировке.
Используйте кодировку utf-8, и проблем не будет.

Спасибо!!! Все получилось!!! Успехов Вам. Программа просто шикарная.

Настроить - вкладка ДОПОЛНИТЕЛЬНО - Наборы действий - добавляем набор с названием Parser_Finish
И в этот набор добавляем действие «Запустить другой парсер» (указав в параметре название второго парсера)

Здравствуйте!!! Подскажите, можно ли после того как программа скачала исходные данные с сайта и вывела их на лист в столб 1, автоматически подключился другой парсер который настроен на другой сайт и брал информацию с листа из заданного столба 1. И так далее. Это нужно для того чтоб не запускать второй парсер вручную.

Пишите пока на почту order@excelvba.ru
У скайпа последнюю неделю (у многих пользователей, не только у меня) проблема с доставкой сообщений, скоро починят.

Есть еще один вариант связи, вайбер, телеграм? опять не могу достучаться в скайп.

Здравствуйте, Игорь
Последние несколько дней скайп глючит, - уже несколько человек не смогли со мной связаться
Напишите мне на почту, указав свой ник в скайпе, - я сам вам напишу

Добрый день, пытаюсь связаться в скайпе уже 3ий день для настройки парсера, подскажите как с вами связаться? Спасибо.

Сергей, это управляющий символ перевода строки
Когда используется кривой модуль импорта на сайте, - он заменяет перевод строки (внутри ячейки который, вводимый при помощи Alt + Enter) вот на этот _x000D_
А грамотно написанный модуль импорта выполняет замену перевода строки на HTML-тег «br /»

Если в результате использования моего парсера, на сайте появляются такие символы, есть 2 варианта решения:
1) выводить в соответствующий столбец данные в формате HTML (с оберткой в виде тегов)
2) добавить для столбца действие ЗАМЕНИТЬ ЧАСТЬ ТЕКСТА, а менять {NL} на пробел или HTML-тег «br /»

Здравствуйте. Как победить косяк с выдачей знаков _x000D_ ? Это встречается у людей и с битриксом и опенкардом.
Читал на просторах инета, что это xl знак. Приходится поля где это есть (описание) форматировать через open office. Как средствами xl это сделать не нашёл. Может подскажите?

Здравствуйте, Михаил
Математические действия, - все есть.
Чтобы добавить к цене 15%, используйте действие «умножить» с параметром 1.15

Насчет сохранения в CSV - там вроде всё корректно (если что-то не получается, - пишите в скайп, разберемся)

Здравствуйте, Игорь!
Подскажите, есть возможность выполнить мат.действие парсером?
Например, прибавить к значению определенный %.
И, по поводу корректного сохранения в CSV, еще не реализовано?
Спасибо!!!

Юрий, я чужие макросы не исправляю (тем более бесплатно)
Могу настроить парсер под вашу задачу

Заказы на парсер принимаются в таком виде
http://excelvba.ru/programmes/Parser/order

Отправить комментарий

Содержание этого поля является приватным и не предназначено к показу.
CAPTCHA
Подтвердите, пожалуйста, что вы - человек:
          ____      _           _     __  __ 
_ _ / ___| (_) __ _ | |_ | \/ |
| | | | \___ \ | | / _` | | __| | |\/| |
| |_| | ___) | | | | (_| | | |_ | | | |
\__, | |____/ _/ | \__, | \__| |_| |_|
|___/ |__/ |___/
Введите код, изображенный в стиле ASCII-арт.