Надстройка Parser для Excel — простое и удобное решение для парсинга любых сайтов (интернет-магазинов, соцсетей, площадок объявлений) с выводом данных в таблицу Excel (формата XLS* или CSV), а также скачивания файлов.
Особенность программы — очень гибкая настройка постобработки полученных данных (множество текстовых функций, всевозможные фильтры, перекодировки, работа с переменными, разбиение значения на массив и обработка каждого элемента в отдельности, вывод характеристик в отдельные столбцы, автоматический поиск цены товара на странице, поддержка форматов JSON и XML).
В парсере сайтов поддерживается авторизация на сайтах, выбор региона, GET и POST запросы, приём и отправка Cookies и заголовков запроса, получение исходных данных для парсинга с листа Excel, многопоточность (до 200 потоков), распознавание капчи через сервис RuCaptcha.com, работа через браузер (IE), кеширование, рекурсивный поиск страниц на сайте, сохранение загруженных изображений товара под заданными именами в одну или несколько папок, и многое другое.
Поиск нужных данных на страницах сайта выполняется в парсере путем поиска тегов и/или атрибутов тегов (по любому свойству и его значению). Специализированные функции для работы с HTML позволяют разными способами преобразовывать HTML-таблицы в текст (или пары вида название-значение), автоматически находить ссылки пейджера, чистить HTML от лишних данных.
За счёт тесной интеграции с Excel, надстройка Parser может считывать любые данные из файлов Excel, создавать отдельные листы и файлы, динамически формировать столбцы для вывода, а также использовать всю мощь встроенных в Excel возможностей.
Поддерживается также сбор данных из текстовых файлов (формата Word, XML, TXT) из заданной пользователем папки, а также преобразование файлов Excel из одного формата таблицы в другой (обработка и разбиение данных на отдельные столбцы)
В программе «Парсер сайтов» можно настроить обработку нескольких сайтов. Перед запуском парсинга (кнопкой на панели инструментов Excel) можно выбрать ранее настроенный сайт из выпадающего списка.
Пример использования парсера для мониторинга цен конкурентов
Дополнительные видеоинструкции, а также подробное описание функционала, можно найти в разделе Справка по программе
В программе можно настроить несколько парсеров (обработчиков сайтов).
Любой из парсеров настраивается и работает независимо от других.
Примеры настроенных парсеров (можно скачать, запустить, посмотреть настройки)
Видеоинструкция (2 минуты), как запустить готовый (уже настроенный) парсер
Настройка программы, - дело не самое простое (для этого, надо хоть немного разбираться в HTML)
Если вам нужен готовый парсер, но вы не хотите разбираться с настройкой,
— закажите настройку парсера разработчику программы. Стоимость настройки под конкретный сайт - от 2000 рублей.
(настройка под заказ выполняется только при условии приобретения лицензии на надстройку «Парсер» (3300 руб)
Инструкция (с видео) по заказу настройки парсера
По всем вопросам, готов проконсультировать вас в Скайпе.
Программа не привязана к конкретному файлу Excel.
Вы в настройках задаёте столбец с исходными данными (ссылками или артикулами),
настраиваете формирование ссылок и подстановку данных с сайта в нужные столбцы,
нажимаете кнопку, - и ваша таблица заполняется данными с сайта.
Программа «Парсер сайтов» может быть полезна для формирования каталога товаров интернет-магазинов,
поиска и загрузки фотографий товара по артикулам (если для получения ссылки на фото, необходимо анализировать страницу товара),
загрузки актуальных данных (цен и наличия) с сайтов поставщиков, и т.д. и т.п.
Справка по программе «Парсер сайтов»
Можно попробовать разобраться с работой программы на примерах настроенных парсеров
Комментарии
aspx - а почему не должна поддерживать?
что такое веб-страница? это HTML-код (обычный текст с тегами) в одной из нескольких кодировок (обычно utf-8).
А .aspx или .html там написано в конце URL — разницы абсолютно никакой нет.
Программного нажатия кнопок нет (в том виде, как вы себе это представляете)
Но фунционал для работы с подобными сайтами есть, - любые данные, вводимые в текстбоксы, после нажатия кнопки отправляются на сервер POST или GET запросом.
Так вот программа может отправлять такие запросы, передавая данные методом GET или POST
(т.е. программа может авторизоваться на сайте, например)
aspx страницы поддерживает? (например сайт майкрософт). Все мои попытки почитать исходный код привели к ошибке результата.
Кроме того, хотелось бы узнать, реализовано ли в вашей надстройке программное нажатие кнопок и программное заполнение элементов страницы ( например, комбобокз, едитбокз и т.д.)?
действие ЗАДАТЬ НОВОЕ ЗНАЧЕНИЕ
2 варианта на выбор:
1) значение {1} {12} {10}
2)значение =RC1&" "&RC12&" "&RC10
второй вариант выведет в ячейку формулу
PS: не надо писать вопросы и на сайте, и в личку
выберите один способ общения, - чтобы мне не приходилось дублировать ответы
Из HTML удалось взять нужную информацию, а вот на обработке таблицы Excel застрял на такой ерунде... Как реализовать в парсере задачу, которую решает следующая функция?
M2=СЦЕПИТЬ(A2;",";L2;",";K2)
Валерий, ответил вам на почту
Парни, кто разобрался в этом парсере ?
Нужно сделать настройки для парсинга только цен с разных сайтов, готов оплатить услугу, всего надо 20 сайтов сейчас и периодически еще
Писать сюда 89261552323asd @ mail.ru
Здравствуйте, Ариан
Видеоинструкция пока еще не готова, — будет примерно через месяц.
Как запустить надстройку, — скачать файл на рабочий стол, и дважды щелкнуть по нему
На ленте Excel, на вкладке НАДСТРОЙКИ, появится панель инструментов.
Потом можете опробовать в работе примеры парсеров
В том числе, парсер обновления цен с 16 сайтов
Здгасьте.
Возможно я олень, но не могу разобраться в продукте.
По примеру я понял, что тут находится моя прелесть, тот самый парсер который так травит душу своим отсутствием)
Задача такая: Обновление цен с сайтов
Началось мое скучное приключение с того, что я не знаю как запустить парсер:(
Высылайте на почту order@excelvba.ru
Здравствуйте, куда скинуть описание и пример в виде таблицы ?
Я же писал, — надо запустить 2 копии Excel (они будут работать независимо друг от друга)
Поставили мою программу в автозапуск (галочка в окне "О программе" - "действия с надстройкой"),
запустили Excel, выбрали парсер из выпадающего списка.
Потом, через меню Пуск, запускаем ЕЩЕ ОДИН Excel, - в нём тоже автоматически запустится моя программа.
И теперь запускаем парсер и там и там (один и тот же, или разный, - неважно), - они должны работать независимо друг от друга.
Надо запускать пассеры из разных папок? Похоже у меня приостанавливается т.к. запускаю один и тот же с разными настройками сайтов.
Насчёт бага, - тут сложно сказать, из-за чего это.
Либо у Excel память заканчивается, либо место на диске под файлы кэша нехватает,
либо в какая-то хитрая веб-страница попадается, на которой парсер зависает
Отловить такой баг весьма проблематично (но могу попробовать, подключившись к вашему компу через teamviewer)
но я бы попробовал разбить задачу на несколько (не зная, что вы там настроили, не могу сказать ничего конкретного)
Позвоните мне в скайп, - я посмотрю ваши настройки, - может, посоветую чего.
Заодно покажу, как одновременно 2 парсера запустить (у меня на компе одновременно работают 2 независимых парсера)
У меня при запуске второго первый приостанавливается.
Нашел баг. При использовании кеша, если его объем становиться довольно большим (гигов 15) то сканирование идет, однако результат не выводиться. При сканировании с отключенным кешем, при достижении нескольких тысяч обработанных страниц парсер зависает намертво. Перезапуск эксель только помогает.
Здравствуйте
Этих сайтов «желтых страниц» — множество,
и я не могу вам дать ответ, не зная, с какого сайта с каких разделов что надо собирать.
Настроить, - можно (под заказ, настройка платная, - ибо там много времени на настройку уйдет)
Если на сайте сработает ограничение из-за большого количества запросов — я не виноват (некоторые сайты имеют подобные ограничения, - насчет вашего сайта у меня нет данных о наличии/отсутствии подобной защиты)
Высылайте на почту пример результата в виде файла Excel, и подробное описание, что откуда брать с сайта
Также укажите, в каком виде будут исходные данные (список интересующих вас категорий сайта)
Добрый день! Стоит следующая задача: сделать из сайта желтые страницы базу в Excel,номер телефона, e-mail,сайт. Только вот не со всего сайта, а с интересующих нас категорий и сайт желтые страницы по всему миру. Есть ли такая возможность и как настроить самому ,разбирался сам - количество запусков скоро закончиться ,хочу увидеть результат перед тем как купить.
Да, можно запустить несколько парсеров одновременно, — каждый в отдельно запущенном Excel:
А в одном Excel, — никак не получится, т.к. 2 макроса не могут выполняться одновременно.
Можно запустить несколько пассеров одновременно на одной машине??
Сергей, да, можно попробовать
Но, в вашем случае, настройка будет сложная (возможно)
(например, если вы в исходных данных указали марку авто, которой нет в выпадающем списке на сайте, — результат будет некорректным)
Нужен пример исходных данных и результата в файле Excel
Потом звоните в скайп, - обсудим.
Здравствуйте, Юлия
Думаю, что можно настроить (поскольку я не знаю, как найти на сайте заявки, и не вижу пример результата, - пока ничего конкретного не могу сказать)
от вас нужно:
1) описание, что откуда с сайта брать
2) пример результата в виде файла Excel
По цене - около 4 тр за готовое решение (лицензия на программу 2500 руб. + стоимость настройки 1000-1500 руб.)
Добрый день,
Интересует возможно ли с помощью Вашей надстройки получать данные с сайта на котором происходит расчет страховой премии по определенным заданным условиям.
Например мне необходимо рассчитать стоимость страховки на 15 разных автомобилей по трем различным вариантам. Каждая модель ТС имеет разную стоимость.
Фактически я хочу не руками каждый раз менять условия для расчета, а автоматизировать этот процесс - программа по заданному списку сама подставляет значения (например выбирает конкретную марку модель машины), нажимает кнопку расчет и сохраняет полученные данные в файл excel.
Д.День. Мой вопрос: есть сайты на которых есть формы заявок, скажите есть ли возможность парсить информацию (тел, емейл) с заполняемых заявок? например сайт stroim-sib.ru если да то стоимость услуги?
Добрый день,
Спасибо за оперативный ответ. Отчасти соглашусь, на текущий момент в моем случае действительно "все работает" спасибо за подробную консультацию по скайпу, но периодически появляются дополнительные задачи/подзадачи, при решении которых хотелось бы полностью понимать возможности программы, в том числе новые функции. А с ростом функционала парсера и числа пользователей, ваше время будет все более ограничено и подобных вопросов будет все больше. Поэтому, приобретая функционал хотелось бы иметь представление не о конкретной настройке парсера под прикладную задачу, а о всех потенциальный возможностях надстройки.
Надеюсь на ваше понимание, спасибо
Артур, со временем всё будет появляться
Написать полноценную инструкцию с описанием ВСЕХ возможностей, — требует очень много времени (пару месяцев)
Поскольку в 90% случаев настройкой программы занимаюсь я сам, - эта инструкция пока не настолько актуальна
Мне на данный момент проще вам по скайпу показать, как настроить программу под конкретный сайт, чем расписывать все возможные варианты использования программы.
Насчёт обновлений: если всё работает, зачем вам обновлять программу?
Обновления я, бывает, по нескольку раз в день выкладываю, - с мелкими доработками (например, по ходу настройки парсера под какой-то сайт понадобилась доп. функция - я сразу её добавляю)
Программа предназначена для решения конкретных задач, - если она настроена, и парсер работает, - я не вижу смысла в отслеживании пользователем обновлений, и ознакомлении с подробным описанием новых функций.
Скоро сделаю видеоинструкцию, а позже по каждому действию в программе будет отдельная статья.
Но когда это всё будет, - конкретно по датам пока сказать не могу.
Добрый день!
1. Уточните, когда появится внятное руководство с точечными примерами использования по каждой функции? На текущий момент не понятно предназначение 2/3 функционала парсера и возможностей его использования. Обращаться каждый раз по скайпу не всегда удобно.
2. Обновления вида: "+ добавлены новые действия" также неинформативны. Прошу хотя бы кратко пояснять список функций и их предназначение.
Спасибо
25 октября 2014 г. в 08:03 стало доступно обновление программы «Parser» (версия 1.0.8).
Изменения в новой версии программы:
Рекомендуем обновить программу до последней версии!
Пришлите, пож, мне на почту письмо для дальнейшего общения.
Насчёт сайта Росаккредитации, - да, можно
Загружаться только долго будет (12180 + 120000 = 132 тысячи запросов)
Но ничего невозможного нет
Стоимость настройки - 1500 рублей + стоимость лицензии 2500 рублей
Итого, 4000 рублей за готовое решение
Предлагаю разбить задачу на 2 части: сначала (первое нажатие кнопки) формирует таблицу из 120 тыс строк,
а потом (второе нажатие кнопки) догружает адреса и телефоны в имеющиеся строки
Это позволит останавливать второй этап (где 120 тыс страниц надо прогрузить), и потом продолжать с места остановки.
Добрый день! Есть сайт Росаккредитации, на нем реестры. Необходимо пройти по ссылке интересующего реестра (например, http://public.fsa.gov.ru/table_rss_pub_ts/), нажать на нем кнопку поиск. Результат >120 тыс записей, выводимых по 50 максимум. Задача: скопировать выводимую информацию (она уже в табличной форме) И!! пройти по каждой ссылке и вытащить дополнительную информацию (адрес, телефон) и подставить в эту же строку. Можно ли это провернуть силами данного макроса? Если да, сколько будет стоить адаптация под мою задачу?
Отправить комментарий