Надстройка Parser для Excel — простое и удобное решение для парсинга любых сайтов (интернет-магазинов, соцсетей, площадок объявлений) с выводом данных в таблицу Excel (формата XLS* или CSV), а также скачивания файлов.
Особенность программы — очень гибкая настройка постобработки полученных данных (множество текстовых функций, всевозможные фильтры, перекодировки, работа с переменными, разбиение значения на массив и обработка каждого элемента в отдельности, вывод характеристик в отдельные столбцы, автоматический поиск цены товара на странице, поддержка форматов JSON и XML).
В парсере сайтов поддерживается авторизация на сайтах, выбор региона, GET и POST запросы, приём и отправка Cookies и заголовков запроса, получение исходных данных для парсинга с листа Excel, многопоточность (до 200 потоков), распознавание капчи через сервис RuCaptcha.com, работа через браузер (IE), кеширование, рекурсивный поиск страниц на сайте, сохранение загруженных изображений товара под заданными именами в одну или несколько папок, и многое другое.
Поиск нужных данных на страницах сайта выполняется в парсере путем поиска тегов и/или атрибутов тегов (по любому свойству и его значению). Специализированные функции для работы с HTML позволяют разными способами преобразовывать HTML-таблицы в текст (или пары вида название-значение), автоматически находить ссылки пейджера, чистить HTML от лишних данных.
За счёт тесной интеграции с Excel, надстройка Parser может считывать любые данные из файлов Excel, создавать отдельные листы и файлы, динамически формировать столбцы для вывода, а также использовать всю мощь встроенных в Excel возможностей.
Поддерживается также сбор данных из текстовых файлов (формата Word, XML, TXT) из заданной пользователем папки, а также преобразование файлов Excel из одного формата таблицы в другой (обработка и разбиение данных на отдельные столбцы)
В программе «Парсер сайтов» можно настроить обработку нескольких сайтов. Перед запуском парсинга (кнопкой на панели инструментов Excel) можно выбрать ранее настроенный сайт из выпадающего списка.
Пример использования парсера для мониторинга цен конкурентов
Дополнительные видеоинструкции, а также подробное описание функционала, можно найти в разделе Справка по программе
В программе можно настроить несколько парсеров (обработчиков сайтов).
Любой из парсеров настраивается и работает независимо от других.
Примеры настроенных парсеров (можно скачать, запустить, посмотреть настройки)
Видеоинструкция (2 минуты), как запустить готовый (уже настроенный) парсер
Настройка программы, - дело не самое простое (для этого, надо хоть немного разбираться в HTML)
Если вам нужен готовый парсер, но вы не хотите разбираться с настройкой,
— закажите настройку парсера разработчику программы. Стоимость настройки под конкретный сайт - от 2500 рублей.
(настройка под заказ выполняется только при условии приобретения лицензии на надстройку «Парсер» (4000 руб)
Инструкция (с видео) по заказу настройки парсера
По всем вопросам, готов проконсультировать вас в Скайпе.
Программа не привязана к конкретному файлу Excel.
Вы в настройках задаёте столбец с исходными данными (ссылками или артикулами),
настраиваете формирование ссылок и подстановку данных с сайта в нужные столбцы,
нажимаете кнопку, - и ваша таблица заполняется данными с сайта.
Программа «Парсер сайтов» может быть полезна для формирования каталога товаров интернет-магазинов,
поиска и загрузки фотографий товара по артикулам (если для получения ссылки на фото, необходимо анализировать страницу товара),
загрузки актуальных данных (цен и наличия) с сайтов поставщиков, и т.д. и т.п.
Справка по программе «Парсер сайтов»
Можно попробовать разобраться с работой программы на примерах настроенных парсеров
Комментарии
У меня при запуске второго первый приостанавливается.
Нашел баг. При использовании кеша, если его объем становиться довольно большим (гигов 15) то сканирование идет, однако результат не выводиться. При сканировании с отключенным кешем, при достижении нескольких тысяч обработанных страниц парсер зависает намертво. Перезапуск эксель только помогает.
Здравствуйте
Этих сайтов «желтых страниц» — множество,
и я не могу вам дать ответ, не зная, с какого сайта с каких разделов что надо собирать.
Настроить, - можно (под заказ, настройка платная, - ибо там много времени на настройку уйдет)
Если на сайте сработает ограничение из-за большого количества запросов — я не виноват (некоторые сайты имеют подобные ограничения, - насчет вашего сайта у меня нет данных о наличии/отсутствии подобной защиты)
Высылайте на почту пример результата в виде файла Excel, и подробное описание, что откуда брать с сайта
Также укажите, в каком виде будут исходные данные (список интересующих вас категорий сайта)
Добрый день! Стоит следующая задача: сделать из сайта желтые страницы базу в Excel,номер телефона, e-mail,сайт. Только вот не со всего сайта, а с интересующих нас категорий и сайт желтые страницы по всему миру. Есть ли такая возможность и как настроить самому ,разбирался сам - количество запусков скоро закончиться ,хочу увидеть результат перед тем как купить.
Да, можно запустить несколько парсеров одновременно, — каждый в отдельно запущенном Excel:
А в одном Excel, — никак не получится, т.к. 2 макроса не могут выполняться одновременно.
Можно запустить несколько пассеров одновременно на одной машине??
Сергей, да, можно попробовать
Но, в вашем случае, настройка будет сложная (возможно)
(например, если вы в исходных данных указали марку авто, которой нет в выпадающем списке на сайте, — результат будет некорректным)
Нужен пример исходных данных и результата в файле Excel
Потом звоните в скайп, - обсудим.
Здравствуйте, Юлия
Думаю, что можно настроить (поскольку я не знаю, как найти на сайте заявки, и не вижу пример результата, - пока ничего конкретного не могу сказать)
от вас нужно:
1) описание, что откуда с сайта брать
2) пример результата в виде файла Excel
По цене - около 4 тр за готовое решение (лицензия на программу 2500 руб. + стоимость настройки 1000-1500 руб.)
Добрый день,
Интересует возможно ли с помощью Вашей надстройки получать данные с сайта на котором происходит расчет страховой премии по определенным заданным условиям.
Например мне необходимо рассчитать стоимость страховки на 15 разных автомобилей по трем различным вариантам. Каждая модель ТС имеет разную стоимость.
Фактически я хочу не руками каждый раз менять условия для расчета, а автоматизировать этот процесс - программа по заданному списку сама подставляет значения (например выбирает конкретную марку модель машины), нажимает кнопку расчет и сохраняет полученные данные в файл excel.
Д.День. Мой вопрос: есть сайты на которых есть формы заявок, скажите есть ли возможность парсить информацию (тел, емейл) с заполняемых заявок? например сайт stroim-sib.ru если да то стоимость услуги?
Добрый день,
Спасибо за оперативный ответ. Отчасти соглашусь, на текущий момент в моем случае действительно "все работает" спасибо за подробную консультацию по скайпу, но периодически появляются дополнительные задачи/подзадачи, при решении которых хотелось бы полностью понимать возможности программы, в том числе новые функции. А с ростом функционала парсера и числа пользователей, ваше время будет все более ограничено и подобных вопросов будет все больше. Поэтому, приобретая функционал хотелось бы иметь представление не о конкретной настройке парсера под прикладную задачу, а о всех потенциальный возможностях надстройки.
Надеюсь на ваше понимание, спасибо
Артур, со временем всё будет появляться
Написать полноценную инструкцию с описанием ВСЕХ возможностей, — требует очень много времени (пару месяцев)
Поскольку в 90% случаев настройкой программы занимаюсь я сам, - эта инструкция пока не настолько актуальна
Мне на данный момент проще вам по скайпу показать, как настроить программу под конкретный сайт, чем расписывать все возможные варианты использования программы.
Насчёт обновлений: если всё работает, зачем вам обновлять программу?
Обновления я, бывает, по нескольку раз в день выкладываю, - с мелкими доработками (например, по ходу настройки парсера под какой-то сайт понадобилась доп. функция - я сразу её добавляю)
Программа предназначена для решения конкретных задач, - если она настроена, и парсер работает, - я не вижу смысла в отслеживании пользователем обновлений, и ознакомлении с подробным описанием новых функций.
Скоро сделаю видеоинструкцию, а позже по каждому действию в программе будет отдельная статья.
Но когда это всё будет, - конкретно по датам пока сказать не могу.
Добрый день!
1. Уточните, когда появится внятное руководство с точечными примерами использования по каждой функции? На текущий момент не понятно предназначение 2/3 функционала парсера и возможностей его использования. Обращаться каждый раз по скайпу не всегда удобно.
2. Обновления вида: "+ добавлены новые действия" также неинформативны. Прошу хотя бы кратко пояснять список функций и их предназначение.
Спасибо
25 октября 2014 г. в 08:03 стало доступно обновление программы «Parser» (версия 1.0.8).
Изменения в новой версии программы:
Рекомендуем обновить программу до последней версии!
Пришлите, пож, мне на почту письмо для дальнейшего общения.
Насчёт сайта Росаккредитации, - да, можно
Загружаться только долго будет (12180 + 120000 = 132 тысячи запросов)
Но ничего невозможного нет
Стоимость настройки - 1500 рублей + стоимость лицензии 2500 рублей
Итого, 4000 рублей за готовое решение
Предлагаю разбить задачу на 2 части: сначала (первое нажатие кнопки) формирует таблицу из 120 тыс строк,
а потом (второе нажатие кнопки) догружает адреса и телефоны в имеющиеся строки
Это позволит останавливать второй этап (где 120 тыс страниц надо прогрузить), и потом продолжать с места остановки.
Добрый день! Есть сайт Росаккредитации, на нем реестры. Необходимо пройти по ссылке интересующего реестра (например, http://public.fsa.gov.ru/table_rss_pub_ts/), нажать на нем кнопку поиск. Результат >120 тыс записей, выводимых по 50 максимум. Задача: скопировать выводимую информацию (она уже в табличной форме) И!! пройти по каждой ссылке и вытащить дополнительную информацию (адрес, телефон) и подставить в эту же строку. Можно ли это провернуть силами данного макроса? Если да, сколько будет стоить адаптация под мою задачу?
Здравствуйте
Моя программа не копирует данные на другой сайт
Программа может скачать нужные вам данные, и вставить в таблицу Excel
И файлы сохранить под заданными именами (для каждого товара)
Соответственно, вы получаете таблицу Excel (для последующего импорта на сайт),
и папку с картинками (для последующей заливки на сайт по FTP)
Чтобы ответить, можно или нет настроить, - мне нужен пример результата в виде файла Excel (именно в том виде, какой вам нужен для сайта)
Ну и объяснения, где на каждом из сайтов взять данные для каждого столбца.
С конкретно этими сайтами - никаких сложностей быть не должно, парсер можно настроить почти под любой сайт.
Главное, чтобы вы могли объяснить, что с какого сайта брать, и в каком виде выводить.
Добрый день!
Есть 3 сайта:
http://www.karcher.ru /ru/Products.htm
http://www.grass.su /product2
http://www.tork.ru /produkty/philtr/?c=Air_freshener
Ваш скрипт может скопировать продукцию (полностью с картинками, описанием, характеристиками и т.д.). Необходимо для переноса на битрикс.
Можете ответить на указанный e-mail.
Спасибо!
Спасибо за информацию, пришлите тестовое письмо мне на электронку.
По сайту spb.arendator.ru - да, можно настроить
По картинкам - нужны все, или только первая?
Категорию объекта (офисное/торговое/складское) - в отдельный столбец выводить,
или разные категории на отдельные листы помещать?
Программа грузит все данные с сайта «с нуля»
Т.е. нажали кнопку, - не старая таблица обновляется, а новая формируется.
Сроки - примерно 1-2 дня (обычно настраиваю в день обращения)
По цене: стоимость лицензии 2000 руб + стоимость настройки около 2000 руб
Итого, 4 т.р. за готовое решение
От вас нужен пример результата в файле Excel (строка заголовка + 1 строка с данными)
Добрый день.
Цель - с ресурса spb.arendator.ru раздел "Объекты" перенести информацию о офисных, торговых и складских объектах в excel с последующей возможностью обновления.
Нужная информация по колонкам в excel
1.фото
2.название объекта
3.адрес объекта
4.общая площадь
5.назначение помещений
6.арендная площадь
7.класс (пример A+ A B B+)
8.этажность
9.остальное можно в доп.информацию
Вопрос реализуемо ли?
Цена? Сроки?
Заранее спасибо.
Пока примеров опубликовано очень мало, - на очереди к публикации около 30 примеров самых разных.
Вы лучше позвоните мне в скайп завтра днём, - я вам покажу, как что настраивать, на примере нужного вам сайта
От вас для этого надо: http://ExcelVBA.ru/help
Как раз то, что я искал. Но одна проблемка - не работает. Взял ваш первый пример, удалил данные с 20 строк выделил эти строки и запустил задачу. Ссылки заполнены в 19 строках, цена и количество в 6, название и описание не заполнено ни в одной строке. В настройках пробую тестировать, пишет такой результат "ОШИБКА: Неверная ссылка для загрузки веб-страницы"
Здравствуйте
Примеры будут (их очень много накопилось) - пока не доработал движок сайта для из быстрой публикации
Могу на вашем компе показать, что как настраивается (на примере ваших данных), - но только после 24 сентября (я сейчас в отпуске)
Ограничение количества запусков - не проблема, решим это всё. Напишите мне в скайп после 24 сентября
Здравствуйте.
Выложите пожалуйста самый простой пример для настройки программы.
Например имееются URL ссылки в столбце A таблицы
http://excelvba.ru/programmes/Parser?page=1
http://excelvba.ru/programmes/Parser
, в столбец B,C и далее, в зависимости от результата нужно занести информацию об авторе комментария со сканируемой страницы:
CodePublisher| администратора сайта| Юлия
администратора сайта|Sfera|Ихтиёр
и т.д
Количество бесплатных запусков заканчивается, разобраться не смог, поэтому и решение о покупке не могу принять. Спасибо.
2 сентября 2014 г. в 07:35 стало доступно обновление программы «Parser» (версия 1.0.6).
Изменения в новой версии программы:
Рекомендуем обновить программу до последней версии!
Здравствуйте, Инна
Скачать недостаточно, - самое сложное это настроить программу под конкретный сайт
Обычно настройку выполняю я сам (стоимость настройки под один сайт - около 1000 руб)
+ стоимость лицензии на программу 2000 руб
Итого, в среднем, готовое решение (нажали одну кнопку - получили нужный результат в Excel) обходится в 3000 руб
Насчет настройки, - можете обратиться ко мне на почту или в скайп,
выслав пример желаемого результата в виде файла Excel, и описав, с какого сайта какие данные нужно брать.
Здравствуйте! Заинтересовала программа. Какие мои дальнейшие действия и траты? Скачала парсер. Обычный файл эксель. Жду ответа.
8 августа 2014 г. в 07:42 стало доступно обновление программы «Parser» (версия 1.0.5).
Изменения в новой версии программы:
Рекомендуем обновить программу до последней версии!