Надстройка Parser для MS Excel: общие сведения
Предназначение программы: быстрый сбор любых данных с различных сайтов или файлов, с выводом результата в Excel.
Основные возможности:
- парсинг интернет-магазинов и любых других сайтов (соцсетей, каталогов, объявлений и т.д.)
- извлечение данных из файлов формата Word / Excel / txt / PDF
- скачивание файлов (изображений, документов, и т.п.)
- обновление цен по ссылкам (мониторинг цен конкурентов / РРЦ)
Особенности программы
Простота использования и настройки
- Запуск парсера нажатием одной кнопки на ленте Excel
- Для настройки парсеров не нужно знание программирования!
Достаточно минимально понимать HTML (что такое теги), и изучить 2 основные команды парсера (загрузка страницы, и поиск тегов). Этого достаточно для 90% задач. - Если сами не разберётесь с настройкой — всегда можно заказать нам настройку парсера под вашу задачу.
- Всё что нужно для работы парсера, это Windows 10 (или новее) и Microsoft Excel (версии 2010 или новее)
Иногда ещё нужен браузер Google Chrome (для работы с проблемными сайтами) - Можно настроить программу под несколько разных сайтов (задач), и легко переключаться между настройками через выпадающий список на панели инструментов программы.
Гибкая постобработка данных
- Множество текстовых функций для обработки полученной информации
- Разнообразные фильтры и функции перекодировки
- Работа с переменными и массивами данных
- Разбиение значений на отдельные элементы с индивидуальной обработкой
- Автоматический вывод характеристик товаров в отдельные столбцы
- Интеллектуальный поиск цен на страницах
- Поддержка форматов JSON и XML
Продвинутые сетевые возможности
- Несколько способов загрузки страниц — WinHTTP / WinAPI / WinINET / IE / Google Chrome
- Авторизация — поддержка входа в аккаунты на различных сайтах
- Региональные настройки — выбор географического региона для парсинга
- HTTP-запросы — поддержка GET и POST методов, конструктор запросов
- Cookies и Headers — полная работа с HTTP-заголовками и куки
- Многопоточность — до 200 одновременных потоков для ускорения работы
- Обход защиты — распознавание капчи через сервис RuCaptcha.com, паузы между запросами
- Браузерная интеграция — работа с защищёнными от роботов сайтами через Google Chrome
- Кеширование — сохранение данных для повторного использования
Неограниченные возможности поиска и навигации по сайту
- Рекурсивный поиск страниц на сайтах
- Поиск данных по HTML-тегам и их атрибутам
- Автоматическое обнаружение ссылок пагинации (пейджера)
- Специализированные функции для работы с HTML-таблицами
- Преобразование HTML в текст и пары "название-значение"
- Очистка HTML от лишних данных
Интеграция с Excel
- Чтение данных из файлов Excel для использования в парсинге
- Создание отдельных листов и файлов
- Динамическое формирование столбцов для вывода результатов
- Использование всех встроенных возможностей Excel (условное форматирование, формат ячеек)
- Удобная панель инструментов для запуска парсинга
Работа с файлами
- Сбор данных из файлов различных форматов (Word, XML, TXT, Excel, PDF)
- Обработка файлов из заданных пользователем папок
- Сохранение изображений и документов под заданными именами в настраиваемые папки
С момента выхода программы в 2014 году, её функционал постоянно развивался (вышли сотни обновлений), поэтому сейчас в парсере есть всё, что только может вам понадобиться для сбора данных из интернета.
Более подробно всё это описано в разделе Справка по программе
Дополнительные видео и подробное описание функционала можно найти в разделе Справка по программе
В программе можно настроить несколько парсеров (обработчиков сайтов).
Любой из парсеров настраивается и работает независимо от других.
Примеры настроенных парсеров (можно скачать, запустить, посмотреть настройки)
Видеоинструкция (2 минуты), как запустить готовый (уже настроенный) парсер
Если вам нужен готовый парсер, но вы не хотите разбираться с настройкой,
— закажите настройку парсера разработчику программы. Стоимость настройки под конкретный сайт - от 2500 рублей.
Настройка под заказ выполняется только при условии приобретения лицензии на надстройку «Парсер» (4000 руб)
Инструкция (с видео) по заказу настройки парсера
По всем вопросам, связанным с заказом, готов проконсультировать вас в Телеграм.
Комментарии
Система: win 8.1 x64, Excel 2013, gal-art.pl
Мой опыт:
После трех часов ковыряний по вкладкам и подпунктам программы, для себя, кроме прочего, установил следующее- программа разделена на три основные части, первая отвечает за парсинг с сайта донора, вторая за вывод данных в таблицу Excel.
Обе части имеют весомые наборы дефолтных настроек под нужды определяемые пользователем.
Вкладка- загрузка файлов под опыт не попала из-за не внятности назначения.
Так же программа имеет массу дополнительных универсальных возможностей.
В программе предусмотрен очень полезный Режим тестирования для тонкой, пошаговой настройки и проверки работы элементов.
Итог:
Автор заложил в программу весьма мощный инструментарий и поэтому 100% требуются специальные знания вёрстки Html.
Разобраться что к чему, зачем, куда и почему,- под силу только самому автору или очень продвинутому, очкастому юзеру.
Справка по действиям отсутствует и сразу создаст ловушку сделать ошибку в самом начале работы что приведёт в тупик (даже для тестов).
Работу режима тестирования в настройках придумали инопланетяне- явно для издевательства (ОШИБКА: Неверная ссылка для загрузки веб-страницы).
Пункты настроек имеют дефолтные значения и не понятно можно ли подставлять свои.
Отсутствует защита от "дурака"(ошибочных действий пользователя).
При первом парсинге (пункт № 46-Белый говлит браслет) программа заполнила поле Цена значением (01.09.1990.)
Попытка настроить парсинг с сайта http://www.ikea.com/RU/ru/ по выше изложенным причинам естественно провалилась.
Сохранить сделанные настройки оказалось невозможно, по этому делать следующую попытку нет смысла.
Отсутствует лог ошибок.
После закрытия документа gal-art.pl мой Excel 2013- завис окончательно и пришлось применять три весёлых кнопки.
Выводы:
Я давно не выкуривал пачку сигарет за вечер (чего и вам не советую).
Продукт формируется с явным креном на платную настройку и поддержку специалистом что лишает программу универсальности.
На сайте я не увидел такого пользователя, кто смог бы, самостоятельно настроить программу на работу.
Но объективности ради отмечу что, изначально в программа задумана как мощный, универсальный инструмент и находится в стадии разработки.
Будем ждать новых и разных версий и помогать в тестировании.
Надеюсь что автор подойдет к моим исследованиям профессионально и с юмором!
Здравствуйте, Ихтиёр
С системой PPS не знаком.
Позвоните мне в скайп, - обсудим, что надо сделать.
Необходима программа для ввода информации в Excel с листов запроса системы PPS если Вы знакомы с этой системой. Если нет то коротко о нем: На заводе по производству двигателей система выдает листы запроса на принтер в складе через EntenetExplorer на основе этих листов запроса оператор выдает детали для линии сборки двигателей.Затем в ручную вводит информацию о количестве и времени выдачи в Excel файл который последующим архивируется. Необходима программа для импорта данных с этих листов в exsel.
Игорь! Мы с вами общались по поводу разработки макросов для сбора сведений в Exel с площадки Госзакупок. Мы с вами поговорили и вы куда-то пропали? Уже прошло 2 недели.
Здравствуйте, Виталий
Смотря что должно получиться в результате
Программа работает только с Excel - т.е. в Excel можно сформировать таблицу любого вида.
Но мне надо понимать, какие будут исходные данные, и что должно получиться после сбора данных с сайта
Вышлете мне на почту пример в виде файла Excel - тогда скажу.
Или обращайтесь в скайп, - так быстрее будет.
PS: Если моя программа не справится, - всегда можно написать отдельный макрос под вашу задачу.
Мне нужен Парсер ставок с ссылки dns3.betcity.ru /bets/bets2.php?line_id[]=2751
Вашей программой можно это реализовать, чтобы импортировались в Excel или Access? Если да, то как, так как сам разобраться в демо-версии не смог. С Уважением!
Здравствуйте
Вышлите мне на почту пример исходных данных и результата (надо понимать, какую конкретно информацию требуется найти и загрузить)
PS: По вашей теме есть некоторые наработки, - может, что готовое подберем.
Добрый день!
Мне нужно создать макрос для закачивание необходимой информации с сайта госзакупок по номеру извещения.
Максим, эта опция до сих пор была не задействована, - только что её включил.
Скачайте последнюю версию программы с сайта, - и всё заработает.
Кстати, это «таймаут запроса» по-умолчанию равен 6 секундам, - сколько времени программа ожидает ответа от веб-сервера.
А «интервал между запросами» по-умолчанию равен нулю.
Опция "интервал между запросами" реализована?
По умолчанию 6, ставил максимум 600, разницы нет.
Sfera, как именно нужно сделать?
Копируя ссылки в Excel, а потом, нажав кнопку, собрать какие-то данные по выбранным товарам в другие столбцы?
С этим программа вполне справится.
Или надо как-то иначе?
Как сделать вот так?
http://idea-sr.ru/checkout/
или вот так?
http://shopikea.ru/checkout.html
Обращайтесь в скайп, - расскажу и покажу, как настраивать
(инструкция по программе пока не готова)
Не получается копировать изображения:( Не понимаю какими действиями дать программе понять что именно с этой ссылки качать нужно
Не скачивается ваша надстройка
Здравствуйте, Сергей.
Реализовать под OpenOffice, - можно, почему бы и нет.
Но это вопрос не ко мне, - я работаю только с Excel, а в OpenOffice совсем другие макросы (более сложные в плане разработки), так что я сомневаюсь, что кто-то будет делать подобное в бесплатных табличных редакторах.
Насчёт абракадабры, - такое возможно (хотя, я сам очень редко с таким сталкивался), если кодировка веб-страницы, возвращаемая сервером в заголовке веб-страницы, не соответствует реальной кодировке
В следующих версиях программы, будет возможность перекодировки.
Вместо текста возвращает абру-кадабру типа СÑма до ÑплаÑи: 197.00 гÑн
Скажите, а можно реализовать эту программу для Open Office? Сами понимаете он бесплатный, а на работе Excel - это дорого.
23 января 2014 г. в 09:22 стало доступно обновление программы «Parser» (версия 1.0.0 Beta).
Изменения в новой версии программы:
Рекомендуем обновить программу до последней версии!
Уверен, что знаете. Мне никогда не требовалась авторизация.
По-вашему, я не знаю про веб-запросы?
Я делаю универсальную программу, - где получение данных выполняется по результатам нескольких (вложенных) запросов + авторизация + скачивание файлов.
Веб-запрос далеко не всегда выводит данные в том виде, в каком их удобно обрабатывать.
А с некоторых сайтов, эти способом вообще не удается получить данные.
Зачем так заморачиваться?
Используем метод http://msdn.microsoft.com/ru-ru/library/office/ff837764.aspx, загружаем данные в массив и обрабатываем как надо.
Здравствуйте, Антонина.
Программа пока в стадии разработки, - пока рано тестировать
Только сегодня сделал более-менее универсальную версию, не выкладывал её ещё.
Чтобы все относительно стабильно работало, и можно было тестировать, - мне нужно время на доработку, примерно неделю-две ещё.
Программа сложная получается, - потому разработка затянулась.
Продажи программы начнутся во второй половине декабря,
когда я уже смогу гарантировать стабильную работу программы.
НИЧЕГО НЕ ПОНЯЛА?! КАК ПОЛЬЗОВАТЬСЯ? ПОМОГИТЕ ПРОТЕСТИРОВАТЬ