Надстройка Parser для MS Excel: общие сведения
Предназначение программы: быстрый сбор любых данных с различных сайтов или файлов, с выводом результата в Excel.
Основные возможности:
- парсинг интернет-магазинов и любых других сайтов (соцсетей, каталогов, объявлений и т.д.)
- извлечение данных из файлов формата Word / Excel / txt / PDF
- скачивание файлов (изображений, документов, и т.п.)
- обновление цен по ссылкам (мониторинг цен конкурентов / РРЦ)
Особенности программы
Простота использования и настройки
- Запуск парсера нажатием одной кнопки на ленте Excel
- Для настройки парсеров не нужно знание программирования!
Достаточно минимально понимать HTML (что такое теги), и изучить 2 основные команды парсера (загрузка страницы, и поиск тегов). Этого достаточно для 90% задач. - Если сами не разберётесь с настройкой — всегда можно заказать нам настройку парсера под вашу задачу.
- Всё что нужно для работы парсера, это Windows 10 (или новее) и Microsoft Excel (версии 2010 или новее)
Иногда ещё нужен браузер Google Chrome (для работы с проблемными сайтами) - Можно настроить программу под несколько разных сайтов (задач), и легко переключаться между настройками через выпадающий список на панели инструментов программы.
Гибкая постобработка данных
- Множество текстовых функций для обработки полученной информации
- Разнообразные фильтры и функции перекодировки
- Работа с переменными и массивами данных
- Разбиение значений на отдельные элементы с индивидуальной обработкой
- Автоматический вывод характеристик товаров в отдельные столбцы
- Интеллектуальный поиск цен на страницах
- Поддержка форматов JSON и XML
Продвинутые сетевые возможности
- Несколько способов загрузки страниц — WinHTTP / WinAPI / WinINET / IE / Google Chrome
- Авторизация — поддержка входа в аккаунты на различных сайтах
- Региональные настройки — выбор географического региона для парсинга
- HTTP-запросы — поддержка GET и POST методов, конструктор запросов
- Cookies и Headers — полная работа с HTTP-заголовками и куки
- Многопоточность — до 200 одновременных потоков для ускорения работы
- Обход защиты — распознавание капчи через сервис RuCaptcha.com, паузы между запросами
- Браузерная интеграция — работа с защищёнными от роботов сайтами через Google Chrome
- Кеширование — сохранение данных для повторного использования
Неограниченные возможности поиска и навигации по сайту
- Рекурсивный поиск страниц на сайтах
- Поиск данных по HTML-тегам и их атрибутам
- Автоматическое обнаружение ссылок пагинации (пейджера)
- Специализированные функции для работы с HTML-таблицами
- Преобразование HTML в текст и пары "название-значение"
- Очистка HTML от лишних данных
Интеграция с Excel
- Чтение данных из файлов Excel для использования в парсинге
- Создание отдельных листов и файлов
- Динамическое формирование столбцов для вывода результатов
- Использование всех встроенных возможностей Excel (условное форматирование, формат ячеек)
- Удобная панель инструментов для запуска парсинга
Работа с файлами
- Сбор данных из файлов различных форматов (Word, XML, TXT, Excel, PDF)
- Обработка файлов из заданных пользователем папок
- Сохранение изображений и документов под заданными именами в настраиваемые папки
С момента выхода программы в 2014 году, её функционал постоянно развивался (вышли сотни обновлений), поэтому сейчас в парсере есть всё, что только может вам понадобиться для сбора данных из интернета.
Более подробно всё это описано в разделе Справка по программе
Дополнительные видео и подробное описание функционала можно найти в разделе Справка по программе
В программе можно настроить несколько парсеров (обработчиков сайтов).
Любой из парсеров настраивается и работает независимо от других.
Примеры настроенных парсеров (можно скачать, запустить, посмотреть настройки)
Видеоинструкция (2 минуты), как запустить готовый (уже настроенный) парсер
Если вам нужен готовый парсер, но вы не хотите разбираться с настройкой,
— закажите настройку парсера разработчику программы. Стоимость настройки под конкретный сайт - от 2500 рублей.
Настройка под заказ выполняется только при условии приобретения лицензии на надстройку «Парсер» (4000 руб)
Инструкция (с видео) по заказу настройки парсера
По всем вопросам, связанным с заказом, готов проконсультировать вас в Телеграм.
Комментарии
Демо-версия. Такая же проблема. При парсинге страницы сайта выдает ошибку "Сервер не ответил за 6 сек". Увеличение таймаута запроса не помогает.
Страницы парсит только один парсер: тот, который я создал самым первым. Все последующие парсеры не работают (даже, если создать полную копию первого парсера, если загрузить пример парсера с сайта http://excelvba.ru/, не помогает ничего).
Это что, ограничение демо-версии?
Посмотрите видеоинструкцию из этой статьи:
Загрузка страниц сайта парсером
Возможно, нужно выбрать другой способ загрузки страницы, или передавать заголовки запроса
Здравствуйте, у меня при парсинге главной странице выдает ошибку "Сервер не ответил за 6 сек", как поменять настройки или что нужно сделать при такой ошибке?
Да, такое возможно
Если на входе - массив значений, то, используя действие «случайное число» и действие «несколько элементов массива» (для получения одного элемента со случайным номером),
можно реализовать то, что вам нужно
Добрый день!
В программе есть возможность задать несколько значений и рандомно их использовать.
Такая возможность есть только у меня, в программе эта опция недоступна.
Добрый день!
Как сделать настройку закрытой для редактирования.
Сам долго думал как это сделать, ничего не вышло. Пришлось прибегать к вбиванию массива в строку, а потом отдельным макросом транспонировать их.
Тут много вариантов, развёрнутый ответ займет несколько страниц.
Могу помочь с настройкой (услуга платная)
Здравствуйте!!! Подскажите пожалуйста как вывести массив данных (Который получается при поиске тегов) при выводе на лист в отдельную ячейку, только не в строку а в столбик.
Программа - просто бомба. Супер! 2 часа на разбор как работает и потом за 30 минут сделал то, что руками делал неделю! Буду рассматривать вариант покупки! Автору - огромное спасибо!
Здравствуйте, Елена
Нажмите кнопку ОТМЕНА, - выскочит диалоговое окно «Остановить парсер или нет»
Пока висит это окно - парсер на паузе. Как только интернет появится, - нажмите НЕТ (отказ от остановки), и парсер продолжит свою работу
В момент паузы Excel будет недоступен, но можно запустить еще один Excel (независимо от первого, и в нем поработать, пока первый Excel с парсером на паузе стоит)
Cкажите пожалуйста, в парсере можно как-то выставить функцию "пауза"?
А так же если пропал интернет, можно ли выставить авто остановку парсера с возможностью дальнейшего запуска?
Здравствуйте, Елена
Программа стоит 2500 руб, на 2 рабочих места
После переустановки Windows активируете снова, доплачивать ничего не надо будет
Приветствую! Сколько будет стоить активировать парсер?
И что делать допустим если я переустановлю виндовс? Активация будет действительная?
Вот тут не то задали
Либо при опции ОСТАНОВИТЬ указываем параметр остановки (-1 или -2) в 4-м параметре,
либо выбираем опцию «Задать новое значение и остановить»
Ну и убедитесь, что в переменной %counter1% находится значение больше нуля.
Для этого, надо где-то сделать проверку на наличие значения, и добавить действие «Проверка на выполнение условия» - если значение НЕ равно (параметр1) пустой строке (параметр2), то увеличить значение счётчика (параметр3) номер 1 (параметр 4)
Перед командой отправки почты, проверяем значение переменной %counter1% - если оно равно нулю, то выбираем опцию «остановить»
Как проверить значение переменной?
Я в "Наборе действий" Parser_Finish
считал значение переменной %counter1% которое подставил в 1 столбец вывода на лист. (Последним действием в столбце 1)
Далее проверка на выполнения условия "Равно" 0 Остановить.
Отправка на почту.
Он все равно мне присылает файлы даже если там ни чего нет.
По выводу на лист - сделать можно, но надо перед выводом на лист проверять это условие, отменяя вывод для ненужных строк
Если сами не разберетесь - напишите в скайп, попробую помочь
Запретить отправлять файл на почту - легко. В настройках вывода в любой столбец добавляем действие УВЕЛИЧИТЬ ЗНАЧЕНИЕ СЧЕТЧИКА,
таким образом, парсер будет считать, сколько строк вывелось на лист.
А перед командой отправки почты, проверяем значение переменной %counter1% - если оно равно нулю, то выбираем опцию «остановить»
Здравствуйте!!! Подскажите как сделать!!! У меня есть настроенный парсер который выводит все характеристики товаров. Как сделать так, что когда при "выводе на лист" если там встречается характеристика (Допустим размеры "45,46,47,52 и тд) не выводились и вся строка с другими параметрами этого товара так же не загружалась. А переходила к следующему товару. Грубо говоря я хочу что б выводились товары по условию. Но как это сделать когда эти параметры считываются только при "выводе на лист" и как запретить загружать остальное для этого товара.
И можно ли запретить отправлять файл на почту если он не содержит данных. А то получается парсер считает данные но по моим условиям ни чего не найдется и я получу пустой файл.
Надо настроить авторизацию в парсере
Если готовы оплатить программу, могу помочь с настройкой (обращайтесь в скайп)
Здравствуйте, интересует как спарсить текст, доступный только после авторизации?
То есть я загружаю исходный код страницы, нажимаю тестировать, в окне "Результаты абработки" выбираю открыть в браузере, запускается яндекс браузер, авторизируюсь, снова нажимаю тестировать, но ничего не меняется.
Здравствуйте, Руслан
Обычно мы под заказ настраиваем (и предоставляем готовые настройки), но в порядке исключения могу настроить это на вашем компьютере (чтобы вы видели, как это делается)
Программа-парсер стоит 2500 руб + настройка через TeamViewer обойдется в 2000 руб (если у вас комп мощный, и интернет быстрый, - тогда смогу показать)
Если по стоимости устраивает - пишите в скайп
Добрый день
Имеется сайт
http://docs.cntd.ru/ и список ГОСТОВ (порядка 1 тыс)
Задача-зайти на сайт, и в разделе ПОИСК вбивать каждый поиск, из полученного результата извлекать ссылку на каждый гост, и информацию
Например вбиваем ГОСТ 21485-94, сайт отображает 2 госта (почему их там два, я сам не знаю, в некоторых местах по три даже показывает). Далее из получившихся двух результатов выбираем один (первый например). из открывшейся страницы нужна след инфа:
1. ссылка на сайт
2. Справа нарисован зеленый круг и галочка, и там указано "действующий", нужно Слово "Действующий" (бывает что слово "Недействующий")
3. Далее есть вкладка на документом "Текст документа", когда мы нажимаем на этот "текст" то появляется слова-"Текст документа", "Статус", "сканер копия", требуется выбирать "Статус", и уже из открывшейся страницы нужна след инфа-
Дата принятия: 17 марта 1995
Дата начала действия: 01 июля 1995
Дата окончания действия: 01 июля 2017
Дата редакции: 01 декабря 2003
Хотелось бы понять как это сделать с помощью вашего парсера, а не просто готовый макрос покупать. Спасибо
Здравствуйте, Михаил
Можно авторизоваться в браузере Internet Explorer, и потом использовать действие «открыть страницу в Internet Explorer»
Это проще, но заметно медленнее будет работать
Примеры настройки авторизации - выложу (сделаю видео), но позже
Добрый день, Игорь!
Есть способ пройти авторизацию на сайте в ручную, для дальнейшего парсинга через парсер?
Сайт не отображает цены без авторизации, а настроить авторизацию ни как не могу.
Вопрос номер 2: Не могли бы Вы выложить примеры автризации через парсер?
Спасибо.
Если нужен браузер (чтобы скрипты отработали), то только Internet Explorer
В большинстве случаев, использование браузера не требуется (а парсер может представиться любым браузером)
Действие «Загрузить исходный код веб-страницы» не использует браузеры
Здравствуйте!!! Подскажите парсер может работать только через Internet Explorer или через другие браузеры тоже? Спрашиваю почему, потому-что Internet Explorer не все открывает сайты. (Это для "открыть страницу в Internet Explorer")
Какие свойства? Зачем их открывать?
Если вы про свойства файла (перед первым запуском чтобы разблокировать) - тут ничего не подскажу, это штатный функционал Windows, должно открываться.
Здравствуйте. У меня почему то не открываются свойства программы.С чем это может быть связано?
Спвсибо Вам огромное! помогло!;)