- Как заказать парсер сайта
- Видеоинструкции по настройке
- Возможности программы-парсера
- Действия в парсере
- Раздел «Работа с HTML»
- Раздел «Текстовые»
- Раздел «Перекодировка и форматирование»
- Раздел «Проверка и сравнение»
- Раздел «Разное»
- Раздел «Функции массива»
- Раздел «Числовые»
- Раздел «Работа с переменными»
- Раздел «Листы и книги Excel»
- Раздел «Обработка файлов из папки»
- Раздел «HTTP запрос»
- Раздел «Internet Explorer»
- Раздел «Управление парсером»
- Раздел «Веб-запросы, XML, макросы VBA»
- Недокументированные действия
- Работа с браузером (Chrome и т.п.)
- Отключенные (устаревшие) действия
- Интерфейс программы
- Использование браузера
- Ошибки при парсинге
- Вывод массива значений в одну ячейку
- Обход защиты Qrator, Incapsula и CloudFare
- Ошибка: сервер не ответил за 9 секунд
- Парсер перезаписывает данные в первой строке листа
- Невозможно запустить макрос, - нет доступа к проекту VBA
- Ошибка Compile error in hidden module
- Ошибка загрузки страницы по HTTPS (SSL Error)
- Дополнительные возможности
- Зарезервированные переменные и подстановочные коды парсера
- Кеширование страниц в парсере
- Переменные в парсере
- Обновление строк в существующей таблице при парсинге
- Переключение между наборами настроек в парсере
- Запуск мониторинга цен по расписанию
- Запуск парсера по расписанию
- Программный запуск парсера из внешнего макроса
- Доп. опции парсера (файл parser.ini)
- Наборы действий
- Прочие статьи по настройке парсера
- Коды останова парсера, и перехода на другое действие
- Плагины для парсера
- Запуск нескольких парсеров по очереди
- Обработка капчи (Captcha) в парсере
- Прокси серверы
Подвкладка "Прокси-серверы" |
Подвкладка «Прокси-серверы» расположена на вкладке Дополнительно в редакторе настроек парсера:
Использовать прокси-серверы
Это основная опция, включающая в парсере режим использования прокси.
При установке этой галочки, становятся доступными все опции ниже.
Список прокси
Текстовое поле, в котором можно задать один или несколько адресов прокси серверов (по одному адресу в строке).
Поддерживается 2 стандартных формата записи адреса прокси:
- формат IP:Port (для прокси без авторизации)
Пример значения: 95.78.127.154:12345 - формат login:password@IP:Port (для прокси с авторизацией)
Пример значения: vasya:kcusatahw@95.78.127.154:12345
Блок «Действия со списком прокси»
Кнопка Проверить все прокси из списка временно не работает (пока не пригодилась, потому, не реализовано)
Кнопка Обновить список прокси вызывает зарезервированный набор действий с названием Parser_NeedsMoreProxy.
В подавляющем большинстве случаев (особенно при использовании мобильных прокси) в использовании этой кнопки нет необходимости.
Ниже расположен блок настроек прокси, состоящий из 4 вкладок.
Всё, что вам может пригодиться, находится на первой вкладке Основные настройки
Максимальное количество запросов до переключения на следующий прокси
Включите эту опцию, если:
- вы не хотите дожидаться, пока сайт заблокирует вам доступ или выведет капчу, и предпочитаете заблаговременно менять IP адреса
- у вас достаточно большой список адресов прокси-серверов, и вы желаете часто менять IP адрес (или же капча на сайте срабатывает после небольшого количества запросов)
- в настройках задан один адрес мобильных прокси без автоматической смены IP адреса — в режиме Multiport, и нужно принудительно менять IP адрес через какое-то количество запросов
Не включайте эту опцию, если:
- прокси используется для обхода блокировки сайта в определенной стране (используется прокси из определенной страны), а сам сайт не имеет защиты от большого количества запросов
- вы используете бесплатные прокси плохого качества (многие из которых не работают), и переключать прокси нужно только в том случае, если страницы сайта перестают загружаться в результате блокировки запросов с очередного IP адреса.
Выводить всплывающие уведомления
Полезная опция для режима тестирования парсера. Позволяет видеть во всплывающих уведомлениях, когда и по какой причине программа переключается на очередной прокси, какие проблемы появляются в процессе использования прокси (страница не загрузилась, прокси не принимает логин-пароль, и т.д. и т.п.)
Смотрите полный список возможных уведомлений при использовании прокси.
После того, как всё проверено и отлажено, эту опцию лучше отключить, чтобы парсер не отклекал вас лишними уведомлениями.
Повторно использовать прокси из списка
Если отключить эту опцию, то после выполнения заданного выше числа запросов через очередной прокси, программа помечает его как «израсходованный», и переходит к следующему. Когда же все прокси в списке израсходуются, программа попытается загрузить новый список прокси (выполнив набор действий Parser_NeedsMoreProxy)
Если эта опция включена, прокси используются «по кругу», т.е. парсер, израсходовав все прокси, начинает использовать их заново.
В этом случае набор действий Parser_NeedsMoreProxy не вызывается.
Переподключаться к прокси-серверу для смены IP адреса
Включите эту опцию, если используются мобильные прокси без автопереключения (как, например, режим Multiport в сервисе LTE space). Переподключением является создание нового экземпляра класса WinHTTPRequest (есть аналогичное действие в парсере), что распознаётся прокси-сервером как новое соединение, и он переключается на новый канал (меняет внешний IP адрес)
Для обычных прокси нет особой разницы, включена или нет эта опция. Так что можете оставить её включенной.
Количество попыток смены прокси для одного URL
Некоторые прокси могут оказаться нерабочими (или слишком медленными), что не даст парсеру загрузить страницу сайта через них. Соответственно, парсеру ничего не остаётся как переключиться на следующий прокси, и снова попробовать загрузить ту же страницу. Но, иногда проблема может быть не в прокси, а в конкретной странице сайта, и, во избежание зацикливания парсера (бесконечный перебор прокси-серверов, пытаясь загрузить проблемную страницы сайта), введён этот параметр, позволяющий ограничить максимальное число переключений прокси для одной страницы.
По умолчанию, допускается 3 переключения прокси. Если через 4 прокси (1 исходный и 3 дополнительных) страница так и не загрузилась, парсер останавливает попытки её загрузить, и продолжает работу.
- Добавить комментарий
- 94370 просмотров