- Как заказать парсер сайта
- Видеоинструкции по настройке
- Возможности программы-парсера
- Действия в парсере
- Раздел «Работа с HTML»
- Раздел «Текстовые»
- Раздел «Перекодировка и форматирование»
- Раздел «Проверка и сравнение»
- Раздел «Разное»
- Раздел «Функции массива»
- Раздел «Числовые»
- Раздел «Работа с переменными»
- Раздел «Листы и книги Excel»
- Раздел «Обработка файлов из папки»
- Раздел «HTTP запрос»
- Раздел «Internet Explorer»
- Раздел «Управление парсером»
- Раздел «Веб-запросы, XML, макросы VBA»
- Недокументированные действия
- Работа с браузером (Chrome и т.п.)
- Отключенные (устаревшие) действия
- Интерфейс программы
- Использование браузера
- Ошибки при парсинге
- Вывод массива значений в одну ячейку
- Обход защиты Qrator, Incapsula и CloudFare
- Ошибка: сервер не ответил за 9 секунд
- Парсер перезаписывает данные в первой строке листа
- Невозможно запустить макрос, - нет доступа к проекту VBA
- Ошибка Compile error in hidden module
- Ошибка загрузки страницы по HTTPS (SSL Error)
- Дополнительные возможности
- Зарезервированные переменные и подстановочные коды парсера
- Кеширование страниц в парсере
- Переменные в парсере
- Обновление строк в существующей таблице при парсинге
- Переключение между наборами настроек в парсере
- Запуск мониторинга цен по расписанию
- Запуск парсера по расписанию
- Программный запуск парсера из внешнего макроса
- Доп. опции парсера (файл parser.ini)
- Наборы действий
- Прочие статьи по настройке парсера
- Коды останова парсера, и перехода на другое действие
- Плагины для парсера
- Запуск нескольких парсеров по очереди
- Обработка капчи (Captcha) в парсере
- Прокси серверы
Подвкладка "Параметры" |
Подвкладка «Параметры» расположена на вкладке Дополнительно в редакторе настроек парсера:
Сверху находится блок «Кеширование», где можно:
- включить / выключить кеширование для загружаемых веб-страниц
- включить / выключить кеширование для загружаемых файлов
- привязать кеш к другому парсеру (чтобы несколько парсеров использовали общий кеш)
- открыть папку с кешем (например, чтобы сравнить содержимое / размер веб-страниц, и найти проблему)
- очистить кеш (все файлы из папки кеша будут удалены)
Подробнее об этих опциях читайте в инструкции про кеширование в парсере.
Параметр «Интервал между запросами» позволяет задать паузу между обращениями парсера к веб-серверу.
Чаще всего, пауза используется для избежания блокировки со стороны сайта за частые запросы.
Можно задать паузу от 0 (нет паузы) до 600 секунд (10 минут).
Короткие паузы (менее 2 секунд) можно задавать с шагом 0,1 сек., более длинные - с шагом от 1 секунды и более.
Парсер запоминает время последнего обращения к серверу, и при очередной попытке выжидает необходимое время
(например, если с момента последней загрузки страницы прошла 1 секунда, и в настройках задана пауза в 4 секунды, то парсер перед следующей загрузкой выждет ещё 3 секунды, и только потом отправит запрос).
Информация об ожидании парсера до окончания паузы выводится на прогрессбаре:
Параметр «Таймаут запроса» указывает парсеру максимальное время ожидания ответа от сервера (ожидание страницы сайта).
Если по истечении заданного времени ответ не получен, то считается, что эта страница сейчас недоступна.
Парсер может выполнять повторные запросы по той же ссылке, каждый раз увеличивая таймаут с шагом в 3 секунды, если задано количество автоматических повторов ошибочной загрузки (1 или более) на подвкладке «Ошибки».
Кнопка Добавить переменные отображает окно редактирования переменных (для добавления переменной в настройки парсера)
- Добавить комментарий
- 2258 просмотров