Подвкладка "Параметры"

Подвкладка «Параметры» расположена на вкладке Дополнительно в редакторе настроек парсера:

 

Сверху находится блок «Кеширование», где можно:

  1. включить / выключить кеширование для загружаемых веб-страниц
  2. включить / выключить кеширование для загружаемых файлов
  3. привязать кеш к другому парсеру (чтобы несколько парсеров использовали общий кеш)
  4. открыть папку с кешем (например, чтобы сравнить содержимое / размер веб-страниц, и найти проблему)
  5. очистить кеш (все файлы из папки кеша будут удалены)

Подробнее об этих опциях читайте в инструкции про кеширование в парсере.

 

Параметр «Интервал между запросами» позволяет задать паузу между обращениями парсера к веб-серверу.

Чаще всего, пауза используется для избежания блокировки со стороны сайта за частые запросы.

Можно задать паузу от 0 (нет паузы) до 600 секунд (10 минут).
Короткие паузы (менее 2 секунд) можно задавать с шагом 0,1 сек., более длинные - с шагом от 1 секунды и более.

Парсер запоминает время последнего обращения к серверу, и при очередной попытке выжидает необходимое время
(например, если с момента последней загрузки страницы прошла 1 секунда, и в настройках задана пауза в 4 секунды, то парсер перед следующей загрузкой выждет ещё 3 секунды, и только потом отправит запрос).

Информация об ожидании парсера до окончания паузы выводится на прогрессбаре:

 

Параметр «Таймаут запроса» указывает парсеру максимальное время ожидания ответа от сервера (ожидание страницы сайта).

Если по истечении заданного времени ответ не получен, то считается, что эта страница сейчас недоступна.

Парсер может выполнять повторные запросы по той же ссылке, каждый раз увеличивая таймаут с шагом в 3 секунды, если задано количество автоматических повторов ошибочной загрузки (1 или более) на подвкладке «Ошибки».

 

Кнопка Добавить переменные отображает окно редактирования переменных (для добавления переменной в настройки парсера)