Действие парсера «Добавление заголовков к HTTP запросу»

В некоторых случаях, загрузить веб-страницу просто по ссылке не удаётся, —
веб-сервер анализирует заголовки запроса, и может закрыть доступ,
если видит, что обращение к сайту идёт не через браузер, а от программы-парсера.

 

Для загрузки кода веб-страницы по ссылке используется действие «Загрузить исходный код веб-страницы»:
(в этом случае, никакие заголовки запроса не передаются)

Действие Параметр Значение
Загрузить ИСХОДНЫЙ КОД веб-страницы URL

 

Можно аналогично выполнить загрузку HTML-кода по ссылке, используя набор действий.
При этом можно задать заголовки HTTP запроса (например, представившись браузером Chrome,
и дав серверу понять, с какой якобы страницы мы пришли)

Действие Параметр Значение
Добавить текст до или после Префикс http://www.ozon.ru/?context=search&text=
Суффикс
Открыть HTTP соединение URL
Метод (тип) запроса GET
Добавить заголовок запроса Заголовок Referer
Значение http://www.ozon.ru/
Добавить заголовок запроса Заголовок User-Agent
Значение Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.117 Safari/537.36
Добавить заголовок запроса Заголовок Accept
Значение text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
Отправить HTTP запрос
Получить ответ сервера

 

Ниже другой пример, - когда надо указать сайту регион и город, которые сохраняются в Cookies.
И мы опять же вместо обычной загрузки веб-страницы, отдельными действиями создаем запрос,
задаем заголовки, отправляем данные на сервер, и считываем ответ:

Действие Параметр Значение
Добавить текст до или после Префикс http://www.office-planet.ru/catalog/
Суффикс .html
Открыть HTTP соединение URL
Метод (тип) запроса GET
Добавить заголовок запроса Заголовок Cookie
Значение OP_SAMSON_DILLER=1454177; OP_SAMSON_CITY=104251
Отправить HTTP запрос
Получить ответ сервера