В некоторых случаях, загрузить веб-страницу просто по ссылке не удаётся, —
веб-сервер анализирует заголовки запроса, и может закрыть доступ,
если видит, что обращение к сайту идёт не через браузер, а от программы-парсера.
Для загрузки кода веб-страницы по ссылке используется действие «Загрузить исходный код веб-страницы»:
(в этом случае, никакие заголовки запроса не передаются)
| Действие |
Параметр |
Значение |
| Загрузить ИСХОДНЫЙ КОД веб-страницы |
URL |
|
|
Можно аналогично выполнить загрузку HTML-кода по ссылке, используя набор действий.
При этом можно задать заголовки HTTP запроса (например, представившись браузером Chrome,
и дав серверу понять, с какой якобы страницы мы пришли)
| Действие |
Параметр |
Значение |
| Добавить текст до или после |
Префикс |
http://www.ozon.ru/?context=search&text= |
| Суффикс |
|
|
| Открыть HTTP соединение |
URL |
|
| Метод (тип) запроса |
GET |
|
| Добавить заголовок запроса |
Заголовок |
Referer |
| Значение |
http://www.ozon.ru/ |
|
| Добавить заголовок запроса |
Заголовок |
User-Agent |
| Значение |
Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/33.0.1750.117 Safari/537.36 |
|
| Добавить заголовок запроса |
Заголовок |
Accept |
| Значение |
text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8 |
|
| Отправить HTTP запрос |
|
|
|
| Получить ответ сервера |
|
|
|
Ниже другой пример, - когда надо указать сайту регион и город, которые сохраняются в Cookies.
И мы опять же вместо обычной загрузки веб-страницы, отдельными действиями создаем запрос,
задаем заголовки, отправляем данные на сервер, и считываем ответ:
| Действие |
Параметр |
Значение |
| Добавить текст до или после |
Префикс |
http://www.office-planet.ru/catalog/ |
| Суффикс |
.html |
|
| Открыть HTTP соединение |
URL |
|
| Метод (тип) запроса |
GET |
|
| Добавить заголовок запроса |
Заголовок |
Cookie |
| Значение |
OP_SAMSON_DILLER=1454177; OP_SAMSON_CITY=104251 |
|
| Отправить HTTP запрос |
|
|
|
| Получить ответ сервера |
|
|
|
