Главная » Готовые решения » Программа «Парсер сайтов» » Справка по программе Parser » Действия парсера » Решить Google Captcha v.2

Действие парсера «Решить Google Captcha v.2»

Параметры действия:

Предназначение действия:

Выполняется запрос на платный сервис распознавания капчи RuCaptcha.com

Для использования этой опции, в общих настройках программы нужно задать API-ключ сервиса (для его получения, надо зарегистрироваться на сайте RuCaptcha.com, и пополнить счёт)

Результат решения капчи (токен) автоматически сохраняется в переменную с именем g-recaptcha-response

Возвращаемое значение: токен, который надо передать в POST запросе (параметр g-recaptcha-response)

 

Параметр «URL страницы с капчей»

Тип параметра: произвольное текстовое значение

Если URL не задан, используется последний загруженный URL, или текущее значение (если оно является ссылкой)

Параметр «Ключ сайта (data-sitekey)»

Тип параметра: произвольное текстовое значение

Ключ сайта — параметр data-sitekey из div class=g-recaptcha (если не задан, будет найден автоматически, если текущее значение — HTML код страницы)

Параметр «Показывать уведомления»

Тип параметра: выбор из списка, или ввод вручную

Примеры значений параметра: yes; no

Значение по умолчанию: no

 

Параметр «Дополнительные опции»

Тип параметра: выбор из списка, или ввод вручную

Примеры значений параметра: ; proxy=логин:пароль@1.2.3.4:3128; proxytype=HTTPS;

Здесь можно задать дополнительные параметры запроса согласно API сервиса rucaptcha.com
Например, параметры proxy=логин:пароль@1.2.3.4:3128 или proxytype=HTTPS

Параметр «Время ожидания ответа, сек.»

Тип параметра: выбор из списка, или ввод вручную

Примеры значений параметра: 30; 60; 100; 120

Значение по умолчанию: 100

 

 

Примеры использования:

Полноценная инструкция по действию будет опубликована позже.
(обычно мы настраиваем сложные парсеры с обработкой капчи сами, под заказ)
Пока здесь лишь краткое описание, как что примерно делается.

Порядок действий при обработке Captcha парсером:

1) Вместо действия ЗАГРУЗИТЬ ИСХОДНЫЙ КОД ВЕБ_СТРАНИЦЫ
мы везде ставим действие ВЫПОЛНИТЬ НАБОР ДЕЙСТВИЙ с названием, например, Загрузить страницу

2) На вкладке Дополнительно, подвкладка Наборы действий,
создаём новый набор действий с таким названием, какое указали в предыдущем пункте (Загрузить страницу)

3) В этот набор действий добавляем команды для загрузки страницы, проверки наличия на ней капчи, распознавания капчи, отправки распознанной капчи на сайт.

Выглядеть список действий будет примерно так:
(можете скачать и посмотреть настройки этого парсера по этой ссылке)

 

Действие Параметр Значение
Сохранить текущее значение в переменную Название переменной currentURL
Область видимости parser
Загрузить ИСХОДНЫЙ КОД веб-страницы URL  
Кодировка веб-страницы  
Загружать все страницы результатов  
Проверка на выполнение условия Режим проверки не содержит
Значение для сравнения >Защита от роботов<
Действие при выполнении условия Остановить
Параметр действия -1
Проверять другое значение нет
Другое проверяемое значение  
Сохранить текущее значение в переменную Название переменной currentHTML
Область видимости parser
HTML: Поиск тегов Тип элемента div
Название проверяемого атрибута class
Значение проверяемого атрибута g-recaptcha
Тип результата / извлекаемый атрибут data-sitekey 1
Сохранить текущее значение в переменную Название переменной data-sitekey
Область видимости parser
Решить Google Captcha v.2 URL страницы с капчей %currentURL%
Ключ сайта %data-sitekey%
Показывать уведомления yes
Дополнительные опции  
Время ожидания ответа, сек. 150
Считать значение переменной Название переменной currentHTML
Область видимости parser
Значение по-умолчанию  
HTML: Поиск тегов Тип элемента input
Название проверяемого атрибута name
Значение проверяемого атрибута url
Тип результата / извлекаемый атрибут value 1
Сохранить текущее значение в переменную Название переменной captcha-url
Область видимости parser
Добавить заголовок запроса Заголовок referer
Значение %currentURL%
Использовать для ВСЕХ запросов да
Выполнить POST-запрос URL для POST-запроса https://tiu.ru/check_captcha
Строка параметров g-recaptcha-response=%g-recaptcha-response%&url=%captcha-url%
Кодировка веб-страницы  
Кешировать запросы нет

 

В процессе обработки капчи, на прогресс-баре отображается ход выполнения запроса к сервису RuCaptcha:

 

 

Еще один пример настройки обработки капчи (тоже набор действий «Загрузить страницу»), на примере сайта makeup.com.ua

 

Действие Параметр Значение
Сохранить текущее значение в переменную Название переменной currentURL
Область видимости parser
Загрузить ИСХОДНЫЙ КОД веб-страницы URL  
Кодировка веб-страницы  
Загружать все страницы результатов  
Кеширование  
Проверка на выполнение условия Режим проверки не содержит
Значение для сравнения Completing the CAPTCHA proves you are a human
Действие при выполнении условия Остановить
Параметр действия -1
Проверять другое значение нет
Другое проверяемое значение  
Сохранить текущее значение в переменную Название переменной currentHTML
Область видимости parser
Удалить заголовок запроса Удаляемый заголовок запроса *
HTML: Поиск тегов Тип элемента Any Tag
Название проверяемого атрибута  
Значение проверяемого атрибута  
Тип результата / извлекаемый атрибут data-sitekey 1
Сохранить текущее значение в переменную Название переменной data-sitekey
Область видимости parser
Решить Google Captcha v.2 URL страницы с капчей %currentURL%
Ключ сайта %data-sitekey%
Показывать уведомления yes
Дополнительные опции  
Время ожидания ответа, сек. 150
Считать значение переменной Название переменной currentHTML
Область видимости parser
Значение по умолчанию  
HTML: Поиск тегов Тип элемента Any Tag
Название проверяемого атрибута  
Значение проверяемого атрибута  
Тип результата / извлекаемый атрибут data-ray 1
Сохранить текущее значение в переменную Название переменной id
Область видимости parser
Добавить заголовок запроса Заголовок :authority
Значение makeup.com.ua
Использовать для ВСЕХ запросов да
Добавить заголовок запроса Заголовок :method
Значение GET
Использовать для ВСЕХ запросов да
Добавить заголовок запроса Заголовок :scheme
Значение https
Использовать для ВСЕХ запросов да
Добавить заголовок запроса Заголовок accept
Значение text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8
Использовать для ВСЕХ запросов да
Добавить заголовок запроса Заголовок accept-language
Значение en-US,en;q=0.9
Использовать для ВСЕХ запросов да
Добавить заголовок запроса Заголовок cache-control
Значение no-cache
Использовать для ВСЕХ запросов да
Добавить заголовок запроса Заголовок content-type
Значение application/x-www-form-urlencoded
Использовать для ВСЕХ запросов да
Добавить заголовок запроса Заголовок pragma
Значение no-cache
Использовать для ВСЕХ запросов да
Добавить заголовок запроса Заголовок upgrade-insecure-requests
Значение 1
Использовать для ВСЕХ запросов да
Добавить заголовок запроса Заголовок user-agent
Значение Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36
Использовать для ВСЕХ запросов да
Добавить заголовок запроса Заголовок referer
Значение %currentURL%
Использовать для ВСЕХ запросов да
Загрузить страницу с приёмом Cookies URL https://makeup.com.ua/cdn-cgi/l/chk_captcha?id=%id%&g-recaptcha-response=%g-recaptcha-response%
Создать новый экземпляр WinHttpRequest нет
Кодировка веб-страницы  
Исходное значение   Результат 
https://makeup.com.ua/product/186841/
   
<!DOCTYPE html>
<html lang="ru" data-ng-app="makeup">
<head>
<!--[if false]>
++++++++++++++++++++++++++++++++++++++++++++++++++++
 ++++++++++++++♥♥♥♥♥+++++++++++♥♥♥♥♥+++++++++++++++
  +++++++++++♥♥*****♥♥+++++++♥♥*****♥♥++++++++++++
   +++++++++♥♥********♥♥+++♥♥********♥♥++++++++++
    ++++++++♥♥*********♥♥+♥♥*********♥♥+++++++++
     ++++++++♥♥*********♥♥♥*********♥♥+++++++++
      ++++++++♥♥*********♥*********♥♥+++++++++
       ++++++++♥♥*****************♥♥+++++++++
        ++++++++♥♥*****MakeUP****♥♥+++++++++
         ++++++++♥♥*************♥♥+++++++++
          ++++++++♥♥***********♥♥+++++++++
           ++++++++♥♥*********♥♥+++++++++
            ++++++++♥♥*******♥♥+++++++++
             ++++++++♥♥*****♥♥+++++++++
              ++++++++♥♥***♥♥+++++++++
               +++++++++♥♥♥++++++++++
                +++++++++♥++++++++++
                 ++++++++++++++++++
<!-- <![endif]-->
<title>MAKEUP | Подушечки из ваты, круглые - Bella: купить по лучшей цене в Украине</title>
... тут много HTML кода ...
</body>
</html>