Статья является инструкцией по надстройке Parser

Парсинг сайтов: загрузка страниц и авторизация на сайте

В этой видеоинструкции я рассказываю, как при помощи надстройки «Парсер сайтов» авторизоваться на сайте, выполнять GET и POST запросы, работать с Cookies и с браузером Internet Explorer.

Поскольку видео достаточно длинное, привожу дополнительные ссылки на это видео с переходом на соответствующие метки времени:

 

Во вложении к статье, — файл Excel с инструкцией, показанной в этом видео.

ВложениеРазмерЗагрузкиПоследняя загрузка
Файл Excel «Загрузка страниц и авторизация в парсере сайтов»15.16 КБ0Ещё не загружался

Комментарии

Меню Дополнительно - Общие настройки программы - вкладка Captcha
Там задаётся API ключ

ок. Понял.
1) Напишите хотя бы куда нужно записать API KEY (с сайта recaptcha.com)
2) и нужно ли делать что-то чтобы действие "решить Google Captcha v.2" видело этот API KEY?.
Где это место в программе "в общих настройках программы нужно задать API-ключ сервиса"?
Спасибо

Могу настроить под заказ
По действию "решить google captcha v.2" пока инструкции нет, а расписывать примеры её использования - времени много займет

Спасибо. Извиняюсь за схожее сообщение (предыдущее долго не появлялось)
Как использовать "решить google captcha v.2" в рамках предложенного в видео способа POST запросов? Т.е. как к тому что в этом видео рассказано добавить решение капчи.
Сейчас я использую "открыть страницу в Internet Explorer", при помощи чего авторизуюсь, но парсер работает очень медленно, плюс по непонятным причинам он пропускает порой страниц по 20 - 50 (при том что у меня всего 300 страниц, с которых надо собрать ссылки)

Здравствуйте. Нужно перед сбором данных с сайта http://www.archello.com на нем один раз авторизоваться, но во время авторизации каждый раз нужно вводить гугл капчу.
1) способом указаным в видео не получается выполнить авторизацию. Возможно ли при помощи POST запросов авторизоваться в нашем случае ?
2) если же нужно использовать действие "решить google captcha v.2", как его использовать в рамках предложенного в видео способа запросов?
Сейчас я использую "открыть страницу в Internet Explorer", при помощи чего авторизуюсь, но парсер работает очень медленно, плюс по непонятным причинам он пропускает порой страниц по 20 - 50 (при том что у меня всего 300 страниц, с которых надо собрать ссылки)

1) нет, без ввода капчи никак
2) нет (да и зачем? специально для этого же действие сделано)
3) без браузера и без ввода капчи - скорее всего, никак. по крайней мере, я не в курсе, как сделать

Здравствуйте. Что делать если при авторизации на сайте каждый раз нужно вводить гугловскую рекапчу. Авторизоваться нужно только один раз в начале.
1) Решить это способами указыными в этом видео не получится?
2) Возможно ли обойтись без действия "Решить Google Captcha v.2"?
3) Каким образом авторизоваться на сайте в этом случае (если не использовать действия "открыть страницу в Internet Explorer"?

Добрый день! Ответил Вам на почту.

Сколько стоит парсинг Я.Маркета. По категории смартфонов.
Определяем 10.000 топовых смартов и угоняем их цены, описание, фотки. Далее нужна будет актуализация цен на товары, которые парсер сграббил. Я так понимаю, что маркет, это не самая простая задача для парсинга, будет ли там все сделано под ключ, с обходом капч и и т.д

Можем настроить под заказ, - обращайтесь

Добрый день, не получается авторизироватся на сайте https://www.ebay.com/
Спасибо

Карен, там всё просто
Действие «Авторизация на сайте»
Параметр «URL для запроса»: http://winner-bagz.ru/ajax/dmp-auth.php
Параметр «Передаваемые данные»: mode=auth&login=ВАШ_EMAIL&password=ВАШ_ПАРОЛЬ&rememberme=Y

Хорошее видео!
Но пытался авторизоваться на http://winner-bagz.ru/
ни чего не получилось...хотя сайт простейший. что делаю не так? не пойму

Отправить комментарий

Содержание этого поля является приватным и не предназначено к показу.
CAPTCHA
Подтвердите, пожалуйста, что вы - человек:
  _____   _____   _   _  _      ___     ___  
|___ / |___ / (_) | || | ( _ ) / _ \
|_ \ |_ \ | | | || |_ / _ \ | (_) |
___) | ___) | | | |__ _| | (_) | \__, |
|____/ |____/ |_| |_| \___/ /_/
Введите код, изображенный в стиле ASCII-арт.