В этой инструкции описывается, как настроить использование мобильных прокси на примере сервиса LTE space в надстройке «Парсер сайтов»
1Регистрируемся на сайте LTE Space,
и в разделе «Купить прокси» выбираем Тип канала = Multiport.
Стоимость на момент написания статьи (2019 год) составляет 9 долларов в месяц:
Выбираем тип канала MULTIPORT
- Каждое новое соединение с нового IP
- Возможность выбрать нужное количество потоков (нам хватит 1 потока)
- Не подходит для работы в браузере (нам это и не нужно)
Выбираем Тип прокси = HTTPS (это важно, другой не подойдёт)
2После пополнения баланса на сайте, и покупки прокси, в разделе «Мои прокси» появятся данные купленного прокси, которые мы будем вставлять в настройки парсера:
3Из данных прокси сервера формируем строку вида login:password@IP:Port
В нашем случае получится строка k561ne777:kcusatahw@95.78.127.154:12345
Её мы и вставим в настройки парсера на вкладке Прокси серверы:
4Запускаем парсер.
Если вы всё сделали правильно, парсер теперь будет обращаться к сайту через прокси, и после каждых 20 запросов (этот параметр вы можете выбрать на своё усмотрение) обращение к сайту будет идти с нового IP адреса.
Комментарии
А можна зробите перепідключеня на 3g модемі при перепідключені ip міняється
Техподдержка по поводу скорости работы пишет следущее:
"У вас 1 потоковый прокси, вы сделали парсинг 1 страницы, затем делаете другой
Проблема что 1 страница висит активной порядка 30-40 секунд, если её принудительно не закрыть
соответсвенно вы делаете сразу парсинг 2 страницы, и срабатывает стоп на нашем сервере, превышение потоков
и дисконектит вас от порта на 30 секунд чтобы все действующие соединения разорвались. Нужно закрывать соединение после себя, а у вас оно висит открытым. С 1 потоком он всегда будет превышать потоки.
Что порекомендуете?
То есть дело именно в самом сервисе? Макрос позволяет при использовании прокси работать быстрее? Реально найти прокси, который позволит загружать не 8 страниц в минуту, а хотя бы 30?
Может стоит написать в техподдрежку? Я не очень понимаю, что является хорошей скоростью, а что нет.
Парсер настраивал Антон.
Вы можете использовать абсолютно любые HTTPS прокси
(сервис LTE Space в статье описан просто в качестве примера)
Игорь, добрый вечер!
Сайт, с которого мы собираем данные включает капчу примерно через 150-200 запросов. Настроили через прокси LTE Space. Скорость очень низкая — 9 запросов в минуту. Всё сделали по инструкции. Что-то можно сделать, чтобы быстрее собиралось?