- Как заказать парсер сайта
- Видеоинструкции по настройке
- Возможности программы-парсера
- Действия в парсере
- Раздел «Работа с HTML»
- Раздел «Текстовые»
- Раздел «Перекодировка и форматирование»
- Раздел «Проверка и сравнение»
- Раздел «Разное»
- Раздел «Функции массива»
- Раздел «Числовые»
- Раздел «Работа с переменными»
- Раздел «Листы и книги Excel»
- Раздел «Обработка файлов из папки»
- Раздел «HTTP запрос»
- Раздел «Internet Explorer»
- Раздел «Управление парсером»
- Раздел «Веб-запросы, XML, макросы VBA»
- Недокументированные действия
- Работа с браузером (Chrome и т.п.)
- Отключенные (устаревшие) действия
- Интерфейс программы
- Использование браузера
- Ошибки при парсинге
- Дополнительные возможности
- Зарезервированные переменные и подстановочные коды парсера
- Кеширование страниц в парсере
- Переменные в парсере
- Обновление строк в существующей таблице при парсинге
- Переключение между наборами настроек в парсере
- Запуск мониторинга цен по расписанию
- Запуск парсера по расписанию
- Программный запуск парсера из внешнего макроса
- Доп. опции парсера (файл parser.ini)
- Наборы действий
- Прочие статьи по настройке парсера
- Коды останова парсера, и перехода на другое действие
- Плагины для парсера
- Запуск нескольких парсеров по очереди
- Обработка капчи (Captcha) в парсере
- Прокси серверы
Подключение прокси в парсере
- Уведомления парсера по прокси-серверам
Подключение прокси в парсере |
В этой инструкции описывается, как настроить использование мобильных прокси на примере сервиса LTE space в надстройке «Парсер сайтов»
1Регистрируемся на сайте LTE Space,
и в разделе «Купить прокси» выбираем Тип канала = Multiport.
Стоимость на момент написания статьи (2019 год) составляет 9 долларов в месяц:
Выбираем тип канала MULTIPORT
- Каждое новое соединение с нового IP
- Возможность выбрать нужное количество потоков (нам хватит 1 потока)
- Не подходит для работы в браузере (нам это и не нужно)
Выбираем Тип прокси = HTTPS (это важно, другой не подойдёт)
2После пополнения баланса на сайте, и покупки прокси, в разделе «Мои прокси» появятся данные купленного прокси, которые мы будем вставлять в настройки парсера:
3Из данных прокси сервера формируем строку вида login:password@IP:Port
В нашем случае получится строка k561ne777:kcusatahw@95.78.127.154:12345
Её мы и вставим в настройки парсера на вкладке Прокси серверы:
4Запускаем парсер.
Если вы всё сделали правильно, парсер теперь будет обращаться к сайту через прокси, и после каждых 20 запросов (этот параметр вы можете выбрать на своё усмотрение) обращение к сайту будет идти с нового IP адреса.
- Добавить комментарий
- 6872 просмотра
Комментарии
А можна зробите перепідключеня на 3g модемі при перепідключені ip міняється
Техподдержка по поводу скорости работы пишет следущее:
"У вас 1 потоковый прокси, вы сделали парсинг 1 страницы, затем делаете другой
Проблема что 1 страница висит активной порядка 30-40 секунд, если её принудительно не закрыть
соответсвенно вы делаете сразу парсинг 2 страницы, и срабатывает стоп на нашем сервере, превышение потоков
и дисконектит вас от порта на 30 секунд чтобы все действующие соединения разорвались. Нужно закрывать соединение после себя, а у вас оно висит открытым. С 1 потоком он всегда будет превышать потоки.
Что порекомендуете?
То есть дело именно в самом сервисе? Макрос позволяет при использовании прокси работать быстрее? Реально найти прокси, который позволит загружать не 8 страниц в минуту, а хотя бы 30?
Может стоит написать в техподдрежку? Я не очень понимаю, что является хорошей скоростью, а что нет.
Парсер настраивал Антон.
Вы можете использовать абсолютно любые HTTPS прокси
(сервис LTE Space в статье описан просто в качестве примера)
Игорь, добрый вечер!
Сайт, с которого мы собираем данные включает капчу примерно через 150-200 запросов. Настроили через прокси LTE Space. Скорость очень низкая — 9 запросов в минуту. Всё сделали по инструкции. Что-то можно сделать, чтобы быстрее собиралось?