Прокси сервер — это сервер-посредник, через который идёт запрос от вашего компьютера (программы-парсера) к сайту, откуда собирается информация.
От парсера идет запрос не напрямую на сайт, а на прокси-сервер, который соединяется с сайтом со своего IP адреса, и сайту не видно, кто реально запрашивает данные.
Прокси-серверы в парсере применяются для 4 основных целей:
- Избежание блокировки со стороны сайта, из-за большого количества запросов с одного IP адреса.
После определенного числа запросов, происходит переключение на следующий прокси-сервер, и запросу к сайту таким образом идут с разных IP адресов, поэтому блокировка не успевает сработать.
- Обход нерешаемой / сложной / трудоёмкой капчи.
Хотя парсер умеет решать капчу (Captcha) в автоматическом режиме, в некоторых случаях на это уходит слишком много времени. Учитывая, что капча обычно появляется не сразу, а только после нескольких обращений к сайту, самым простым способом решения проблемы является частая смена IP адреса на новый
- Обход ограничений доступа.
Доступ к некоторым сайтам бывает ограничен законодательно (Роскомпозор старается «защитить» нас), или же некоторые сайты доступны только из определённой страны (некоторые сайты в США отображают данные только при входе на сайт с американских IP)
Тут не стоит задачи регулярно менять IP адреса, а достаточно прописать лишь один прокси из той страны, откуда доступ к сайту разрешён.
В этом случае можно купить прокси нужной страны (например, США или Украины), и прописать его в настройках парсера.
- Скрыть своё присутствие на сайте.
Например, вы выполняете мониторинг цен на сайтах, но не хотите, чтобы коллега или конкурент узнал о самом факте вашего наблюдения (хотя, ничего противозаконного в этом нет), или даже о факте сбора данных с его сайта в принципе.
При использовании прокси можно добиться такого, что каждый запрос будет идти с нового IP адреса, и администратор сайта даже при анализе логов доступа вряд ли сообразит, что тут происходит.
Прокси бывают разные — читайте в отдельной инструкции про различные типы прокси-серверов, и какие лучше подойдут для вашей задачи.
В парсере настройки прокси задаются на вкладке Прокси серверы
Парсер может сам обновлять список прокси при необходимости
ИНСТРУКЦИЯ ПО ПОДКЛЮЧЕНИЮ ПРОКСИ В ПАРСЕРЕ
