Прокси серверы

Прокси сервер — это сервер-посредник, через который идёт запрос от вашего компьютера (программы-парсера) к сайту, откуда собирается информация.

От парсера идет запрос не напрямую на сайт, а на прокси-сервер, который соединяется с сайтом со своего IP адреса, и сайту не видно, кто реально запрашивает данные.

Прокси-серверы в парсере применяются для 4 основных целей:

  1. Избежание блокировки со стороны сайта, из-за большого количества запросов с одного IP адреса.
    После определенного числа запросов, происходит переключение на следующий прокси-сервер, и запросу к сайту таким образом идут с разных IP адресов, поэтому блокировка не успевает сработать.
     
  2. Обход нерешаемой / сложной / трудоёмкой капчи.
    Хотя парсер умеет решать капчу (Captcha) в автоматическом режиме, в некоторых случаях на это уходит слишком много времени. Учитывая, что капча обычно появляется не сразу, а только после нескольких обращений к сайту, самым простым способом решения проблемы является частая смена IP адреса на новый
     
  3. Обход ограничений доступа.
    Доступ к некоторым сайтам бывает ограничен законодательно (Роскомпозор старается «защитить» нас), или же некоторые сайты доступны только из определённой страны (некоторые сайты в США отображают данные только при входе на сайт с американских IP)
    Тут не стоит задачи регулярно менять IP адреса, а достаточно прописать лишь один прокси из той страны, откуда доступ к сайту разрешён.
     
  4. Скрыть своё присутствие на сайте.
    Например, вы выполняете мониторинг цен на сайтах, но не хотите, чтобы коллега или конкурент узнал о самом факте вашего наблюдения (хотя, ничего противозаконного в этом нет), или даже о факте сбора данных с его сайта в принципе.
    При использовании прокси можно добиться такого, что каждый запрос будет идти с нового IP адреса, и администратор сайта даже при анализе логов доступа вряд ли сообразит, что тут происходит.

 

Прокси бывают разные — читайте в отдельной инструкции про различные типы прокси-серверов, и какие лучше подойдут для вашей задачи.

В парсере настройки прокси задаются на вкладке Прокси серверы

Парсер может сам обновлять список прокси при необходимости

 

ИНСТРУКЦИЯ ПО ПОДКЛЮЧЕНИЮ ПРОКСИ В ПАРСЕРЕ