Скачивание базы организаций с контактными данными с сайта bus.gov.ru

Задача: 

Сформировать таблицу со списком организаций с сайта bus.gov.ru по выбранному региону и сферам деятельности.
Необходимые данные: Категория, Регион, Название учреждения, Адрес, Телефон, Должность руководителя, ФИО руководителя, Email (адрес электронной почты), ИНН, КПП, Коды ОКВЭД, Виды деятельности по ОКВЭД, Вид учреждения, Тип учреждения.

Описание: 

bus.gov.ru — это официальный сайт для размещения информации о государственных (муниципальных) учреждениях
Потому, парсинг сайта bus.gov.ru пользуется популярностью у желающих выполнить рассылку писем по этим организациям.

При запуске парсера выводится диалоговое окно, где можно выбрать регион (или указать опцию «все регионы»), а также задать необходимые сферы деятельности (можно выбрать один или несколько пунктов):

 

Загрузка данных производится в 2 этапа:

  1. сначала запускается парсер «1 - ссылки», который заполняет только первые 6 столбцов


     

  2. после этого запускается парсер «2 - данные», который уже прогружает карточки организаций, и выводит основную информацию


     

Для получения контактных данных (email и т.д.) парсер выполняет дополнительные запросы к серверу bus.gov.ru (по каждой строке данных), что увеличивает время работы парсера.
Если вам нужен только список организаций,  то парсер будет работать в разы быстрее, т.к. вы запускаете только первый парсер.

ВНИМАНИЕ: на сайте есть ограничения. После 700 запросов сайт запрещает доступ к данным на некоторое время.
Первый парсер останавливать нельзя (который заполняет первые 6 столбцов)
Второй парсер можно останавливать, — он продолжит работу с места остановки (вы его запустите снова через 1-2 часа, когда сайт снимет ограничение на доступ с вашего IP адреса)

 

Ограничения пробной версии: вывод данных ограничен 5 регионами / 5 районами каждого региона / 5 организациями по району

Стоимость этого парсера без перенастройки («как есть»): 2500 рублей
Стоимость этого парсера c перенастройкой (под ваши нужды): от 3000 рублей
(плюс стоимость программы-парсера 2700 рублей, если вы ранее не покупали надстройку «Parser»)

Комментарии

Виктор, так вот в этой статье как раз и прикреплён пример настроек с таким далоговым окном выбора
Т.е. ответ - да, можно.

Сообщите мене пожалуйста существует ли возможность создания настройки парсера сайтов, при запуске которого выводится диалоговое окно, где можно выбрать регион,а также выбрать один или несколько населённых пунктов региона?

Ответил в скайпе

1. Сколько стоит полная версия парсера ?
2. Можно ли увеличить количество скачиваемой информации в настройках ? (интересует дополнительно: веб-сайт, ИНН, краткое название, тип учреждения,вид деятельности по оквэд)
А может у вас уже есть готовый парсер, который скачивает полную контактно-реквизитную информацию ?

Отправить комментарий

Содержание этого поля является приватным и не предназначено к показу.
CAPTCHA
Подтвердите, пожалуйста, что вы - человек:
   ___           _   _         _       _____ 
( _ ) ___ | | | | ___ | |__ |___ |
/ _ \ / __| | | | | / __| | '_ \ / /
| (_) | | (__ | |_| | \__ \ | |_) | / /
\___/ \___| \___/ |___/ |_.__/ /_/
Введите код, изображенный в стиле ASCII-арт.