Скачивание базы организаций с контактными данными с сайта bus.gov.ru

Задача: 

Сформировать таблицу со списком организаций с сайта bus.gov.ru по выбранному региону и сферам деятельности.
Необходимые данные: Категория, Регион, Название учреждения, Адрес, Телефон, Должность руководителя, ФИО руководителя, Email (адрес электронной почты), ИНН, КПП, Коды ОКВЭД, Виды деятельности по ОКВЭД, Вид учреждения, Тип учреждения.

Описание: 

bus.gov.ru — это официальный сайт для размещения информации о государственных (муниципальных) учреждениях
Потому, парсинг сайта bus.gov.ru пользуется популярностью у желающих выполнить рассылку писем по этим организациям.

При запуске парсера выводится диалоговое окно, где можно выбрать регион (или указать опцию «все регионы»), а также задать необходимые сферы деятельности (можно выбрать один или несколько пунктов):

 

Загрузка данных производится в 2 этапа:

  1. сначала запускается парсер «1 - ссылки», который заполняет только первые 6 столбцов


     

  2. после этого запускается парсер «2 - данные», который уже прогружает карточки организаций, и выводит основную информацию


     

Для получения контактных данных (email и т.д.) парсер выполняет дополнительные запросы к серверу bus.gov.ru (по каждой строке данных), что увеличивает время работы парсера.
Если вам нужен только список организаций,  то парсер будет работать в разы быстрее, т.к. вы запускаете только первый парсер.

ВНИМАНИЕ: на сайте есть ограничения. После 700 запросов сайт запрещает доступ к данным на некоторое время.
Первый парсер останавливать нельзя (который заполняет первые 6 столбцов)
Второй парсер можно останавливать, — он продолжит работу с места остановки (вы его запустите снова через 1-2 часа, когда сайт снимет ограничение на доступ с вашего IP адреса)

 

PS: также имеется третий парсер, который запускается после первых двух (он не входит в стоимость, — если он нужен, то доплата 1000 руб к стоимости)

Он выводит в отдельные столбцы (начиная с 19 столбца) сведения по оценкам и отзывам, а также данные из раздела «Прочая информация»:

  • Суммарная оценка
  • 1 Открытость и доступность информации
  • 1.1 Соответствие информации законам РФ
  • 1.2 Наличие на сайте контактных данных
  • 1.3 Довольных открытостью, полнотой и доступностью информации
  • 2 Комфортность условий и времени
  • 2.1 Обеспечение комфортных условий
  • 2.3 Довольных комфортностью предоставления услуг
  • 3 Доступность для инвалидов
  • 3.1 Оборудование помещений для инвалидов
  • 3.2 Обеспечение доступности для инвалидов
  • 3.3 Довольных доступностью для инвалидов
  • 4 Удовлетворенность условиями оказания услуг
  • 4.1 Довольных вежливостью работников (первичный контакт и звонки)
  • 4.2 Довольных вежливостью работников (оказание услуги)
  • 4.3 Довольных вежливостью работников (которые на удалёнке)
  • 5 Доброжелательность и вежливость работников
  • 5.1 Готовы рекомендовать организацию
  • 5.2 Удовлетворенных орг. условиями предоставления услуг
  • 5.3 Удовлетворенных в целом условиями оказания услуг
  • Численность штата
  • Зарплата
  • Поступления в бюджет

 

Ограничения пробной версии: вывод данных ограничен 5 регионами / 5 районами каждого региона / 5 организациями по району

Стоимость этого парсера без перенастройки («как есть»): 2500 рублей
Стоимость этого парсера c перенастройкой (под ваши нужды): от 3000 рублей
(плюс стоимость программы-парсера 3300 рублей, если вы ранее не покупали надстройку «Parser»)

Комментарии

Виктор, так вот в этой статье как раз и прикреплён пример настроек с таким далоговым окном выбора
Т.е. ответ - да, можно.

Сообщите мене пожалуйста существует ли возможность создания настройки парсера сайтов, при запуске которого выводится диалоговое окно, где можно выбрать регион,а также выбрать один или несколько населённых пунктов региона?

Ответил в скайпе

1. Сколько стоит полная версия парсера ?
2. Можно ли увеличить количество скачиваемой информации в настройках ? (интересует дополнительно: веб-сайт, ИНН, краткое название, тип учреждения,вид деятельности по оквэд)
А может у вас уже есть готовый парсер, который скачивает полную контактно-реквизитную информацию ?

Отправить комментарий

Содержание этого поля является приватным и не предназначено к показу.
CAPTCHA
Подтвердите, пожалуйста, что вы - человек:
  _         _   ___           ____    __ 
| |__ (_) |_ _| ___ / ___| / _|
| '_ \ | | | | / __| | | | |_
| |_) | | | | | | (__ | |___ | _|
|_.__/ _/ | |___| \___| \____| |_|
|__/
Введите код, изображенный в стиле ASCII-арт.