Поиск в интернете

Парсер сайтов и файлов (парсинг данных с сайта в Excel)

Структура программы «Парсер сайтов»

Надстройка Parser для Excel — простое и удобное решение для парсинга любых сайтов (интернет-магазинов, соцсетей, площадок объявлений) с выводом данных в таблицу Excel (формата XLS* или CSV), а также скачивания файлов.

Пример программного управления надстройкой YandexMarket для поиска цен по разным регионам

В этой статье приведён пример кода для программного управления моими универсальными надстройками,
на примере надстройки для поиска цен в Яндекс.маркет

Sub FindPricesForAllSheets()
    On Error Resume Next: Err.Clear
    Const ADDIN_NAME$ = "YandexMarket"        ' задаем здесь кодовое имя надстройки

    Dim AddinFilename$, AddinPath$, msg$
    ' проверяем, запущена ли надстройка, пытаясь получить имя файла надстройки

Поиск Вконтакте: программа поиска по новостям, с выводом результатов в Excel

Результаты поиска в соц.сети Вконтакте (vk.com) по новостям (вывод в таблицу Excel)

Программа выполняет поиск заданного текста в социальной сети Вконтакте (vk.com)

 

Исходными данными являются:

  • поисковый запрос (произвольная текстовая строка)
  • дата, до достижения которой нас интересуют найденные сообщения

 

Получение координат по адресам, через сервис Google API

Поиск координат по адресам в Google Maps

Программа позволяет загрузить координаты для списка адресов в таблице Excel

Исходными данными выступает столбец с адресами объектов (город, улица, номер дома)

Программа выполняет запрос к сервису geocode через Google API,
и получает информацию об объекте в формате XML

(полный адрес с индексом, правильное название района, города и улицы, координаты объекта — широту и долготу),
и выводит результаты (в данном случае - только координаты: LON и LAT) в таблицу Excel (в столбцы справа)

Программа для обработки списков телефонных номеров

Панель инструментов программы обработки телефонных номеров

Программа предназначена для обработки объявлений о продаже недвижимости.

 

Основная задача программы - обработка списка телефоннных номеров из объявлений, с целью фильтрации этого списка.

Это позволяет выделить объявления от частных лиц,
удалив из общего списка предложения от агенств недвижимости.

 

Программа умеет:

  • разносить номера из ячеек по разным столбцам или строкам таблицы Excel

Загрузка информации об организациях с сайта bus.gov.ru

Скриншот программы загрузки данных с официального сайта для размещения информации о государственных (муниципальных) учреждениях

Программа выполняет поиск организаций по ИНН на официальном сайте для размещения информации о государственных (муниципальных) учреждениях bus.gov.ru, и заносит данные о найденных организациях в таблицу Excel.

Смотрите также парсер сайта bus.gov.ru,
который создаёт в Excel таблицу со списком организаций с этого сайта по выбранному региону и сферам деятельности.

Макрос для выборки данных с сайта rabota.ru

Исходные данные для таблицы на сайте Rabota.ru

Программа предназначена для импорта данных о соискателях с сайта rabota.ru

В качестве исходных данных для макроса, используется ссылка на результат поиска на сайте rabota.ru
(которую можно получить, забив искомый текст в строке поиска сайта, и скопировав URL страницы результатов поиска из адресной строки браузера).

Макрос для выборки данных и картинок с yandex.ru

Программа поиска названий и изображений товара по артикулу

Программа предназначена для вывода описания и изображений найденных в yandex.ru по заданному артиклю

 

На первом этапе работы макроса, производится поиск артикула, либо другого ключевого слова, в поисковой системе yandex.ru

(процесс поиска скрыт от пользователя, скриншот результатов поиска

Полученные результаты поиска выводятся в виде списка на форме.

Пользователь из этого списка выбирает наиболее подходящий для себя вариант описания товара, после чего выбранный вариант вставляется в таблицу:

Наружная реклама. Адресная программа. Рекламные щиты

Скриншот листа коммерческого предложения - описание, фото и карта рекламной конструкции

Программа предназначена для формирования коммерческих предложений по наружной рекламе.

В качестве исходных данных выступает файл Excel со списком рекламных объектов.

Список объектов должен содержать следующую информацию (в отдельных столбцах):

  • адрес рекламной конструкции (щита)
  • сторона рекламного щита или перетяжки (А, Б, В, и т.п.)
  • ссылки на фото и карту рекламной конструкции
    (поддерживаются ссылки, не только ведущие на файлы-изображения, но и ссылки на страницу рекламного щита, где размещена информация о конструкции с фотографией и картой)

Пример исходной таблицы: (нажмите для увеличения)

Исходная таблица со списком рекламных щитов, и ссылками на фото и карты

Для каждой строки исходной таблицы, программа создаёт в том же файле отдельный лист,
на который помещает информацию о рекламном щите (перетяжке), а также фотографию и карту объекта.

Фотографии загружаются из интернета, по заданным ссылкам в столбце (столбцах) «Фото / карта»,
и размещаются на создаваемых листах (слева - фото объекта, справа - его карта)

 

Самая сложная часть алгоритма программы - получение ссылок на изображения (фото и карты), имея в наличии только ссылку на страницу рекламной конструкции
(а, зачастую, имея только адрес сайта, и название конструкции)

Определение IP адреса и страны по доменному имени

Макрос определения страны и IP адреса по доменному имени

Макрос предназначен для вывода IP адресов и названий стран, на основании столбца с доменными именами.

В прикреплённом файле - 2 способа реализации:

1) по доменному имени определяется IP адрес (посредством команды PING - выполнения ICMP запроса),
а затем определяется страна (по IP адресу), с использованием сервиса smart-ip.net

2) используется только сервис smart-ip.net
Отправляется запрос на указанный сервис, и из полученных данных вычленяются IP адрес и название страны.