Основы настройки программы «Парсер сайтов»

Самостоятельная настройка программы «Парсер сайтов». Основы.

В сегодняшнем уроке мы на практическом примере, научимся автоматически выгружать с сайта интересующие нас данные при помощи программы «Парсер сайтов».

Предположим, мы хотим себе купить автомобиль с пробегом, и поэтому каждый день просматриваем сайт дилерской компании в ожидании интересной цены.

Задача: выгружать цены без захода на сайт и просмотра всех страничек.

Для того чтобы настроить выгрузку данных в «касание одной кнопкой», мы заходим в панель надстройки (как установить надстройку смотри http://excelvba.ru/faq) и в разделе «Дополнительно» выбираем пункт «Добавить новый парсер».

В открывшемся окне в графе «Создать (и настроить) новый парсер» вводим произвольное название (пусть это будет «Автомобили с пробегом») и нажимаем кнопку «Создать».

Открывается следующее окно:

Нас пока что не интересует выгрузка никаких файлов с сайта, мы просто хотим видеть на листе Excel цены, поэтому мы ставим галочку «Выполнять подстановку данных в таблицу Excel», а вторую оставляем пустой. Обратите внимание, что наверху появляется дополнительная вкладка «Вывод на лист».

Сохраняем и закрываем окно настроек и наполняем нашу книгу Excel некоторыми данными. Предположим, нас интересуют недорогие автомобили Toyota. Создадим простую табличку, в которой перечислим интересующие нас модели.

Заходим на интересующий нас сайт (пускай это будет http://www.tradein-bc.ru/)

И далее начинается самая интересная и творческая работа. Мы анализируем, каким образом хранится информация на сайте. Щелкаем по ссылкам, в поисках интересующих нас машин.

Приходим к выводу, что на данном сайте достаточно простая структура: предложения по автомобилям сгруппированы на страницах вида:
http://www.tradein-bc.ru/{Марка}/{Модель}/

Вот, например, страница с Auris’ами:

Отлично! Заходим в настройки парсера (кнопка «Настроить» на панели надстроек), переходим на вкладку «Исходные данные»:

Мы помним, что у нас интересующие модели находятся в столбце «B», поэтому выбираем соответствующий столбец:

«Начиная со строки 2» - настройка по умолчанию нам подходит, поскольку в первой строке у нас названия столбцов.
Есть и другие способы получения исходных данных, например, из списка фиксированных значений, в этом случае, настройки бы выглядели вот так:

Далее, как нам заставить парсер переходить на нужные нам страницы, и извлекать оттуда нужные данные? Это делается в том же окне, в разделе «Список действий»

Мы помним внешний вид ссылок
http://www.tradein-bc.ru/{Марка}/{Модель}/

Соответственно, первым делом мы должны преобразовать наши данные из столбца «B» в гиперссылки, для этого нажимаем на кнопку «Редактировать список действий …»
 

В появившемся окне, в верхнем правом углу нажимаем кнопку «Добавить действие»

Как видите список действий очень обширен. Возможности программы просто гигантские.

Но для новичков здесь все упрощено - выбираем категорию «Избранные (наиболее полезные)» и первое действие по списку: «Добавить текст до или после». Нажимаем «Выбрать действие».

Это возвращает нас в предыдущее окно, где по центру появляются дополнительные параметры:

Как вы уже догадались, нам надо ввести то, что стоит до и после названия модели в гиперссылке. Не забываем, про http://

Будем считать, ссылки у нас уже готовы, теперь нам надо загрузить страницы по этим ссылкам. Добавляем действие (по уже описанному алгоритму) «Загрузить ИСХОДНЫЙ КОД веб-страницы».
Каждое действие имеет мини-подсказку, которая появляется, когда удерживаешь нажатой кнопку «Показать описание». Например:

Как мы видим из подсказки URL берется из предыдущего действия, поэтому в этих настройках мы ничего не меняем.
Давайте проверим, как у нас все получается, а заодно получим нужные данные для дальнейших шагов. Для этого в нижнем окошке введем значение «Auris» и нажмем «Тестировать»

Результат выполнения следующий:

Как видите, «Парсер сайтов» загрузил некий текст длиной почти 40 тысяч символов. Это как раз и есть исходный код нужной нам страницы. Просматривать его в маленьком окошке будет неудобно, поэтому нажимаем, например, «Открыть в Блокноте» .
Далее нам нужно найти в этом файле, где начинается код, посвященный собственно машинам, и каким образом машины отделяются друг от друга. Листаем код и находим интересующие нас строки:

Анализируем ео и понимаем, что каждая отдельная машина заключена в блок <div class=”item”>. Тут же чуть ниже понимаем, что цена заключена в блок <div class=”price”>. Запомним это.

Отступление: теги <div> </div> используются веб-программистами и верстальщиками для форматирования определенных повторяющихся кусков текста, поэтому на многих современных сайтах вы такие блоки сможете найти.

Добавляем в инструкции парсеру 2 действия «Поиск тегов по имени класса», в одном указываем название класса «item», в другом «price».

Второе аналогичное действие:

(в принципе, мы могли бы сразу искать класс price, но для облегчения понимания, будем искать оба класса)

Далее из кода нам надо выделить саму цену автомобиля. Как видно в коде, она заключена между тегами жирного шрифта <B></B>. Добавляем действие «Взять блоки текста между …», задаем параметры.

Так как у нас несколько автомобилей может продаваться, то и значений цены может быть несколько. То есть мы сформируем массив данных (если не знаете, что это такое, воспользуйтесь поиском), с которым будем в дальнейшем работать. Для этого применяется действие "Передать массив целиком в следующее действие". Итого у нас получилось 6 действий:

Сохраняем список действий, переходим на вкладку «Вывод на лист».

Пока что она пустая. Давайте добавим столбец для подстановки данных. Как вы помните в нашей таблице это столбец 3 «C». Щелчком на словах «Название столбца» мы можем вставить название из первой строки таблицы Excel.

Вы помните, что у нас получился массив данных. Теперь нам надо его разбить на отдельные элементы. Добавляем действие «Разбить текстовую строку на массив»

И на вкладке дополнительно, ставим галочку «Выводить массив значений в отдельные столбцы»

Все сохраняем и закрываем. Нажимаем на панели надстройки «Начать загрузку данных».

Почти мгновенно выводится результат. На экране мы видим все ценовые предложения по определенным моделям, что и требовалось получить. В дальнейшем мы можем работать с этой таблицей или настроить выгрузку дополнительных данных. Также можно ввести всевозможные ограничения – например, искать машины только черного цвета или только с АКПП.

В следующих уроках мы разберем другие настройки программы «Парсер сайтов» и научимся выполнять более сложные действия.

PS Во вложениях Вы можете найти книгу Эксель и настройки парсера из данной статьи. Чтобы узнать, как добавить новый парсер к файлу, смотри http://excelvba.ru/programmes/Parser/AddExistingParser