Статья является примером использования программы «Парсер сайтов и файлов» для сбора данных с веб-страниц

Инструкция по добавлению файла настроек в программу

Парсер сайтов конкурентов — мониторинг цен на заданные товары

Задача: 

Отслеживать цены заданных товаров на нескольких сайтах конкурентов.
Выделить цветом цены, где у конкурентов цена ниже / выше заданной.

В первом столбце указаны названия товаров, в первой строке - названия конкурентов,
на пересечении строк и столбцов, - ссылки на страницы товаров.

Что нужно для заказа парсера для отслеживания / сравнения цен

Как работает мониторинг цен конкурентов + информация по стоимости

ВложениеРазмерЗагрузкиПоследняя загрузка
Файл Excel с исходными ссылками для тестирования парсера19.39 КБ0Ещё не загружался
Архив с настройками — извлечь всё в папку НАСТРОЙКИ ПАРСЕРОВ11.06 КБ0Ещё не загружался
Описание: 

Поскольку выполнять автоматический поиск товаров по названию на нескольких разных сайтах, - затея изначально неудачная,
в моём решении заказчик сам проставляет (один раз) ссылки на страницы товара в каждую ячейку

Поиск товара по названию на чужих сайтах, где тот же товар может быть записан иначе, может выдать какие угодно результаты, - либо ничего не будет найдено, либо найдётся один товар - не факт ещё что нужный, либо найдётся несколько товаров.
В этом варианте, в результатах может быть очень много ошибок, которых никакой настройкой не избежать.
Потому, самое простое и эффективное решение, - вручную проставить в ячейки прямые ссылки на страницы товаров (это позволит на 100% быть уверенным в качестве результата)

Для каждого из сайтов, парсер ищет соответствующий столбец на листе (по названию столбца в первой строке), и перебирает все ссылки в найденном столбце.
(таким образом, столбцы можно переставить в любом порядке, — на работе парсера это не скажется)

По каждой ссылке парсер загружает страницу с карточкой товара, ищет на ней цену (алгоритм поиска цены достаточно универсальный, учитывает множество нюансов),
и выводит результат обратно в ячейку с той же самой исходной гиперссылкой.
Можно в любой момент добавить или изменить в таблице любые ссылки, — при следующем запуске парсер обработает новые ссылки.

Если на странице цена не найдена, парсер выводит в ячейку значение ошибка

Для выделения цветом цен, используется штатная функция Excel — условное форматирование.

Помимо отдельных парсеров для каждого из сайтов, есть 2 спец. парсера
SELECTED SHOPS - запустит парсеры для выделенных столбцов
ALL SHOPS - запустит все парсеры (всех магазинов) по очереди

Как работает мониторинг цен конкурентов, и сколько стоит

Что нужно для заказа парсера для отслеживания / сравнения цен

 

Порядок работы с программой «Парсер сайтов»:

1) скачиваем на Рабочий стол (или в любую другую папку) программу отсюда
http://excelvba.ru/programmes/Parser

2) запускаем её двойным щелчком, - на ленте Excel на вкладке НАДСТРОЙКИ будет панель инструментов
Там же, где лежит файл программы, автоматом создастся папка «Настройки парсеров»
В эту папку «Настройки парсеров» извлеките файлы настроек из прикреплённого архива 

3) Чтобы программа увидела файлы настроек, в меню нажмите «Дополнительно» - «Обновить панель инструментов»
На панели инструментов появится выпадающий список с названиями парсеров

4) открываете прикрёплённый файл Excel (со ссылками),
выбираете из списка нужный парсер (например, ALL SHOPS, чтобы все ссылки сразу обработать),
и нажимаете рядом кнопку «Начать загрузку данных»

Комментарии

Да, есть, - к статье прикреплены файлы настроек парсеров и тестовый файл Excel, а над заголовком статьи есть ссылка на инструкцию, как добавить настройки в программу

Добрый день. Есть ли пример такой настройки?

Здравствуйте, Игорь
Многопоточность в парсере реализована (все ссылки с одного сайта можно прогрузить одним разом), в том числе её можно применить и для мониторинга цен (только надо полностью перенастраивать парсеры)
Но тут есть одна проблема, - когда на отслеживаемый сайт начнёт одновременно приходить по 100 и более запросов, сайту это может не понравиться (я пока не использовал на практике многопоточность для мониторинга, потому, не знаю, какой процент сайтов забанит за такой подход)

Добрый день.
Используем вашу надстройку для мониторинга цен, все работает хорошо, но уже становиться довольно много сайтов и ссылок, что занимает довольно много времени. Возможно ли запускать парсер многопоточно на несколько сайтов одновременно? Если нет, то можете ли добавить данную функцию.

Да, Марина, всё будет работать
(программа разберется, какую цену взять)
Ответил на почту

Добрый день
Подскажите.
Мне нужны цены с нескольких сайтов, причем на товар указано несколько цен - оптовая, старая (перечеркнуто) и новая, нужна именно новая. Будет ли работать надстройка?
Пробовала делать загрузку из интернета, но нет возможности выгрузить саму цену, только страница целиком ((

ЗДравствуйте, Дмитрий
Если в HTML разбираетесь - сможете по аналогии сами добавлять сайты
50 сайтов и 5000 строк - легко потянет.

Здравствуйте.
Подскажите пожалуйста если немного разбираюсь в программных языках, смогу ли я добавлять сайты самостоятельно?
Потянет ли Ваш парсер 50 сайтов и примерно 5000 товаров?

Уже. Просто интересны другие решения

Я настроил парсеры под сотни сайтов - и нигде не видел ежедневной смены ссылок на страницы товаров
(это надо с SEO совсем не дружить, чтобы такое сделать)

Если считаете, что это утопия, - ну, возьмите и сделайте решение лучше.

Это утопия. Есть компании у которых ссылки меняются еженедельно

Если поменялись ссылки (перестали работать) - надо их заменить новыми (работающими), и снова запустить парсер

Не увидел здесь, а что делать если ссылки поменялись?

По стоимости (а также, как это все работает, и что надо для заказа), написано здесь:
http://excelvba.ru/programmes/Parser/manuals/ComparePrices

Парсинг возможен для 99.9% сайтов
Открою вам секрет: ВСЕ САЙТЫ на html :)

Здравствуйте! Уточните стоимость на почту. Возможен ли парсинг, если сайты конкурентов на html к примеру и цены прописаны в ручную. Спасибо!

По стоимости, - всё написано в конце этой статьи:
http://excelvba.ru/programmes/Parser/manuals/ComparePrices

Добрый день,
Отпишите на почту стоимость данного парсера.
Спасибо!

Евгений, так в настройках парсера всё можно настроить как надо, сразу после действия «Загрузить исходный код веб-страницы»
Если сайт не ответил, - там будет пустая строка в результате.
Если цены нет, но сайт ответил, - там будет HTML код

Используйте действие «Проверка на выполнение условия», - сначала проверяете HTML код страницы на пустое значение,
а потом на присутствие тега с ценой.
Соответственно, можно настроить, чтобы выводились на лист разные значения.

Если сайт не успевает ответить, - можно в настройках на вкладке «Дополнительно» увеличить таймаут (время ожидания ответа сервера)

Добрый день!
Подскажите пожалуйста как можно сделать проверку (разграничение) когда на сайте нет цены и когда парсер не успел (сайт не ответил) получить данные. Получается, что в обоих случаях парсер дает н/д.

Купил сегодня у Вас парсер. Делаю настройку по типу парсер по сайтам конкурентов. Не получается сделать настройку по одному сайту, вот два примера http://toptul.in.ua/prof-instrument-toptul/toptul-gcai5101 и http://toptul.in.ua/prof-instrument-toptul/toptul-gcai8201 Получается сделать настройку только к одному типу страницы, а так чтоб два типа правильно обрабатывало не получается.
Подскажите как правильно прописать настройки (действия по обработке данных), чтоб у читывало два типа страниц?

Да, конечно можно. Парсеру нет разницы, ваш это сайт, или не ваш, - он с любого цены возьмёт.

Спасибо за ответ. Подскажите первая колонка - это наши цены, их можно тоже брать со своего сайта парсером по ссылке, а не вбивать вручную каждый раз, когда они меняются?

Здравствуйте, Алексей.
Видеоинструкции пока нет, - но в этой статье выложено всё необходимое (пример исходной таблицы Excel, и настройки парсера под несколько сайтов)
Если поймёте, как тут что настроено, - сможете сделать по аналогии.

Ну или мы можем настроить под заказ (для этой задачи, стоимость настройки примерно 500 руб за сайт, - если по готовым ссылкам на страницы товаров надо загружать цены, записывая их поверх ссылки)
Если же надо парсить сайты целиком, - то сложнее, там настройка от 1500 руб. (примеры настройки тоже опубликованы)

Добрый день! Хочу приобрести парсер для (Парсер сайтов конкурентов — мониторинг цен на заданные товары). Подскажите как с нуля разобраться на базе какого то примера, как настроить парсер имея изначально только программу Parser_v1149? Есть ли какая то пошаговая инструкция или видео, как сделать Парсер сайтов конкурентов, чтоб самому добавлять сайты и товары?

Здравствуйте
Да, конечно можно
Просто я не вижу смысла каждый раз загружать описания и картинки, - они же не меняются для конкретных товаров, в отличие от цены.
Я бы сделал это отдельным парсером.
Но, конечно, можно и в этот добавить (выделив на каждый сайт по 3 столбца вместо одного)

Отпишите на почту можно ли допилить функцию сбора фотографий и описания товаров в этот же парсер. чтобы на выходе получалась таблица не только с ценами но и с описаниями товаров а также с отдельной папкой с отсортированными фотографиями?

Отправить комментарий

Содержание этого поля является приватным и не предназначено к показу.
CAPTCHA
Подтвердите, пожалуйста, что вы - человек:
     _           __        __     _              _     
/ \ ____ \ \ / / / \ _ _ | |__
/ _ \ |_ / \ \ /\ / / / _ \ | | | | | '_ \
/ ___ \ / / \ V V / / ___ \ | |_| | | | | |
/_/ \_\ /___| \_/\_/ /_/ \_\ \__, | |_| |_|
|___/
Введите код, изображенный в стиле ASCII-арт.