mail mail
Нужен макрос для Excel?
Сделайте заказ прямо сейчас!
Ищете готовое решение?
Выбирайте и покупайте!
У вас есть интернет-магазин?
Настроим парсер под любой сайт!

Статья является примером использования программы «Парсер сайтов и файлов» для сбора данных с веб-страниц

Инструкция по добавлению файла настроек в программу

Загрузка веб-страниц в несколько потоков (многопоточность в парсере сайтов)

Задача: 

Загрузить в Excel все товары с сайта туристических товаров.
Скачать все фото товаров, присвоив им новые имена.
Для ускорения процесса, парсинг должен идти в несколько потоков.

ВложениеРазмерЗагрузкиПоследняя загрузка
Настройки парсера с использованием многопоточности16.9 КБ47714 часов 4 минуты назад
Пример результата в таблице Excel112.26 КБ0Ещё не загружался
Описание: 

Алгоритм настройки парсера ничем особо не отличается от настройки под другие сайты,
но, в данном парсере, применена многопоточная загрузка (на 3 уровне исходных данных).

Парсер может использовать до 100-150 потоков, но в данной настройке количество потоков ограничено значением 15 (если сделать больше, - сайт вместо некоторых страниц выдает сообщение об ошибке)

Простой пример использования многопоточности можно посмотреть на вкладке «Дополнительно / Наборы действий» этого парсера.
Там есть набор действий TEST из 4 действий: первые 3 действия загрузают страницу раздела сайта, и находят на ней около 40 гиперссылок,
а четвёртое действие (многопоточная загрузка) за несколько секунд прогружает все эти 40 URL, и на выходе мы имеет массив из 40 исходных кодов веб-страниц.

Комментарии

Отправить комментарий

Содержание этого поля является приватным и не предназначено к показу.
CAPTCHA
Подтвердите, пожалуйста, что вы - человек:
  _   _   _____  _       _       _   _             
| \ | | |__ / | |__ | | | | | | _ __ ___
| \| | / / | '_ \ | | | | | | | '_ ` _ \
| |\ | / /_ | |_) | | |___ | |_| | | | | | | |
|_| \_| /____| |_.__/ |_____| \___/ |_| |_| |_|
Введите код, изображенный в стиле ASCII-арт.