Главная » Готовые решения » Программа «Парсер сайтов» » Каталог парсеров

Загрузка веб-страниц в несколько потоков (многопоточность в парсере сайтов)
  • https://ExcelVBA.ru/sites/default/files/parsers/tursportopt.png
Задача: 

Загрузить в Excel все товары с сайта туристических товаров.
Скачать все фото товаров, присвоив им новые имена.
Для ускорения процесса, парсинг должен идти в несколько потоков.

Описание: 

Алгоритм настройки парсера ничем особо не отличается от настройки под другие сайты,
но, в данном парсере, применена многопоточная загрузка (на 3 уровне исходных данных).

Парсер может использовать до 100-150 потоков, но в данной настройке количество потоков ограничено значением 15 (если сделать больше, - сайт вместо некоторых страниц выдает сообщение об ошибке)

Простой пример использования многопоточности можно посмотреть на вкладке «Дополнительно / Наборы действий» этого парсера.
Там есть набор действий TEST из 4 действий: первые 3 действия загрузают страницу раздела сайта, и находят на ней около 40 гиперссылок,
а четвёртое действие (многопоточная загрузка) за несколько секунд прогружает все эти 40 URL, и на выходе мы имеет массив из 40 исходных кодов веб-страниц.

  • 6435 просмотров

Комментарии

Гость, 17 Ноя 2019 - 23:02.#1

Не работает, нужно немножко подправить
Уровень 2, действие #3
ul - class - sm sm-clean - innerHTML 1

Отправить комментарий

Содержание этого поля является приватным и не предназначено к показу.
CAPTCHA
Подтвердите, пожалуйста, что вы - человек:
   ___            __  __   _  __          ____  
  / _ \    __ _  |  \/  | | |/ /   __ _  |  _ \ 
 | | | |  / _` | | |\/| | | ' /   / _` | | |_) |
 | |_| | | (_| | | |  | | | . \  | (_| | |  __/ 
  \__\_\  \__, | |_|  |_| |_|\_\  \__, | |_|    
             |_|                     |_|
Введите код, изображенный в стиле ASCII-арт.