Действие парсера «HTML: Многопоточная загрузка»

Параметры действия:

Количество потоков
Перезагрузка страниц при ошибках
HTML фильтры

Предназначение действия:

Загружает массив URL в несколько потоков. На выходе, - массив HTML кодов страниц.

Возвращаемое значение: массив загруженных страниц (HTML код)

Параметр «Количество потоков»

Тип параметра: произвольное числовое значение от 2 до 200

Значение по умолчанию: 20

Чем больше потоков — тем больше нагрузка на сайт, и не каждый сайт готов справиться с такой нагрузкой.
екоторые очень быстрые и стабильные сайты справляются отдавать данные и в 200 и даже в 500 потоков (одновременно по 200 и более запросов обрабатывать), но часто сайты начинают давать сбои уже при 40-50 потоках.
Всё зависит только от конкретного сайта: пробуйте увеличивать количество потоков, поставив второй параметр Перезагрузка страниц при ошибках = 0 - NoReload, и смотрите, будут ли ошибки (может появиться всплывающее уведомление: см. скриншот в конце статьи). Если ошибок нет, или их мало, то можно увеличить количество потоков. Когда определитесь с количеством потоков, при котором ошибок почти нет, выставьте второй параметр Перезагрузка страниц при ошибках = 3 - ReloadOnErrorAndTimeout для исправления ошибок загрузки.

Параметр «Перезагрузка страниц при ошибках»

Тип параметра: выбор из списка предопределенных значений

Допустимые значения параметра: 0 - NoReload; 1 - ReloadOnError; 2 - ReloadOnTimeout; 3 - ReloadOnErrorAndTimeout

Значение по умолчанию: 0 - NoReload

Значение этого параметра определяет, что будет делать программа, если какая-то из страниц не загрузится — если сервер выдаст ошибку, или не выдаст ответ в течение заданного времени (таймаут):

0 - NoReload: оставляет всё как есть (ошибка не исправляется)
1 - ReloadOnError: перезагружает страницу заново, если сервер вернул ошибку (с кодом 4xx или 5xx)
2 - ReloadOnTimeout: перезагружает страницу заново, если сервер не ответил за заданное время
3 - ReloadOnErrorAndTimeout: перезагружает страницу заново при любой ошибке или таймауте

Параметр «HTML фильтры»

Тип параметра: произвольное текстовое значение

Позволяет задать фильтр для результата, чтобы на выходе по каждой ссылке была не вся страница, а только часть её HTML кода.
Поскольку действие может загружать тысячи HTML страниц, а объём каждой страницы может быть велик (сотни кБ или несколько Мб), в памяти компьтера может скопиться огромный объем данных, что приведёт к торможению парсера и/или вылету Excel.
Если нам с веб-страницы нужен только небольшой кусок текста (например, DIV класса offer), а всё остальное содержимое страницы нас не интересует, то в этом параметре можно указать HTML фильтр div class=offer

Действие "HTML: Многопоточная загрузка" (далее Действие) предназначено для загрузки массива ссылок в несколько потоков с целью уменьшения времени загрузки.

Как изображено на рисунке, Действие одновременно загружает несколько страниц, а не по очереди, как в случае обычной загрузки.

Многопоточная загрузка работает не для всех сайтов. Если на сайте есть ограничение доступа при множественных запросах, то вы не получите нужный массив страниц. Скорее всего, вы получите несколько загруженных страниц, а остальные будут либо пустыми, либо с сообщениями об ограничении доступа. Более того, некоторые сайты могут заблокировать вам доступ на какое-то время. Используйте данное действие на свой страх и риск!

На входе Действие может принимать как массив ссылок, так и отдельную ссылку, но в последнем случае существенных отличий от применения действия "Загрузить страницу по ссылке" мы не получим.

Таким образом, в отличие от стандартной схемы настройки парсера, когда ссылку на каждую страницу мы передаем на следующий подуровень исходных действий, при применении Действия, его не надо переносить на следующий подуровень, оно должно находиться на том же уровне, на котором извлекается массив ссылок.

Пример использования:

Действие	Параметр	Значение	Результат
Загрузить ИСХОДНЫЙ КОД веб-страницы	URL	https://excelvba.ru/programmes/addins	Исходный код веб-страницы (длиной 26792 символа) <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html xmlns="http://www.w3.org/1999/xhtml" lang="ru" xml:lang="ru"> <head> <meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> <title>Универсальные надстройки для Excel \| Программы для Excel</title> <meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> ... </body> </html>
	Кодировка веб-страницы
	Загружать все страницы результатов
	Кеширование
HTML: Поиск тегов	Тип элемента	div	Часть HTML-кода веб-страницы (длиной 11202 символа) <ul> <li class="views-row views-row-1 views-row-odd views-row-first"> <div class="views-field-path"> <span class="field-content"><a href="/programmes/FillDocuments"> <div class="addin-item"> <div class="addin-left-block"> <h2 class="addin-title">Заполнение документов по шаблонам Word и Excel + рассылка почты</h2> <div class="addin-image"><img class="imagefield imagefield-field_logo" width="220" height="80" alt="" src="https://ExcelVBA.ru/sites/default/files/addin_logo/filldocuments.jpg?1521769852" /></div> </div> <div class="addin-right-block"> <div class="addin-description"><p>Надстройка FillDocuments очень удобна для быстрого создания по шаблонам договоров и приказов, заполнения актов и инструкций, печати писем и соглашений, распечатки протоколов, подстановки данных в шаблоны заявлений и доверенностей, и любой другой работы по созданию однотипных документов Word и Excel. Кроме того, программа формирует и рассылает письма, с прикреплением заполненных документов.</p></div> </div> </div> </a></span> </div> </li> <li class="views-row views-row-2 views-row-even"> <div class="views-field-path"> <span class="field-content"><a href="/programmes/Parser"> <div class="addin-item"> <div class="addin-left-block"> <h2 class="addin-title">Парсер любых сайтов и файлов, сбор данных с сайта в Excel</h2> <div class="addin-image"><img class="imagefield imagefield-field_logo" width="220" height="80" alt="" src="https://ExcelVBA.ru/sites/default/files/addin_logo/parser.jpg?1521769946" /></div> </div> <div class="addin-right-block"> <div class="addin-description"><p>Надстройка Parser — простое и удобное решение для парсинга любых сайтов (интернет-магазинов, соцсетей, площадок объявлений) с выводом данных в таблицу Excel, а также скачивания файлов.<br /> Особенность программы — очень гибкая настройка обработки полученных данных.<br /> В парсере сайтов поддерживается авторизация на сайтах, GET и POST запросы, работа с Cookies, многопоточность, распознавание Captcha, работа через браузер (IE), кеширование, парсинг файлов PDF / Word / XML / html, и многое другое.</p></div> </div> </div> </a></span> </div> </li> <li class="views-row views-row-3 views-row-odd"> <div class="views-field-path"> <span class="field-content"><a href="/programmes/PastePictures"> <div class="addin-item"> <div class="addin-left-block"> <h2 class="addin-title">Вставка фото в Excel из папки или по ссылкам</h2> <div class="addin-image"><img class="imagefield imagefield-field_logo" width="220" height="80" alt="" src="https://ExcelVBA.ru/sites/default/files/addin_logo/pastepictures.jpg?1521769869" /></div> </div> <div class="addin-right-block"> <div class="addin-description"><p>Надстройка PastePictures позволяет искать в выбранной папке изображения, основываясь на содержимом ячеек таблицы Excel, и производить вставку найденных изображений в соседние ячейки (или в примечания к этим ячейкам).<br /> Кроме того, надстройка умеет скачивать изображения по ссылкам, сохраняя загруженные изображения в заданной папке, и вставлять картинки в примечания к ячейкам.<br /> Возможен также поиск недостающих изображений в Google.</p></div> </div> </div> </a></span> </div> </li> <li class="views-row views-row-4 views-row-even"> <div class="views-field-path"> <span class="field-content"><a href="/programmes/Unification"> <div class="addin-item"> <div class="addin-left-block"> <h2 class="addin-title">«Прайс лист» - объединение и обработка прайс листов разных форматов</h2> <div class="addin-image"><img class="imagefield imagefield-field_logo" width="220" height="80" alt="" src="https://ExcelVBA.ru/sites/default/files/addin_logo/unification.jpg?1521769887" /></div> </div> <div class="addin-right-block"> <div class="addin-description"><p>Надстройка Unification для Excel позволяет легко автоматизировать обработку различных прайс-листов, и приведение их к единому нужному вам формату, одним нажатием кнопки.<br /> Программа отличается максимально гибкими настройками извлечения данных из прайсов, — даже из самых кривых по структуре прайс-листов, можно собрать необходимую информацию.<br /> Кроме того, надстройка может выполнять наценку на товар по различным правилам, обработку и фильтрацию данных, производить конвертацию валют, формировать категории по наименованиям товара, и многое другое.</p></div> </div> </div> </a></span> </div> </li> <li class="views-row views-row-5 views-row-odd"> <div class="views-field-path"> <span class="field-content"><a href="/programmes/Labels"> <div class="addin-item"> <div class="addin-left-block"> <h2 class="addin-title">Формирование и печать этикеток, наклеек, ценников и квитанций в Excel</h2> <div class="addin-image"><img class="imagefield imagefield-field_logo" width="220" height="80" alt="" src="https://ExcelVBA.ru/sites/default/files/addin_logo/labels.jpg?1521769964" /></div> </div> <div class="addin-right-block"> <div class="addin-description"><p>Надстройка Labels предназначена для создания и печати этикеток, наклеек, ценников и квитанций, на основании данных из таблицы Excel.<br /> При помощи этой программы вы можете распечатать ценники на товар, взяв данные из прайс-листа, сформировать этикетки и наклейки для заданных строк вашей таблицы, подготовить квитанции для оплаты услуг ЖКХ (счета за водоснабжение, канализацию, электроэнергию), и многое другое.<br /> Кроме того, программа может сформировать штрихкоды форматов EAN-13 и Code128 в заполненных этикетках.</p></div> </div> </div> </a></span> </div> </li> <li class="views-row views-row-6 views-row-even"> <div class="views-field-path"> <span class="field-content"><a href="/programmes/Lookup"> <div class="addin-item"> <div class="addin-left-block"> <h2 class="addin-title">Сравнение 2 таблиц Excel, и подстановка данных из одной в другую</h2> <div class="addin-image"><img class="imagefield imagefield-field_logo" width="220" height="80" alt="" src="https://ExcelVBA.ru/sites/default/files/addin_logo/lookup.jpg?1521769917" /></div> </div> <div class="addin-right-block"> <div class="addin-description"><p>Надстройка Lookup предназначена для сравнения двух таблиц Excel (или CSV), и подстановки значений для совпавших строк из одной таблицы в другую.<br /> Сравнение возможно как по одному столбцу, так и по нескольким (можно указать слова и символы, игнорируемые при сравнении)<br /> Совпавшие и отличающиеся строки в обеих таблицах помечаются разными цветами заливки.<br /> Кроме того, есть возможность скопировать недостающие строки в конец исходной таблицы (и тоже выделить из другим цветом)</p></div> </div> </div> </a></span> </div> </li> <li class="views-row views-row-7 views-row-odd"> <div class="views-field-path"> <span class="field-content"><a href="/programmes/BarcodeScanner"> <div class="addin-item"> <div class="addin-left-block"> <h2 class="addin-title">Ввод данных в таблицу Excel со сканера штрихкодов</h2> <div class="addin-image"><img class="imagefield imagefield-field_logo" width="220" height="80" alt="" src="https://ExcelVBA.ru/sites/default/files/addin_logo/barcode.jpg?1521769901" /></div> </div> <div class="addin-right-block"> <div class="addin-description"><p>Надстройка BarcodeScanner облегчает ввод данных со сканера штрихкодов в таблицу Excel.<br /> После сканирования очередного штрихкода, программа ищет в заданном столбце считанный штрихкод, и увеличивает (или уменьшает) количество товара в другом столбце.<br /> Если штрихкод не найден, штрихкод добавляется в новую строку.<br /> Данные по найденному в таблице штрихкоду можно отобразить на форме сканирования (для визуальной проверки)</p></div> </div> </div> </a></span> </div> </li> <li class="views-row views-row-8 views-row-even"> <div class="views-field-path"> <span class="field-content"><a href="/programmes/SearchText"> <div class="addin-item"> <div class="addin-left-block"> <h2 class="addin-title">Поиск данных на всех листах книги Excel</h2> <div class="addin-image"><img class="imagefield imagefield-field_logo" width="220" height="80" alt="" src="https://ExcelVBA.ru/sites/default/files/addin_logo/searchexcel.jpg?1521771549" /></div> </div> <div class="addin-right-block"> <div class="addin-description"><p>Надстройка SearchText служит для поиска заданного текста в книге Excel, с выводом результатов поиска на отдельный лист.<br /> Поиск выполняется по частичному совпадению искомого текста со значением проверяемых ячеек.<br /> Для каждой выведенной в результат строки, указывается имя листа, на котором эта строка была найдена.</p></div> </div> </div> </a></span> </div> </li> <li class="views-row views-row-9 views-row-odd views-row-last"> <div class="views-field-path"> <span class="field-content"><a href="/programmes/RenameFiles"> <div class="addin-item"> <div class="addin-left-block"> <h2 class="addin-title">Переименование и копирование файлов по списку в таблице</h2> <div class="addin-image"><img class="imagefield imagefield-field_logo" width="220" height="80" alt="" src="https://ExcelVBA.ru/sites/default/files/addin_logo/renamefiles.jpg?1521771584" /></div> </div> <div class="addin-right-block"> <div class="addin-description"><p>Надстройка RenameFiles предназначена для переименования файлов в заданной папке.<br /> В качестве исходных данных (исходные и конечные имена файлов) выступает таблица Excel<br /> В настройках программы задаётся, в каких столбцах таблицы Excel брать имена файлов</p></div> </div> </div> </a></span> </div> </li> </ul>
	Название проверяемого атрибута	class
	Значение проверяемого атрибута	item-list
	Тип результата / извлекаемый атрибут	innerHTML
HTML: Поиск тегов	Тип элемента	a	Массив из 9 значений: https://excelvba.ru/programmes/FillDocuments https://excelvba.ru/programmes/Parser https://excelvba.ru/programmes/PastePictures https://excelvba.ru/programmes/Unification https://excelvba.ru/programmes/Labels https://excelvba.ru/programmes/Lookup ... (ещё 3 значения)
	Название проверяемого атрибута
	Значение проверяемого атрибута
	Тип результата / извлекаемый атрибут	href_with_prefix
HTML: Многопоточная загрузка	Количество потоков	20	Массив из 9 значений: <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" ... </html> ... (ещё 8 значений)
	Кодировка веб-страниц
	HTML фильтры

Если вместо многопоточной загрузки в данном примере подставить "Загрузить страницу по ссылке", то результат будет тот же самый - массив из 39 страниц. Но время загрузки данного примера для многопоточного варианта: 10 секунд, а время для однопоточной загрузки - 37 секунд. Скорость работы увеличивается почти в 4 раза.

Действие имеет 3 параметра:

Количество потоков (по умолчанию - 20). Параметр подбирается опытным путем. Не рекомендуется ставить больше 150 потоков. Большее значение может дать как более быструю загрузку, так и большее количество ошибок. Кроме того, большое количество потоков может создать излишнюю нагрузку на ресурсы компьютера, что приведет к замедлению работы.
Кодировка веб-страницы. Кодировка подбирается автоматически, но есть возможность задать её принудительно.
HTML фильтры. Позволяет сразу брать нужный тег из загружаемой страницы, что приводит к уменьшению обрабатываемых и хранимых данных, как следствие, к возможному ускорению работы и снижению расходуемых ресурсов (но надо учитывать, что на поиск тега тоже уходит время, поэтому уменьшение общего времени или его увеличение будет зависеть от конкретного сайта).
Синтаксис: с указанием тега, атрибута и его значения, например: div class=main или с указанием только атрибута и его значения, например: id=main.

Во время работы Действия появляется дополнительный прогресс бар, который отображает информацию о многопоточной загрузке - какое количество ссылок загружается, во сколько потоков, какой прогресс действия (может отображаться с задержкой или же вообще прогресс не будет отображаться из-за большой загрузки компьютера).

Индикатор загрузки может быть трех цветов:

Зеленый - многопоточная загрузка идет в штатном режиме (что тем не менее не гарантирует полноты загруженных данных)
Красный - возникли ошибки при загрузке (можно попробовать уменьшить количество потоков)
Фиолетовый - часть страниц не загрузилась из-за остановки по тайм-ауту (в этом случае можно попробовать увеличить тайм-аут загрузки в настройках парсера)

Если необходимо получить URL загружаемой страницы, то при применении Действия специально для этого в HTML-код страницы добавляется тег <info>. Находится он или перед тегом </head>, или в случае, если применяется HTML фильтр, перед найденным тегом, т.е. в самом начале полученного кода.

При выводе на лист его можно найти при помощи действия HTML: Поиск тегов

Status в данном случае обозначает код состояния HTTP:

Код ответа 200: страница успешно загружена
Код ответа 404: страница не найдена (неверная ссылка)
Код ответа 403: нет доступа (возможно сайт заблокировал из-за частых запросов)
Код ответа 408: таумаут (сайт не ответил на заданное время)
Код ответа 400: ошибка загрузки страницы (сайт не ответил на запрос)

В случае появления ошибок при многопоточной загрузке, парсер выведет всплывающее уведомление об ошибке с информацией и советами:

Добавить комментарий
5174 просмотра

Надстройка «Парсер сайтов»: справка по программе