Действие парсера «HTML: Многопоточная загрузка»

Действие "HTML: Многопоточная загрузка" (далее Действие) предназначено для загрузки массива ссылок в несколько потоков с целью уменьшения времени загрузки.

Как изображено на рисунке, Действие одновременно загружает несколько страниц, а не по очереди, как в случае обычной загрузки.

Многопоточная загрузка работает не для всех сайтов. Если на сайте есть ограничение доступа при множественных запросах, то вы не получите нужный массив страниц. Скорее всего, вы получите несколько загруженных страниц, а остальные будут либо пустыми, либо с сообщениями об ограничении доступа. Более того, некоторые сайты могут заблокировать вам доступ на какое-то время или даже навсегда. Используйте данное действие на свой страх и риск!

На входе Действие может принимать как массив ссылок, так и отдельную ссылку, но в последнем случае существенных отличий от применения действия "Загрузить ИСХОДНЫЙ КОД веб-страницы" мы не получим.

Таким образом, в отличие от стандартной схемы настройки парсера, когда ссылку на каждую страницу мы передаем на следующий подуровень исходных действий, при применении Действия, его не надо переносить на следующий подуровень, оно должно находиться на том же уровне, на котором извлекается массив ссылок.

Пример использования:

Действие	Параметр	Значение	Результат
Загрузить ИСХОДНЫЙ КОД веб-страницы	URL	https://excelvba.ru/programmes/addins	Исходный код веб-страницы (длиной 26792 символа) <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html xmlns="http://www.w3.org/1999/xhtml" lang="ru" xml:lang="ru"> <head> <meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> <title>Универсальные надстройки для Excel \| Программы для Excel</title> <meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> ... </body> </html>
	Кодировка веб-страницы
	Загружать все страницы результатов
	Кеширование
HTML: Поиск тегов	Тип элемента	div	Часть HTML-кода веб-страницы (длиной 11202 символа) <ul> <li class="views-row views-row-1 views-row-odd views-row-first"> <div class="views-field-path"> <span class="field-content"><a href="/programmes/FillDocuments"> <div class="addin-item"> <div class="addin-left-block"> <h2 class="addin-title">Заполнение документов по шаблонам Word и Excel + рассылка почты</h2> <div class="addin-image"><img class="imagefield imagefield-field_logo" width="220" height="80" alt="" src="https://ExcelVBA.ru/sites/default/files/addin_logo/filldocuments.jpg?1521769852" /></div> </div> <div class="addin-right-block"> <div class="addin-description"><p>Надстройка FillDocuments очень удобна для быстрого создания по шаблонам договоров и приказов, заполнения актов и инструкций, печати писем и соглашений, распечатки протоколов, подстановки данных в шаблоны заявлений и доверенностей, и любой другой работы по созданию однотипных документов Word и Excel. Кроме того, программа формирует и рассылает письма, с прикреплением заполненных документов.</p></div> </div> </div> </a></span> </div> </li> <li class="views-row views-row-2 views-row-even"> <div class="views-field-path"> <span class="field-content"><a href="/programmes/Parser"> <div class="addin-item"> <div class="addin-left-block"> <h2 class="addin-title">Парсер любых сайтов и файлов, сбор данных с сайта в Excel</h2> <div class="addin-image"><img class="imagefield imagefield-field_logo" width="220" height="80" alt="" src="https://ExcelVBA.ru/sites/default/files/addin_logo/parser.jpg?1521769946" /></div> </div> <div class="addin-right-block"> <div class="addin-description"><p>Надстройка Parser — простое и удобное решение для парсинга любых сайтов (интернет-магазинов, соцсетей, площадок объявлений) с выводом данных в таблицу Excel, а также скачивания файлов.<br /> Особенность программы — очень гибкая настройка обработки полученных данных.<br /> В парсере сайтов поддерживается авторизация на сайтах, GET и POST запросы, работа с Cookies, многопоточность, распознавание Captcha, работа через браузер (IE), кеширование, парсинг файлов PDF / Word / XML / html, и многое другое.</p></div> </div> </div> </a></span> </div> </li> <li class="views-row views-row-3 views-row-odd"> <div class="views-field-path"> <span class="field-content"><a href="/programmes/PastePictures"> <div class="addin-item"> <div class="addin-left-block"> <h2 class="addin-title">Вставка фото в Excel из папки или по ссылкам</h2> <div class="addin-image"><img class="imagefield imagefield-field_logo" width="220" height="80" alt="" src="https://ExcelVBA.ru/sites/default/files/addin_logo/pastepictures.jpg?1521769869" /></div> </div> <div class="addin-right-block"> <div class="addin-description"><p>Надстройка PastePictures позволяет искать в выбранной папке изображения, основываясь на содержимом ячеек таблицы Excel, и производить вставку найденных изображений в соседние ячейки (или в примечания к этим ячейкам).<br /> Кроме того, надстройка умеет скачивать изображения по ссылкам, сохраняя загруженные изображения в заданной папке, и вставлять картинки в примечания к ячейкам.<br /> Возможен также поиск недостающих изображений в Google.</p></div> </div> </div> </a></span> </div> </li> <li class="views-row views-row-4 views-row-even"> <div class="views-field-path"> <span class="field-content"><a href="/programmes/Unification"> <div class="addin-item"> <div class="addin-left-block"> <h2 class="addin-title">«Прайс лист» - объединение и обработка прайс листов разных форматов</h2> <div class="addin-image"><img class="imagefield imagefield-field_logo" width="220" height="80" alt="" src="https://ExcelVBA.ru/sites/default/files/addin_logo/unification.jpg?1521769887" /></div> </div> <div class="addin-right-block"> <div class="addin-description"><p>Надстройка Unification для Excel позволяет легко автоматизировать обработку различных прайс-листов, и приведение их к единому нужному вам формату, одним нажатием кнопки.<br /> Программа отличается максимально гибкими настройками извлечения данных из прайсов, — даже из самых кривых по структуре прайс-листов, можно собрать необходимую информацию.<br /> Кроме того, надстройка может выполнять наценку на товар по различным правилам, обработку и фильтрацию данных, производить конвертацию валют, формировать категории по наименованиям товара, и многое другое.</p></div> </div> </div> </a></span> </div> </li> <li class="views-row views-row-5 views-row-odd"> <div class="views-field-path"> <span class="field-content"><a href="/programmes/Labels"> <div class="addin-item"> <div class="addin-left-block"> <h2 class="addin-title">Формирование и печать этикеток, наклеек, ценников и квитанций в Excel</h2> <div class="addin-image"><img class="imagefield imagefield-field_logo" width="220" height="80" alt="" src="https://ExcelVBA.ru/sites/default/files/addin_logo/labels.jpg?1521769964" /></div> </div> <div class="addin-right-block"> <div class="addin-description"><p>Надстройка Labels предназначена для создания и печати этикеток, наклеек, ценников и квитанций, на основании данных из таблицы Excel.<br /> При помощи этой программы вы можете распечатать ценники на товар, взяв данные из прайс-листа, сформировать этикетки и наклейки для заданных строк вашей таблицы, подготовить квитанции для оплаты услуг ЖКХ (счета за водоснабжение, канализацию, электроэнергию), и многое другое.<br /> Кроме того, программа может сформировать штрихкоды форматов EAN-13 и Code128 в заполненных этикетках.</p></div> </div> </div> </a></span> </div> </li> <li class="views-row views-row-6 views-row-even"> <div class="views-field-path"> <span class="field-content"><a href="/programmes/Lookup"> <div class="addin-item"> <div class="addin-left-block"> <h2 class="addin-title">Сравнение 2 таблиц Excel, и подстановка данных из одной в другую</h2> <div class="addin-image"><img class="imagefield imagefield-field_logo" width="220" height="80" alt="" src="https://ExcelVBA.ru/sites/default/files/addin_logo/lookup.jpg?1521769917" /></div> </div> <div class="addin-right-block"> <div class="addin-description"><p>Надстройка Lookup предназначена для сравнения двух таблиц Excel (или CSV), и подстановки значений для совпавших строк из одной таблицы в другую.<br /> Сравнение возможно как по одному столбцу, так и по нескольким (можно указать слова и символы, игнорируемые при сравнении)<br /> Совпавшие и отличающиеся строки в обеих таблицах помечаются разными цветами заливки.<br /> Кроме того, есть возможность скопировать недостающие строки в конец исходной таблицы (и тоже выделить из другим цветом)</p></div> </div> </div> </a></span> </div> </li> <li class="views-row views-row-7 views-row-odd"> <div class="views-field-path"> <span class="field-content"><a href="/programmes/BarcodeScanner"> <div class="addin-item"> <div class="addin-left-block"> <h2 class="addin-title">Ввод данных в таблицу Excel со сканера штрихкодов</h2> <div class="addin-image"><img class="imagefield imagefield-field_logo" width="220" height="80" alt="" src="https://ExcelVBA.ru/sites/default/files/addin_logo/barcode.jpg?1521769901" /></div> </div> <div class="addin-right-block"> <div class="addin-description"><p>Надстройка BarcodeScanner облегчает ввод данных со сканера штрихкодов в таблицу Excel.<br /> После сканирования очередного штрихкода, программа ищет в заданном столбце считанный штрихкод, и увеличивает (или уменьшает) количество товара в другом столбце.<br /> Если штрихкод не найден, штрихкод добавляется в новую строку.<br /> Данные по найденному в таблице штрихкоду можно отобразить на форме сканирования (для визуальной проверки)</p></div> </div> </div> </a></span> </div> </li> <li class="views-row views-row-8 views-row-even"> <div class="views-field-path"> <span class="field-content"><a href="/programmes/SearchText"> <div class="addin-item"> <div class="addin-left-block"> <h2 class="addin-title">Поиск данных на всех листах книги Excel</h2> <div class="addin-image"><img class="imagefield imagefield-field_logo" width="220" height="80" alt="" src="https://ExcelVBA.ru/sites/default/files/addin_logo/searchexcel.jpg?1521771549" /></div> </div> <div class="addin-right-block"> <div class="addin-description"><p>Надстройка SearchText служит для поиска заданного текста в книге Excel, с выводом результатов поиска на отдельный лист.<br /> Поиск выполняется по частичному совпадению искомого текста со значением проверяемых ячеек.<br /> Для каждой выведенной в результат строки, указывается имя листа, на котором эта строка была найдена.</p></div> </div> </div> </a></span> </div> </li> <li class="views-row views-row-9 views-row-odd views-row-last"> <div class="views-field-path"> <span class="field-content"><a href="/programmes/RenameFiles"> <div class="addin-item"> <div class="addin-left-block"> <h2 class="addin-title">Переименование и копирование файлов по списку в таблице</h2> <div class="addin-image"><img class="imagefield imagefield-field_logo" width="220" height="80" alt="" src="https://ExcelVBA.ru/sites/default/files/addin_logo/renamefiles.jpg?1521771584" /></div> </div> <div class="addin-right-block"> <div class="addin-description"><p>Надстройка RenameFiles предназначена для переименования файлов в заданной папке.<br /> В качестве исходных данных (исходные и конечные имена файлов) выступает таблица Excel<br /> В настройках программы задаётся, в каких столбцах таблицы Excel брать имена файлов</p></div> </div> </div> </a></span> </div> </li> </ul>
	Название проверяемого атрибута	class
	Значение проверяемого атрибута	item-list
	Тип результата / извлекаемый атрибут	innerHTML
HTML: Поиск тегов	Тип элемента	a	Массив из 9 значений: https://excelvba.ru/programmes/FillDocuments https://excelvba.ru/programmes/Parser https://excelvba.ru/programmes/PastePictures https://excelvba.ru/programmes/Unification https://excelvba.ru/programmes/Labels https://excelvba.ru/programmes/Lookup ... (ещё 3 значения)
	Название проверяемого атрибута
	Значение проверяемого атрибута
	Тип результата / извлекаемый атрибут	href_with_prefix
HTML: Многопоточная загрузка	Количество потоков	20	Массив из 9 значений: <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" ... </html> ... (ещё 8 значений)
	Кодировка веб-страниц
	HTML фильтры

Если вместо многопоточной загрузки в данном примере подставить "Загрузить ИСХОДНЫЙ КОД веб-страницы", то результат будет тот же самый - массив из 39 страниц. Но время загрузки данного примера для многопоточного варианта: 10 секунд, а время для однопоточной загрузки - 37 секунд. Скорость работы увеличивается почти в 4 раза.

Действие имеет 3 параметра:

Количество потоков (по умолчанию - 20). Параметр подбирается опытным путем. Не рекомендуется ставить больше 150 потоков. Большее значение может дать как более быструю загрузку, так и большее количество ошибок. Кроме того, большое количество потоков может создать излишнюю нагрузку на ресурсы компьютера, что приведет к замедлению работы.
Кодировка веб-страницы. Кодировка подбирается автоматически, но есть возможность задать её принудительно.
HTML фильтры. Позволяет сразу брать нужный тег из загружаемой страницы, что приводит к уменьшению обрабатываемых и хранимых данных, как следствие, к возможному ускорению работы и снижению расходуемых ресурсов (но надо учитывать, что на поиск тега тоже уходит время, поэтому уменьшение общего времени или его увеличение будет зависеть от конкретного сайта).
Синтаксис: с указанием тега, атрибута и его значения, например: div class=main или с указанием только атрибута и его значения, например: id=main.

Во время работы Действия появляется дополнительный прогресс бар, который отображает информацию о многопоточной загрузке - какое количество ссылок загружается, во сколько потоков, какой прогресс действия (может отображаться с задержкой или же вообще прогресс не будет отображаться из-за большой загрузки компьютера).

Индикатор загрузки может быть трех цветов:

Зеленый - многопоточная загрузка идет в штатном режиме (что тем не менее не гарантирует полноты загруженных данных)
Красный - возникли ошибки при загрузке (можно попробовать уменьшить количество потоков)
Фиолетовый - часть страниц не загрузилась из-за остановки по тайм-ауту (в этом случае можно попробовать увеличить тайм-аут загрузки в настройках парсера)

Если необходимо получить URL загружаемой страницы, то при применении Действия специально для этого в HTML-код страницы добавляется тег <info>. Находится он или перед тегом </head>, или в случае, если применяется HTML фильтр, перед найденным тегом, т.е. в самом начале полученного кода.

При выводе на лист его можно найти при помощи действия HTML: Поиск тегов

Status в данном случае обозначает код состояния HTTP.
Код ответа 200 - это указание на успешную загрузку. А код ответа 404, например, - страница не найдена

Добавить комментарий
4549 просмотров

Надстройка «Парсер сайтов»: справка по программе

Действие парсера «HTML: Многопоточная загрузка»

Пример использования:

Действие имеет 3 параметра:

Индикатор загрузки может быть трех цветов:

Комментарии

НАДСТРОЙКИ ДЛЯ EXCEL