Скачивание (загрузка) текста web-страницы в текстовый файл

При помощи этого макроса вы можете скачать текст с выбранной страницы веб-сайта:

Sub ЗагрузкаТекстаВебСтраницы()
    Set IE = CreateObject("InternetExplorer.Application"):    ' загружаем браузер Internet Explorer
    On Error Resume Next
    addr$ = "http://excelvba.ru/services"    ' указываем адрес сайта (веб-страницы), текст которой загружаем

    IE.Navigate addr$    ' загружаем сайт
     While IE.busy Or (IE.readyState <> 4): DoEvents: Wend    ' ждем, пока загрузится страница
    ' Set ieDoc = IE.Document    ' ссылка на открытый документ

    txt$ = IE.Document.body.innerText    ' считываем текст веб-страницы в текстовую переменную
    
    '[a1] = txt$ ' помещаем текст веб-страницы на лист Excel
    IE.Quit: Set IE = Nothing    ' закрываем браузер
    
    MsgBox txt$, vbInformation, "Текст веб-страницы " & addr$ ' выводим сообщение с текстом с сайта
End Sub

То же самое - но в виде функции:

Function WebPageText(ByVal sURL As String) As String
    On Error Resume Next
    Set IE = CreateObject("InternetExplorer.Application"):    ' загружаем браузер Internet Explorer
    IE.Navigate sURL    ' загружаем сайт
    While IE.busy Or (IE.readyState <> 4): DoEvents: Wend    ' ждем, пока загрузится страница
    WebPageText = IE.Document.body.innerText    ' считываем текст веб-страницы
    IE.Quit: Set IE = Nothing    ' закрываем браузер
End Function

Если же нужен HTML код страницы, то используйте такой вариант

' создаём объект IE
Set IE = CreateObject("InternetExplorer.Application")
 
' переходим по ссылке в браузере
IE.Navigate URL
 
' ждём, пока страница загрузиться
While IE.Busy Or (IE.ReadyState <> 4): DoEvents: Wend
 
' считываем HTML код веб-страницы в текстовую переменную
Code$ = IE.Document.body.innerHtml

Пример использования этой функции для загрузки текста страниц из интернета:

Sub ПримерИспользованияФункции_WebPageText()
    ' считываем текст страницы <a href="http://excelvba.ru/services" title="http://excelvba.ru/services">http://excelvba.ru/services</a> в переменную txt
    txt = WebPageText("http://excelvba.ru/services")
    ' получаем путь к папке "Рабочий стол"
    ПутьКРабочемуСтолу = CreateObject("WScript.Shell").SpecialFolders("Desktop")
    ' сохраняем текст из переменной txt в файл PageText.txt на рабочем столе
    SaveTXTfile ПутьКРабочемуСтолу & "\PageText.txt", txt
    ' открываем созданный текстовый файл в Excel
    Workbooks.OpenText ПутьКРабочемуСтолу & "\PageText.txt", , , xlDelimited
End Sub
 
Function SaveTXTfile(ByVal filename As String, ByVal txt As String) As Boolean
    On Error Resume Next: Err.Clear
    Set fso = CreateObject("scripting.filesystemobject")
    Set ts = fso.CreateTextFile(filename, True)
    ts.Write txt: ts.Close
    SaveTXTfile = Err = 0
    Set ts = Nothing: Set fso = Nothing
End Function

PS: Если вас интересует ИСХОДНЫЙ КОД страницы - используйте эту функцию: http://excelvba.ru/code/GetHTTPResponse

Вложения:

WebPageText.xls

26 КБ

72277 просмотров

Настройки просмотра комментариев

Выберите нужный метод показа комментариев и нажмите "Сохранить установки".

Игорь (администратор сайта), 9 Авг 2022 - 06:18.#1

Максим, открывать ссылку в браузере, и загружать содержимое страницы с использованием разных браузеров, — разные вещи.
Первое делается легко, второе - сложно, и только с установкой дополнительного ПО.

Максим, 8 Авг 2022 - 18:53.#2

Добрый день. Подскажите пожалуйста, что нужно изменить, что б вместо IE открывать ссылки в другом браузере, не являющемся браузером по умолчанию, например в Chrome? Макросом буду открывать ссылки в разных браузеров, поэтому только для того, что по умолчанию- не подходит

Гость, 30 Июл 2020 - 17:16.#3

Добрый день - использу ваш код для загрузки html страницы очень удобно спасибо Вам огромное. Но в последние дни проблемы с использованием кода на сайте https://rosreestr.ru/wps/portal/online_request вставляю эту страницу и проблемы возникают с тем что она не отгружает текст а только открывает ie и больше никаких действий, неделю назад все было хорошо. Я использовал макрос ЗагрузкаТекстаВебСтраницы. Подскажите с чем это может быть связано.

Игорь (администратор сайта), 28 Июл 2018 - 21:24.#4

Да, можно и часть.
На сайте есть функция для поиска нужных тегов в html коде

Гость, 28 Июл 2018 - 14:33.#5

Классные коды, огромное спасибо. А можно импортировать не всю страницу, а кусок? По тегам или еще как-нибудь

Гость, 26 Июн 2018 - 11:10.#6

Переустанавливал, откатывал на старую версию, поставил винду 10 64 бит, и офис 16.

Игорь (администратор сайта), 25 Июн 2018 - 19:52.#7

Возможно, IE криво установился или обновился. Попробуйте переустановить ИЕ

Гость, 25 Июн 2018 - 19:49.#8

Function WebPageText не работает, ранее работала перестала после очередного пакета обновления виндоус7. Останавливается на строке
While IE.busy Or (IE.readyState <> 4): DoEvents: Wend
при этом страница в браузере открывается. если поставить
MsgBox IE.Document.body.innerText
При любом времени ожидания объект IE.Document пуст.
Если использовать http://excelvba.ru/code/GetHTTPResponse или https://excelvba.ru/code/FileQueryRange данные возвращаются. В чем проблема?

Александр, 20 Фев 2018 - 17:18.#9

Меня интересует такой же вопрос: как загрузить содержимое текстового файла с этой страницы или сам файл

Николай, 18 Апр 2017 - 16:57.#10

Огромное спасибо! То, что надо! Очень полезная в хозяйстве вещь!

Игорь (администратор сайта), 17 Апр 2017 - 00:10.#11

Николай, да, можно, - только это будет уже совсем другой макрос.
Впрочем, у меня есть готовое решение для такой задачи, - всё будет работать в точности как вам надо:
http://excelvba.ru/programmes/Parser
И ссылки из выделенных строк возьмет из заданного столбца, и результат в те же строки выведет

Николай, 16 Апр 2017 - 23:51.#12

Здравствуйте, отличный макрос (программа)! Подскажите пожалуйста, а можно сделать так, чтобы задавать диапазон ссылок (например: от А1 до А10) или выделять N-ое количество ссылок - макросы - выполнить и макрос их обрабатывает? И ещё, выводить содержимое ссылки не в новом документе, а в ячейке соседнего столбца? Понимаю, раскатал губу, своими запросами, не сочтите за наглость! Заранее благодарю за ответ...

Валерий, 29 Сен 2016 - 15:08.#13

Добрый день! возможно уже есть пример описания получения части данных со web-страницы, заключенных между определенными тегами, например ... и помещение их в ячейку

Игорь (администратор сайта), 28 Сен 2016 - 00:13.#14

Как-то так:

Sub FindAllBrowserWindows()
    On Error Resume Next
    Set objshell = CreateObject("shell.application")
    Set oShellWind = objshell.Windows
 
    For Each w In oShellWind    ' перебираем все окна
        URL$ = w.LocationURL
        If URL$ Like "http*" Then    ' если это окно браузера (открыт сайт)
            txt$ = w.document.DocumentElement.outerhtml
            MsgBox "HTML код: " & vbNewLine & txt, vbInformation, "Найдена страница: " & URL$
        End If
    Next
    Set oShellWind = Nothing
End Sub

Игорь, 27 Сен 2016 - 18:53.#15

Добрый день.
Вы писали:
"Как перебрать все вкладки (и получить URL открытых страниц и их содержимое), я знаю (делал)"
Не мог бы бы подсказать как?
Спасибо!

Игорь (администратор сайта), 24 Сен 2016 - 00:44.#16

Андрей, тут подсказать не смогу
Как перебрать все вкладки (и получить URL открытых страниц и их содержимое), я знаю (делал)
А как узнать, какая из вкладок активная, тут сложнее (надо к самому приложению обращаться, или через WinAPI все вкладки проверять) - мне такого делать не приходилось, потому, посоветовать ничего не могу.

Андрей, 23 Сен 2016 - 15:04.#17

Здравствуйте.
Подскажите, пожалуйста, следующее
Есть несколько уже открытых web-страниц в ИЕ. Они в разных вкладках и в разных окнах.
Нужно обработать только активную в данный момент вкладку или окно.
Как средствами VBA определить какая(ое) из всех вкладок-окон в данный момент активны?
Спасибо

Игорь (администратор сайта), 18 Апр 2016 - 13:27.#18

Альтернатива есть, - можно работать с сайтами без использования браузера
Например: http://excelvba.ru/code/gethttpresponse
Браузер, собственно, вообще не нужен, - просто изредка с ним удобнее работать (код проще)

PS: IE8, как и любой другой браузер, отлично работает с HTTPS
Проблема IE - только в том, что он тормозит, и может подвисать
(потому я, в своё парсере, IE стараюсь не использовать вообще)

Макс, 18 Апр 2016 - 12:58.#19

Доброго Времени Суток Вам.
Подскажите, а есть альтернатива:CreateObject("InternetExplorer.Application")
Дело в том, что у меня XP sp2 = IE8, который в свою очередь не работает c https.

Игорь (администратор сайта), 17 Апр 2016 - 16:24.#20

Сергей, ответил вам на почту

Сергей, 17 Апр 2016 - 13:21.#21

Здравствуйте. Очень нужна Ваша помощь. Есть база ссылок в Excel. База для интернет-магазина. Есть столбцы с названием, описанием ... ценой и ссылкой на сайт-донор. Нужно сделать так, чтоб макрос выполнял перебор этих ссылок и сравнивал цену в ячейке с ценой на сайте.
Можете мне в этом помочь?

Игорь (администратор сайта), 17 Апр 2016 - 10:53.#22

Про какую программу речь?
В статье, где вы разместили комментарий, никакой программы нет.

Речь про надстройку «Парсер сайтов»? Если да, - можем настроить под заказ.
Заказы на парсер принимаются в таком виде: http://excelvba.ru/programmes/Parser/order

Вока, 17 Апр 2016 - 10:13.#23

Скачал тестовую программу. Подскажите как сделать выгрузку списка компаний с сайта в таблицу ексель, и их контактов. Найти контакты возможно с других сайтов этих компаний, (поиск по названию компаний). Т.е. на сайте, где список компаний - там нет контактов, контакты есть на сайтах этих компаний, нужен поиск сайтов по названию компаний - переход и скачка контактов. Возможно это сделать через Данную программу? И как? Сайт, с которого нужен список компаний http://www.franchisee.su/catalog/s-p-avto-lyubye-zapchasti-na-lyubye-avt...

Валентина, 16 Фев 2016 - 18:07.#24

Большое спасибо!

Игорь (администратор сайта), 16 Фев 2016 - 16:45.#25

Валентина, в функции SaveTXTfile найдите строку

Set ts = fso.CreateTextFile(filename, True)

и замените её на

Set ts = fso.CreateTextFile(filename, True, True)

Файл создавался пустой, т.к. было попытка сохранить его в кодировке ANSI, а на веб-странице присутствуют символы, недопустимые в этой кодировке.
После того, как строчку в коде поменяете, файл будет создаваться в кодировке UTF-16, - там все символы допустимы.

Валентина, 16 Фев 2016 - 16:35.#26

Добрый день!
Я пробую сохранить текст, а также код страницы https://www.discogs.com, но текстовый файл - пуст.
При этом текст в переменной txt есть.

Гость, 4 Дек 2013 - 23:59.#27

Добрый день! хороший макрос. Но как загружать код не только страницы но и код элемента находящегося на странице?

Max, 7 Июн 2013 - 01:48.#28

Спасибо большое! получилось реализовать именно этим способом.

Игорь (администратор сайта), 30 Май 2013 - 09:23.#29

Здравствуйте, Max.

Возможно, поможет добавление паузы в код:
http://excelvba.ru/code/GetHTTPResponse#comment-2210

Ну или добавьте в код из этой статьи задержку в пару секунд.
(надо подождать, пока отработает редирект, и скрипт сформирует страницу результатов)
После строки
While IE.busy Or (IE.readyState <> 4): DoEvents: Wend ' ждем, пока загрузится страница
напишите
application.wait now + 2/86400 ' пауза 2 секунды

Max, 30 Май 2013 - 02:22.#30

Спасибо Вам за сайт. Очень много полезной и качественной информации.

Столкнулся с проблемой урл: "http://nylottery.ny.gov/wps/portal/NumbersTracker?game=NUMBER"
Ни одним способом, найденным на сайте, не могу загрузить данные с сайта в excel (Copy-Past не в счет). Веб-запрос тоже результатов не дает.
Подскажите, возможно есть другие способы, или я что-то упускаю. Заранее спасибо.

Дмитрий, 31 Авг 2012 - 11:05.#31

Подозрение что не в той отправляется. Потому что от гугла приходит INVALID_REQUEST

Игорь (администратор сайта), 31 Авг 2012 - 00:34.#32

Ну как не работает? Может, не в той кодировке ответ приходит?
Так в этом случае можно изменить кодировку файла

Дмитрий, 31 Авг 2012 - 00:25.#33

GetHTTPResponse на моей конфигурации не работает с русскими буквами в запросе. Т.е. Иркутск не проходит. Мне пришлось сделать транслитерацию, но это сократило количество корректных ответов от гугла на треть. Т.е. не решение

Игорь (администратор сайта), 30 Авг 2012 - 23:51.#34

Здравствуйте, Дмитрий.
Во-первых, код работает и с вашей ссылкой (Excel 2010, Win XP, IE 7), но дело да\же не в этом.
По ссылке возвращается XML - зачем результат в ячейки помещать?

Есть 2 способа получить XML с сайта:

1) Получить исходный текст веб-страницы

2) Скачать результат как обычный файл

Дмитрий, 30 Авг 2012 - 18:55.#35

И у меня этот код ничего не возвращает запросом по адресу "http://maps.google.com/maps/api/geocode/xml?address=London&sensor=false"
Excel 2010, Win 7, IE 9

А запрос html из первоначального примера возвращает корректные данные. Возможно это потому что с гугла xml приходит?

А если в запросе London на Иркутск поменять?

Игорь (администратор сайта), 22 Авг 2012 - 13:54.#36

Здравствуйте, Жека.
Использование браузера по-умолчанию в подобных макросах невозможно.

Браузеров много разных - соответственно, методы работы (программного взаимодействия) с ними сильно отличаются.
Придётся писать код для каждого отдельного браузера. (и получится не 5 строк кода, а в сотню раз больше)

Есть другой способ получить текст веб-страницы - использовать веб-запрос
(в этом случае можно обойтись вообще без макросов - этот запрос можно создать вручную, а настроить автообновление данных)

Жека, 22 Авг 2012 - 08:05.#37

Ещё раз спасибо за Ваши программы. Возник вопрос :
Как переделать строку
Set IE = CreateObject("InternetExplorer.Application") ,
что бы загружался браузер по умолчанию, а не только InternetExplorer.
Спасибо за ответ.

Игорь (администратор сайта), 3 Авг 2012 - 04:02.#38

Здравствуйте, Алексей.
Тут не получится дать универсальный совет - в каждом случае надо выдирать из текста различные данные.
Обычно я делаю это при помощи функции Split (для разделения текстовой строки на 2 части).
2 вызова этой функции - и нужные данные из огромного текста получены.

Кроме того, можно попробовать применить веб-запрос - в этом случае курс доллара можно получить без единой строки кода.

PS: У меня на сайте есть отдельный макрос для получения курса доллара на нужную дату.

Алексей, 3 Авг 2012 - 03:35.#39

Спасибо, все работает
Я вот полностью забираю текст с сайта, а потом функциями excel выбираю нужное
А вот как в макросе прописать так называемый парсинг, т.е. мне надо найти например курс доллара на конкретную дату

Антон, 13 Мар 2012 - 16:38.#40

Спасибо Вам за ответ!
Видимо у меня что-то с настройками? Посмотрю.
Я делал аналогично - загнал в переменную адрес. Результатом было ''.

Огромное спасибо за совет, поискать по форуму "Планеты" - с лёту в поисковиках не нашел. Надо было быстро получить координаты. Сначала хотел воспользоваться json, но не смог добраться даже да текста. Надеюсь, на форуме найду.

Еще раз благодарю за очень оперативный ответ!

Игорь (администратор сайта), 13 Мар 2012 - 15:52.#41

Здравствуйте, Антон.

Я взял вышеопубликованную функцию ЗагрузкаТекстаВебСтраницы,
в одной строке кода заменил адрес сайта:

' указываем адрес сайта (веб-страницы), текст которой загружаем
addr$ = "http://maps.google.com/maps/api/geocode/xml?address=London&sensor=false"

И увидел сообщение с ожидаемым результатом.
Так что не знаю, в чем проблема, - у меня всё работает.

PS: Я бы на вашем месте поискал готовое решение - на форуме «Планеты Excel» встречал как-то 2 решения вашей задачи
(определение координат по адресу, путем парсинга XML с подобный веб-страниц)

Антон, 13 Мар 2012 - 13:50.#42

Здравствуйте!

Спасибо за Ваш отличный сайт!

Я попытался воспользоваться кодом с этого примера.
Планировал прочитать текст со странички по адресу "http://maps.google.com/maps/api/geocode/xml?address=London&sensor=false"

Но в переменную от объект WebPageText = IE.Document.body.innerText ничего не записывается. Подскажите, в чем может быть проблема?
Если открывать линк в IE, то результат отображается.

Спасибо!

Жека, 26 Фев 2012 - 14:05.#43

Спасибо.. Link.innerText - это то что нужно..А я в справке это свойство не нашёл.. Ещё раз спасибо..

Игорь (администратор сайта), 26 Фев 2012 - 11:52.#44

Судя по результату, link.nameProp возвращает не надпись на ссылке, а что-то другое:
(я плохо ориентируюсь в объектной модели DOM)

Debug.Print "Ссылка №" & n, Link.href, Link.nameProp

Результат:

Ссылка №96 http://excelvba.ru/category/pivot pivot
Ссылка №97 http://excelvba.ru/category/Windows Windows
Ссылка №98 http://excelvba.ru/category/archive archive
Ссылка №99 http://excelvba.ru/category/WMI WMI
Ссылка №100 http://excelvba.ru/category/registry registry
Ссылка №101 http://excelvba.ru/category/WinAPI WinAPI
Ссылка №102 http://excelvba.ru/category/mail mail
Ссылка №103 http://excelvba.ru/category/business business
Ссылка №104 http://excelvba.ru/category/price price
Ссылка №105 http://excelvba.ru/category/finance finance
Ссылка №106 http://excelvba.ru/category/autoparts autoparts
Ссылка №107 http://excelvba.ru/category/billing billing
Ссылка №108 http://excelvba.ru/category/realty realty

Насколько мне известно, для получение текста ссылки надо использовать свойство Link.innerText

Debug.Print "Ссылка №" & n, Link.href, Link.innerText

Результат:

Ссылка №123 http://excelvba.ru/category/hyperlinks Гиперссылки (15)
Ссылка №124 http://excelvba.ru/category/password Логин и пароль (12)
Ссылка №125 http://excelvba.ru/category/sound Звук и видео (1)
Ссылка №126 http://excelvba.ru/category/calendar Календарь (дата, время) (6)
Ссылка №127 http://excelvba.ru/category/pictures Изображения (картинки) (13)
Ссылка №128 http://excelvba.ru/category/class Модули класса (13)
Ссылка №129 http://excelvba.ru/category/toolbar Панель инструментов (16)
Ссылка №130 http://excelvba.ru/category/popup Контекстное меню (4)
Ссылка №131 http://excelvba.ru/category/array Массивы (9)
Ссылка №132 http://excelvba.ru/category/VBE Проект VBA (1)
Ссылка №133 http://excelvba.ru/category/encode Перевод и кодировка (4)
Ссылка №134 http://excelvba.ru/category/sort Сортировка (1)
Ссылка №135 http://excelvba.ru/category/string текстовые строки (4)
Ссылка №136 http://excelvba.ru/category/userform Форма ввода (19)
Ссылка №137 http://excelvba.ru/category/CheckInput Проверка ввода (7)
Ссылка №138 http://excelvba.ru/programmes/1 Простые макросы

Жека, 26 Фев 2012 - 10:12.#45

Спасибо..Всё получается.
А надпись на этой ссылке можно получить свойством link.nameProp ??
Спасибо за ответ..

Игорь (администратор сайта), 21 Янв 2012 - 23:44.#46

В общем случае, после загрузки веб-страницы, надо обратиться к свойству Links веб-страницы:

Sub ПечатьСпискаСсылокВебСтраницы()
    ' загружаем браузер Internet Explorer
    Set IE = CreateObject("InternetExplorer.Application"):
    ' указываем адрес сайта (веб-страницы), на которой будем искать ссылки
    addr$ = "http://excelvba.ru/services"
 
    IE.Navigate addr$    ' загружаем страницу
    While IE.busy Or (IE.readyState <> 4): DoEvents: Wend    ' ждем, пока загрузится страница
    
    For Each link In IE.Document.Links    ' перебираем все ссылки на странице
        ' выводим номер и адрес гиперссылки
        n = n + 1: Debug.Print "Ссылка №" & n, link.href
    Next
 
    IE.Quit: Set IE = Nothing    ' закрываем браузер
End Sub

Результат увидите в окне Immediate:

Жека, 21 Янв 2012 - 21:35.#47

Хорошая програмка. Спасибо. А как можно загрузить с вэб-страницы гиперссылки?? Спасибо за ответ..

Отправить комментарий

Не получается применить макрос? Не удаётся изменить код под свои нужды?

Оформите заказ у нас на сайте, не забыв прикрепить примеры файлов, и описать, что и как должно работать.

Скачивание (загрузка) текста web-страницы в текстовый файл

Комментарии

Настройки просмотра комментариев

Отправить комментарий

НАДСТРОЙКИ ДЛЯ EXCEL