Значительное ускорение парсинга с использованием библиотеки Internet Explorer (WBApp)

Включение библиотеки “Internet Explorer (DOM)” (это то же, что и WBApp) в окне настройки HTTP-запросов программы (ctrl+h) влечет за собой значительное снижение скорости парсинга. Это связано с тем, что WBApp использует ядро браузера Internet Explorer. При этом происходит выполнение всех WEB-скриптов и скачивание всех элементов WEB-страницы с дополнительной нагрузкой на процессор!

Еще одна проблема использования ядра Internet Explorer – неопределенность в завершенности загрузки WEB-страницы (программа должна четко и корректно “понимать”, когда загрузка WEB-страницы в достаточной мере завершена, чтобы в этот момент получить ее код). Функции Internet Explorer позволяют определить, когда WEB-страница полностью загружена и обработана, но на некоторых WEB-сайтах на полную загрузку страницы (с прогрузкой всех “запаздывающих” WEB-модулей) уходит очень большое количество времени! Для обхода этой проблемы и был создан следующий способ.

Примечание: Для работоспособности этого метода требуется тип лицензии ULTIMATE!

Для быстрого достижения результата, выполняйте действия в строгом порядке, согласно их нумерации на скриншотах (1, 2, 3,…)!

Желаем вам успехов!

(оценок: 2, средний балл: 5.00)

Loading...