Значительное ускорение парсинга с использованием библиотеки Internet Explorer (WBApp)

Значительное ускорение парсинга с использованием библиотеки Internet Explorer (WBApp)

Включение библиотеки “Internet Explorer (DOM)” (это то же, что и WBApp) в окне настройки HTTP-запросов программы (ctrl+h) влечет за собой значительное снижение скорости парсинга. Это связано с тем, что WBApp использует ядро браузера Internet Explorer. При этом происходит выполнение всех WEB-скриптов и скачивание всех элементов WEB-страницы с дополнительной нагрузкой на процессор!

Еще одна проблема использования ядра Internet Explorer – неопределенность в завершенности загрузки WEB-страницы (программа должна четко и корректно “понимать”, когда загрузка WEB-страницы в достаточной мере завершена, чтобы в этот момент получить ее код). Функции Internet Explorer позволяют определить, когда WEB-страница полностью загружена и обработана, но на некоторых WEB-сайтах на полную загрузку страницы (с прогрузкой всех “запаздывающих” WEB-модулей) уходит очень большое количество времени! Для обхода этой проблемы и был создан следующий способ.

Примечание: Для работоспособности этого метода требуется тип лицензии ULTIMATE!

Для быстрого достижения результата, выполняйте действия в строгом порядке, согласно их нумерации на скриншотах (1, 2, 3,…)!

Content Downloader

Content Downloader

Content Downloader

Желаем вам успехов!

1 Star2 Stars3 Stars4 Stars5 Stars (оценок: 2, средний балл: 5.00)
Loading...
Вы можете пропустить до конца и оставить ответ. Pinging в настоящее время не доступны.
Есть 5 коммент. к теме: “Значительное ускорение парсинга с использованием библиотеки Internet Explorer (WBApp)”
  1. Влад says:

    Спасибо! Отличная статья, как и сам Content Downloader

  2. Djah says:

    Сергей ,спасибо, теперь можно перестать долбаться со всеми этими конструкциями ifnotclicked !
    Стало значительно удобнее!

    • Djah says:

      Особенно что касается парсинга яндекс маркет , яндекс директ, и других сервисов со всякими заморочками !

    • admin says:

      Здравствуйте.

      Спасибо на добром слове!

Написать комментарий к admin

Пожалуйста, ознакомьтесь с правилами комментирования (причина УДАЛЕНИЯ некоторых комментариев)

Добавить изображение к комментарию (jpg)