WBApp2 программа/Api для быстрого парсинга с использованием движка браузера Chromium

Скачать программу можно здесь (клик) ~ 140 мегабайт

Как использовать WBApp2 вместе с Content Downloader

Перейти на форум программы


UPDate от 20.06.2021
– Множество различных доработок.

UPDate от 19.06.2021
– Добавлена возможность использовать список прокси-серверов;
– Теперь статус работы браузеров отображается в заголовках вкладок;
– Несколько других доработок.

UPDate от 18.06.2021
– Добавлены опции для включения/отключения загрузки картинок и выполнения Java.

UPDate от 17.06.2021
– Теперь программа не пересоздает вкладку, а открывает новые ссылки в уже созданном браузере.

Всем привет. Просидел над разработкой этой программой более 15 часов безвылазно. Вроде, с неимоверными потугами, получилось сделать стабильную сборку для парсинга HTML с использованием движка браузера Chromium. Программа просто парсит HTML коды по списку URL. Никаких настроек особо пока нет.

Плюс в том, что программа 64 бит, а значит и не будет проблем с переполнением памяти.

Также она работает многопоточно (обрабатывается сразу несколько вкладок).

Парсит для браузера, как я понимаю, довольно шустро.

Парсер WEB страниц собран на самой свежей версии Chromium.

В Content Downloader WBApp2 сходу не смог добавить (пока есть ряд проблем), например, Content Downloader 32 bit, соответственно, придется добавить еще 140 мегабайт в установщик (WBApp2 требует 64-разрядных файлов Chromium). Пересобрать Content Downloader на 64 бит совсем трудно (нет множества компонентов для нового компилятора). Но, если будет интерес к WBApp2, то решить вопрос, быстрее всего, можно.

Следует еще раз подчеркнуть значительное преимущество в скорости парсинга по сравнению с WBAppCEF и простоту использования. Борщить с потоками не стоит, рекомендую 5-7.

Пока WBApp2 можно использовать, как утилиту для быстрого сбора HTML кодов WEB страниц в дополнение к парсеру Content Downloader.

С радостью выслушаю ваши пожелания по доработкам. Надеюсь на обратную связь.

(оценок: 6, средний балл: 5.00)

Loading...

Спасибо!