Программа для быстрого парсинга с помощью Chromium

Разработка быстрого WBApp2

Внимание: Это Alpha версия WBApp2 (для ознакомления с перспективными возможностями)!

Скачать программу можно здесь (клик) ~ 140 мегабайт

Парсер HTML страниц

Всем привет. Просидел над разработкой этой программой более 15 часов безвылазно. Вроде, с неимоверными потугами, получилось сделать стабильную сборку для парсинга HTML с использованием движка браузера Chromium. Программа просто парсит HTML коды по списку URL. Никаких настроек особо пока нет.

Плюс в том, что программа 64 бит, а значит и не будет проблем с переполнением памяти.

Также она работает многопоточно (обрабатывается сразу несколько вкладок).

Парсит для браузера, как я понимаю, довольно шустро.

Парсер WEB страниц собран на самой свежей версии Chromium.

В Content Downloader WBApp2 сходу не смог добавить (пока есть ряд проблем), например, Content Downloader 32 bit, соответственно, придется добавить еще 140 мегабайт в установщик (WBApp2 требует 64-разрядных файлов Chromium). Пересобрать Content Downloader на 64 бит совсем трудно (нет множества компонентов для нового компилятора). Но, если будет интерес к WBApp2, то решить вопрос, быстрее всего, можно.

Следует еще раз подчеркнуть значительное преимущество в скорости парсинга по сравнению с WBAppCEF и простоту использования. Борщить с потоками не стоит, рекомендую 5-7.

Пока WBApp2 можно использовать, как утилиту для быстрого сбора HTML кодов WEB страниц в дополнение к парсеру Content Downloader.

С радостью выслушаю ваши пожелания по доработкам. Надеюсь на обратную связь.

1 Star2 Stars3 Stars4 Stars5 Stars (Еще нет оценок)
Loading...

Спасибо!

Вы можете пропустить до конца и оставить ответ. Pinging в настоящее время не доступны.
Написать комментарий

Пожалуйста, ознакомьтесь с правилами комментирования (причина УДАЛЕНИЯ некоторых комментариев)

Добавить изображение к комментарию (jpg)