Сегодня вышло обновление программы Content Downloader с инструментом для ускорения парсинга во вкладке “Контент”.

Content Downloader X1 версии 11.1.1711187 (23.11.2021)

– Добавлен инструмент оптимизации и ускорения парсинга во вкладке “Контент” (https://sbfactory.ru/cd/?p=6668).

Подробнее о доработке читаем здесь (клик)

Вот второе обновление

Content Downloader X1 версии 11.1.1711188 (23.11.2021)

– Увеличена скорость работы сканера сайтов;
– В сканер сайтов добавлена опция включения/выключения отрисовки списков ссылок для снижения нагрузки на процессор и увеличения скорости парсинга.

Обратите внимание на новую опцию в сканере сайтов

С отключением отрисовки список ссылок сканирование при больших объемах URL стало быстрее в несколько раз!
(more…)

Приветствую всех!

Сегодня выпустили обновление

Content Downloader X1 версии 11.1.1711181 (17.11.2021)

– В макрос [GETCSVDATA] добавлены новые возможности (https://sbfactory.ru/cd/?p=2967#Reading);
– Добавлен макрос шаблона вывода [HANDLEJSON_F] (https://sbfactory.ru/cd/?p=4540);
– Добавлен макрос шаблона вывода [IF0] (то же самое, что и другие версии [IF], но выполняется раньше);
– В окне предпросмотра результатов парсинга контента теперь отображается размерность полученной CSV таблицы;
– Добавлен макрос шаблона вывода [EXTRACTTABLE] (https://sbfactory.ru/cd/?p=6632);
– Теперь автоматически удаляются символы двоеточий из конца имен характеристик макросов: [DYNAMICVALUES], [HORIZTABLE], [VERTTABLE];
– Макрос [EXPANDV] теперь может создавать пустые ячейки (ранее пустые значения пропускались и столбец таблицы с результатом заполнялся только непустыми ячейками);
– Множество других доработок.

(more…)

В обновлении 11.1.1711158 (07.06.2021) добавлен инструмент WEBViewer.

На больших WEB документах (более 500 000 символов) инструмент задания границ парсинга мог работать медленно. Причина подвисаний была в ресурсоемком и медленном алгоритме подсветки текста в компоненте Richedit (который используется для отображения кода в инструменте задания границ парсинга).

В связи с этим были переработаны алгоритмы подсветки синтаксиса HTML и заданных границ парсинга. Благодаря этому удалось значительно повысить производительность!

Вот так теперь подсвечивается заданная граница парсинга

Также обратите внимание на новую панель инструментов в нижней-правой части инструмента задания границ парсинга

(more…)

В инструмент задания границ парсинга добавлена подсветка нужных HTML тегов (IMG, DIV, A, TABLE, UL). В этих тегах, обычно, содержатся нужные для парсинга данные.

Если нужно подсветить и другие HTML теги/элементы, напишите на форуме в тему с пожеланиями по доработке программы.

(more…)