В обновлении 11.1.0000555 (05.12.2018) введена подсветка базовых макросов шаблона вывода. Это позволяет более эффективно ориентироваться в коде.
Теперь можно легко увидеть операторы разделителей CSV, макросы границ парсинга, комментарии к коду, вложенные блоки кода и другое.
Если потребуется, со временем введем подсветку и других макросов.
(more…)
Рубрики: Новости С выходом обновления Content Downloader X1 версии 11.1.0000523 (27.11.2018) доступна новая функция автоматического поиска текста статьи в коде WEB-документа (функция 1).
При создании новых проектов программы она выбирается автоматически. В старых проектах будет выбрана старая функция автоматического поиска текста статьи (функция 2).
Рубрики: Новости Рубрики: Новости Рубрики: Новости Программе выделяется около 3,5 ГБ памяти (вне зависимости от количества оперативной памяти компьютера). Количество использования процессом памяти можно смотреть в диспетчере задач системы (ctrl+alt+delete). Если программа будет занимать более 3,5 ГБ памяти, возникнут ошибки.
Для парсинга огромных сайтов и для поиска огромного количества ссылок (гораздо больше, чем миллион) рекомендуется использовать режим работы сканера MemSave
Для генерации уникальных ЧПУ из любого текста (заголовок, ID, описание) при парсинге контента используется макрос шаблона вывода [SURLUNIQUE] (Semantic URL). Все сгенерированные ЧПУ будут уникальными даже при совпадении исходного для генерации текста (к дублям будет добавляться числовой индекс для переименования).
(more…)
WBApp (дополнение для Content Downloader) - парсинг с выполнением WEB-скриптов, с возможностью имитации кликов по элементам страниц, произведение прокрутки страниц, заполнение текстовых полей и многое другое...
Новости RSS
Теги: