– Устранен appcrash при парсинге с использованием библиотеки Clever Internet Suite;
– Добавлены функции фильтрации повторяющихся границ парсинга (http://sbfactory.ru/cd/?p=5526);
– Оптимизирована функция преобразования сохраняемого контента в CSV формат;
– Незначительно оптимизирован процесс вычисления контента обычных границ парсинга;
– При использовании [COMBO_n] в повторяющихся границах теперь можно одновременно использовать и [VALUE_n] ([VALUE_n] в этом случае будет выводить цикл с индексом, соответствующим основному (где используется [COMBO_n] и [VALUE_n]));
– Дополнительные настройки сканера сайтов в группу “Парсинг [PARAM]” добавлена опция “не добавлять ссылки без [PARAM]”;
– В сканере сайтов оптимизирована функция поиска ссылок между заданными границами (кнопка “FIND”);
– JSON POST данные теперь не нужно брать в [JSONREQUEST] (формирование JSON POST запроса в случае определения JSON POST данных теперь происходит автоматически);
– В функции поиск-замены добавлена возможность раскодирования BASE64;
– Теперь в параметре конца границ парсинга можно использовать [JSONAUTO] (автоматический поиск закрывающей фигурной или квадратной скобки, http://sbfactory.ru/cd/?p=5563);
– Макросы шаблона вывода [WBAPP] теперь вставляются с параметром [GETRESULT] и без параметра [ONETHREAD];
– Внутри макроса шаблона вывода [GENERATE] теперь можно использовать макросы [MATH] и [IF1];
– Оптимизирована функция вычисления динамических границ парсинга;
– Доработан макрос строки заголовка для генерации названий столбцов CSV (http://sbfactory.ru/cd/?p=4535);
– Во вкладку “Контент” добавлены инструменты для быстрой вставки и настройки часто используемых макросов шаблона вывода;
– Несколько других доработок.WBAppCEF 2.00
– Добавлено событие [WAITFORRESPONSE] (ожидание ответа на запрос к нужному URL);
– Добавлено событие [SCROLLBYSCREENTHENRETURN] (прокрутка WEB страницы вниз на высоту эркна и повтор событий);
– Добавлено событие [SKIP] (пропуск вложенных событий);
– ДОбавлено событие [SETZOOM] (установка скалирования отображения WEB страницы);
– В Javascript Manager добавлена функция создания скрипта на основе XPath из буфера обмена);
– Вставляемые в Javascript значения [PARAM] и [CDDATA] (передача данных из Content Downloader) теперь могут быть и многострочными;
– Множество других доработок.
Добрый день. Верните пожалуйста в лог парсинга максимальное кол-во записей как было раньше. 30к записей в логе крайне неудобно отслеживать незагруженные ссылки. Лог парсинга это второй по важности инструмент анализа – а 30к ну крайне неудобно. Спасибо!
Здравствуйте.
Не просто так поставили лимит на количество элементов лога.
Пользуйтесь функциями записи данных лога при парсинге.
Крайне неудобно. У меня парсинг динамично происходит приходится следить и останавливать часто чтобы после тутже копировать незагруженные ссылки и вновь их добавлять в очередь. Но пока сижу на версии от февраля где лимит еще стоит. И видимо не буду обновляться )
При нормальной настройке незагруженные ссылки вообще не должны появляться.
Никто вас обновляться и корректно настраивать проект не заставляет.
Также не понятно, почему вы следите и останавливаете часто. Когда в файлы данные лога пишутся без ограничений по количеству.