Архивы рубрики: ‘Новости’

Добавление текстовых заметок к коду шаблона вывода, комментирование частей кода шаблона вывода

http://sbfactory.ru/cd/?p=3857
(more…)

В функцию поск-замены программы добавлена новая возможность обработки кода

Подробнее смотрим тут
(more…)

Работа с вложенными блоками кода шаблона вывода

Перейти на страницу системы помощи
(more…)

Использование режима экономии памяти (для парсинга огромных сайтов с целью поиска огромного количества ссылок, гораздо больше миллиона)

Программе выделяется около 3,5 ГБ памяти (вне зависимости от количества оперативной памяти компьютера). Количество использования процессом памяти можно смотреть в диспетчере задач системы (ctrl+alt+delete). Если программа будет занимать более 3,5 ГБ памяти, возникнут ошибки.

Для парсинга огромных сайтов и для поиска огромного количества ссылок (гораздо больше, чем миллион) рекомендуется использовать режим работы сканера MemSave

Content Downloader

Content Downloader
(more…)

Генерация уникальных ЧПУ из любой текстовой строки

Для генерации уникальных ЧПУ из любого текста (заголовок, ID, описание) при парсинге контента используется макрос шаблона вывода [SURLUNIQUE] (Semantic URL). Все сгенерированные ЧПУ будут уникальными даже при совпадении исходного для генерации текста (к дублям будет добавляться числовой индекс для переименования).

Content Downloader

Content Downloader
(more…)

Получение данных ответа сервера (код ответа, cookie, редирект, новый макрос [GETRESPONSE])

1
[GETRESPONSE(какие данные получить и параметры)]ссылка[/GETRESPONSE]
1
2
[GETRESPONSE(HTTP_QUERY_RAW_HEADERS_CRLF)]ссылка[/GETRESPONSE]
[GETRESPONSE(HTTP_QUERY_LOCATION{redirect_off})]ссылка[/GETRESPONSE]

В качестве ссылки указывается любой URL-адрес для отправки запроса.

Параметры:
{redirect_off} – отключение автоматического редиректа для работы только с первым отправленным запросом

В качестве данных для получения указываются специальные операторы:
HTTP_QUERY_RAW_HEADERS_CRLF – вывод списка всех полученных данных
HTTP_QUERY_CONTENT_TYPE – тип получаемого контента
HTTP_QUERY_CONTENT_LENGTH – длина получаемого контента
HTTP_QUERY_STATUS_CODE – код статуса ответа сервера
HTTP_QUERY_STATUS_TEXT – текст статуса ответа сервера
HTTP_QUERY_SET_COOKIE – получение установленных cookie
HTTP_QUERY_LOCATION – получение редиректной ссылки (должен быть добавлен параметр {redirect_off})

Полный список получаемых данных есть на этой странице
(more…)

Content Downloader X1 версии 11.1.0000325

Content Downloader X1 версии 11.1.0000325 (09.03.2018)

– Для макроса шаблона вывода [SAVETOFILE] добавлен оператор {rewrite_once} (http://sbfactory.ru/cd/?p=1984);
– Примерно на 200 процентов ускорена функция извлечения ссылок из кода сканером сайтов;
– Несколько других доработок.

Content Downloader X1 версии 11.1.0000323 (08.03.2018)

– Значительно доработан инструмент загрузки XML-карт сайтов (теперь работает с большими объемами данных и имеет логи);
– В инструмент предпросмотра результатов парсинга контента добавлена информация о количестве символов в выбранной ячейке CSV (правый клик по полю с кодом);
– Несколько других доработок.

Content Downloader X1 версии 11.1.0000319 (07.03.2018)

– Добавлен макрос шаблона вывода [HTMLTABLE_MERGELINES];
– При использовании макросов обработки HTML-таблиц в памяти в лог выполнения функций окна предпросмотра теперь поэтапно добавляются все изменения над таблицами;
– Теперь очередь ссылок сканера сайтов сохраняется в файл проекта (если в ней менее 10 000 элементов);
– Множество других доработок.

Content Downloader X1 версии 11.1.0000318 (28.02.2018)

– Макрос [GETREDIRECT] теперь может использовать библиотеку WIN для отправки запросов (http://sbfactory.ru/cd/?p=2753);
– Несколько других доработок.

Content Downloader X1 версии 11.1.0000314 (26.02.2018)

– Авторизация методом POST теперь корректно работает с HTTPS-сайтами (ctrl+k);
– В инструмент “скачать картинки” (в редакторе CSV файлов) добавлены дополнительные опции переименования и сохранения;
– В используемые в программе объекты Internet Explorer введена поддержка GPU (теперь программа работает быстрее с графически-насыщенными WEB-страницами);
– Для браузера окна предпросмотра результатов парсинга контента добавлена возможность выбора кодировки;
– Несколько других доработок.

Content Downloader X1 версии 11.1.0000312 (20.02.2018)

– Несколько доработок.

WBApp v 3.37

– Добавлено событие [WAITFORHTML] (ожидание появления указанной подстроки в коде WEB-страницы).

Content Downloader X1 версии 11.1.0000311 (19.02.2018)

– Теперь можно автоматически загружать на FTP файлы, созданные макросом [SAVETOFILE] (http://sbfactory.ru/cd/?p=1984);
– Несколько доработок.

(more…)