Новости | SBFactory – парсер контента, программа для наполнения интернет магазинов

Архивы рубрики: ‘Новости’

Разработана новая функция автоматического поиска текста статьи в коде WEB-документа

С выходом обновления Content Downloader X1 версии 11.1.0000523 (27.11.2018) доступна новая функция автоматического поиска текста статьи в коде WEB-документа (функция 1).

При создании новых проектов программы она выбирается автоматически. В старых проектах будет выбрана старая функция автоматического поиска текста статьи (функция 2).

Content Downloader
(more…)

Добавление текстовых заметок к коду шаблона вывода, комментирование частей кода шаблона вывода

http://sbfactory.ru/cd/?p=3857
(more…)

В функцию поск-замены программы добавлена новая возможность обработки кода

Подробнее смотрим тут
(more…)

Работа с вложенными блоками кода шаблона вывода

Перейти на страницу системы помощи
(more…)

Использование режима экономии памяти (для парсинга огромных сайтов с целью поиска огромного количества ссылок, гораздо больше миллиона)

Программе выделяется около 3,5 ГБ памяти (вне зависимости от количества оперативной памяти компьютера). Количество использования процессом памяти можно смотреть в диспетчере задач системы (ctrl+alt+delete). Если программа будет занимать более 3,5 ГБ памяти, возникнут ошибки.

Для парсинга огромных сайтов и для поиска огромного количества ссылок (гораздо больше, чем миллион) рекомендуется использовать режим работы сканера MemSave

Content Downloader

Content Downloader
(more…)

Генерация уникальных ЧПУ из любой текстовой строки

Для генерации уникальных ЧПУ из любого текста (заголовок, ID, описание) при парсинге контента используется макрос шаблона вывода [SURLUNIQUE] (Semantic URL). Все сгенерированные ЧПУ будут уникальными даже при совпадении исходного для генерации текста (к дублям будет добавляться числовой индекс для переименования).

Content Downloader

Content Downloader
(more…)

Получение данных ответа сервера (код ответа, cookie, редирект, новый макрос [GETRESPONSE])

1
[GETRESPONSE(какие данные получить и параметры)]ссылка[/GETRESPONSE]
1
2
[GETRESPONSE(HTTP_QUERY_RAW_HEADERS_CRLF)]ссылка[/GETRESPONSE]
[GETRESPONSE(HTTP_QUERY_LOCATION{redirect_off})]ссылка[/GETRESPONSE]

В качестве ссылки указывается любой URL-адрес для отправки запроса.

Параметры:
{redirect_off} – отключение автоматического редиректа для работы только с первым отправленным запросом

В качестве данных для получения указываются специальные операторы:
HTTP_QUERY_RAW_HEADERS_CRLF – вывод списка всех полученных данных
HTTP_QUERY_CONTENT_TYPE – тип получаемого контента
HTTP_QUERY_CONTENT_LENGTH – длина получаемого контента
HTTP_QUERY_STATUS_CODE – код статуса ответа сервера
HTTP_QUERY_STATUS_TEXT – текст статуса ответа сервера
HTTP_QUERY_SET_COOKIE – получение установленных cookie
HTTP_QUERY_LOCATION – получение редиректной ссылки (должен быть добавлен параметр {redirect_off})

Полный список получаемых данных есть на этой странице
(more…)