Новости | SBFactory – парсер контента, программа для наполнения интернет магазинов

Новости RSS

парсер контента, программа для наполнения интернет магазинов

Архивы рубрики: ‘Новости’

Использование режима экономии памяти (для парсинга огромных сайтов с целью поиска огромного количества ссылок, гораздо больше миллиона)

May 12th, 2018 2 коммент. »

Программе выделяется около 3,5 ГБ памяти (вне зависимости от количества оперативной памяти компьютера). Количество использования процессом памяти можно смотреть в диспетчере задач системы (ctrl+alt+delete). Если программа будет занимать более 3,5 ГБ памяти, возникнут ошибки.

Для парсинга огромных сайтов и для поиска огромного количества ссылок (гораздо больше, чем миллион) рекомендуется использовать режим работы сканера MemSave

(more…)

Рубрики: Новости

Теги: обзор обновления, сканер сайтов, функции

Генерация уникальных ЧПУ из любой текстовой строки

May 9th, 2018 1 коммент. »

Для генерации уникальных ЧПУ из любого текста (заголовок, ID, описание) при парсинге контента используется макрос шаблона вывода [SURLUNIQUE] (Semantic URL). Все сгенерированные ЧПУ будут уникальными даже при совпадении исходного для генерации текста (к дублям будет добавляться числовой индекс для переименования).

(more…)

Рубрики: Новости

Теги: макрос, обзор обновления, ЧПУ

Получение данных ответа сервера (код ответа, cookie, редирект, новый макрос [GETRESPONSE])

April 26th, 2018 0 коммент. »

1	[GETRESPONSE(какие данные получить и параметры)]ссылка[/GETRESPONSE]

1 2	[GETRESPONSE(HTTP_QUERY_RAW_HEADERS_CRLF)]ссылка[/GETRESPONSE] [GETRESPONSE(HTTP_QUERY_LOCATION{redirect_off})]ссылка[/GETRESPONSE]

В качестве ссылки указывается любой URL-адрес для отправки запроса.

Параметры:
{redirect_off} – отключение автоматического редиректа для работы только с первым отправленным запросом

В качестве данных для получения указываются специальные операторы:
HTTP_QUERY_RAW_HEADERS_CRLF – вывод списка всех полученных данных
HTTP_QUERY_CONTENT_TYPE – тип получаемого контента
HTTP_QUERY_CONTENT_LENGTH – длина получаемого контента
HTTP_QUERY_STATUS_CODE – код статуса ответа сервера
HTTP_QUERY_STATUS_TEXT – текст статуса ответа сервера
HTTP_QUERY_SET_COOKIE – получение установленных cookie
HTTP_QUERY_LOCATION – получение редиректной ссылки (должен быть добавлен параметр {redirect_off})

Полный список получаемых данных есть на этой странице
(more…)

Рубрики: Новости

Теги: обзор обновления

Content Downloader X1 версии 11.1.0000325

March 9th, 2018 2 коммент. »

Content Downloader X1 версии 11.1.0000325 (09.03.2018)

– Для макроса шаблона вывода [SAVETOFILE] добавлен оператор {rewrite_once} (http://sbfactory.ru/cd/?p=1984);
– Примерно на 200 процентов ускорена функция извлечения ссылок из кода сканером сайтов;
– Несколько других доработок.

Content Downloader X1 версии 11.1.0000323 (08.03.2018)

– Значительно доработан инструмент загрузки XML-карт сайтов (теперь работает с большими объемами данных и имеет логи);
– В инструмент предпросмотра результатов парсинга контента добавлена информация о количестве символов в выбранной ячейке CSV (правый клик по полю с кодом);
– Несколько других доработок.

Content Downloader X1 версии 11.1.0000319 (07.03.2018)

– Добавлен макрос шаблона вывода [HTMLTABLE_MERGELINES];
– При использовании макросов обработки HTML-таблиц в памяти в лог выполнения функций окна предпросмотра теперь поэтапно добавляются все изменения над таблицами;
– Теперь очередь ссылок сканера сайтов сохраняется в файл проекта (если в ней менее 10 000 элементов);
– Множество других доработок.

Content Downloader X1 версии 11.1.0000318 (28.02.2018)

– Макрос [GETREDIRECT] теперь может использовать библиотеку WIN для отправки запросов (http://sbfactory.ru/cd/?p=2753);
– Несколько других доработок.

Content Downloader X1 версии 11.1.0000314 (26.02.2018)

– Авторизация методом POST теперь корректно работает с HTTPS-сайтами (ctrl+k);
– В инструмент “скачать картинки” (в редакторе CSV файлов) добавлены дополнительные опции переименования и сохранения;
– В используемые в программе объекты Internet Explorer введена поддержка GPU (теперь программа работает быстрее с графически-насыщенными WEB-страницами);
– Для браузера окна предпросмотра результатов парсинга контента добавлена возможность выбора кодировки;
– Несколько других доработок.

Content Downloader X1 версии 11.1.0000312 (20.02.2018)

– Несколько доработок.

WBApp v 3.37

– Добавлено событие [WAITFORHTML] (ожидание появления указанной подстроки в коде WEB-страницы).

Content Downloader X1 версии 11.1.0000311 (19.02.2018)

– Теперь можно автоматически загружать на FTP файлы, созданные макросом [SAVETOFILE] (http://sbfactory.ru/cd/?p=1984);
– Несколько доработок.