Новости | SBFactory – парсер контента, программа для наполнения интернет магазинов

Архивы рубрики: ‘Новости’

Генерация уникальных ЧПУ из любой текстовой строки

Для генерации уникальных ЧПУ из любого текста (заголовок, ID, описание) при парсинге контента используется макрос шаблона вывода [SURLUNIQUE] (Semantic URL). Все сгенерированные ЧПУ будут уникальными даже при совпадении исходного для генерации текста (к дублям будет добавляться числовой индекс для переименования).

Content Downloader

Content Downloader
(more…)

Получение данных ответа сервера (код ответа, cookie, редирект, новый макрос [GETRESPONSE])

1
[GETRESPONSE(какие данные получить и параметры)]ссылка[/GETRESPONSE]
1
2
[GETRESPONSE(HTTP_QUERY_RAW_HEADERS_CRLF)]ссылка[/GETRESPONSE]
[GETRESPONSE(HTTP_QUERY_LOCATION{redirect_off})]ссылка[/GETRESPONSE]

В качестве ссылки указывается любой URL-адрес для отправки запроса.

Параметры:
{redirect_off} – отключение автоматического редиректа для работы только с первым отправленным запросом

В качестве данных для получения указываются специальные операторы:
HTTP_QUERY_RAW_HEADERS_CRLF – вывод списка всех полученных данных
HTTP_QUERY_CONTENT_TYPE – тип получаемого контента
HTTP_QUERY_CONTENT_LENGTH – длина получаемого контента
HTTP_QUERY_STATUS_CODE – код статуса ответа сервера
HTTP_QUERY_STATUS_TEXT – текст статуса ответа сервера
HTTP_QUERY_SET_COOKIE – получение установленных cookie
HTTP_QUERY_LOCATION – получение редиректной ссылки (должен быть добавлен параметр {redirect_off})

Полный список получаемых данных есть на этой странице
(more…)

Content Downloader X1 версии 11.1.0000325

Content Downloader X1 версии 11.1.0000325 (09.03.2018)

– Для макроса шаблона вывода [SAVETOFILE] добавлен оператор {rewrite_once} (http://sbfactory.ru/cd/?p=1984);
– Примерно на 200 процентов ускорена функция извлечения ссылок из кода сканером сайтов;
– Несколько других доработок.

Content Downloader X1 версии 11.1.0000323 (08.03.2018)

– Значительно доработан инструмент загрузки XML-карт сайтов (теперь работает с большими объемами данных и имеет логи);
– В инструмент предпросмотра результатов парсинга контента добавлена информация о количестве символов в выбранной ячейке CSV (правый клик по полю с кодом);
– Несколько других доработок.

Content Downloader X1 версии 11.1.0000319 (07.03.2018)

– Добавлен макрос шаблона вывода [HTMLTABLE_MERGELINES];
– При использовании макросов обработки HTML-таблиц в памяти в лог выполнения функций окна предпросмотра теперь поэтапно добавляются все изменения над таблицами;
– Теперь очередь ссылок сканера сайтов сохраняется в файл проекта (если в ней менее 10 000 элементов);
– Множество других доработок.

Content Downloader X1 версии 11.1.0000318 (28.02.2018)

– Макрос [GETREDIRECT] теперь может использовать библиотеку WIN для отправки запросов (http://sbfactory.ru/cd/?p=2753);
– Несколько других доработок.

Content Downloader X1 версии 11.1.0000314 (26.02.2018)

– Авторизация методом POST теперь корректно работает с HTTPS-сайтами (ctrl+k);
– В инструмент “скачать картинки” (в редакторе CSV файлов) добавлены дополнительные опции переименования и сохранения;
– В используемые в программе объекты Internet Explorer введена поддержка GPU (теперь программа работает быстрее с графически-насыщенными WEB-страницами);
– Для браузера окна предпросмотра результатов парсинга контента добавлена возможность выбора кодировки;
– Несколько других доработок.

Content Downloader X1 версии 11.1.0000312 (20.02.2018)

– Несколько доработок.

WBApp v 3.37

– Добавлено событие [WAITFORHTML] (ожидание появления указанной подстроки в коде WEB-страницы).

Content Downloader X1 версии 11.1.0000311 (19.02.2018)

– Теперь можно автоматически загружать на FTP файлы, созданные макросом [SAVETOFILE] (http://sbfactory.ru/cd/?p=1984);
– Несколько доработок.

(more…)

Как наполнить таблицу CSV картинками из Google (выбирая их вручную)

Как наполнить таблицу CSV картинками из Google (выбирая их вручную)



(more…)

Загрузка (скачивание) картинок из интернет по ссылкам в таблице CSV

Загрузка (скачивание) картинок из интернет по ссылкам в таблице CSV



(more…)

Специальное предложение: 2 года подписки на обновления и дополнительные услуги за 1000 рублей


(more…)

Content Downloader X1 версии 11.1.0000233

Content Downloader X1 версии 11.1.0000233 (02.09.2017)

– Добавлен макрос для подключения и дозаписи данных в XML-файлы ([LOADXML], [XMLADD]);
– В макрос GETMORECONTENT добавлен параметр [NOCACHE] (отключение кеширования кода загружаемого WEB-документа при обращении к одной и той же ссылке из подряд-идущих макросов GETMORECONTENT);
– В редакторе шаблона вывода появилась возможность использовать новый вид комментирования частей кода или внесения любых текстовых комментариев (нажать tab и после спец-символа прописать комментарий (такое комментирование действует до конца строки));
– Множество других доработок.

Content Downloader X1 версии 11.1.0000231 (20.08.2017)

– Функция загрузки ссылок из XML-карт сайтов теперь имеет возможность определять новые ссылки по XML-атрибуту lastmod;
– Действие Флажков “обязательна” (из дополнительных настроек границ парсинга (ctrl+4)) теперь распространяется и на обычные границы парсинга, заданные внутри повторяющихся (циклы с “отмеченными” пустыми границами будут пропускаться);
– Функция загрузки XML-карт сайтов теперь имеет опцию включения использования библиотеки Windows для отправки запроса;
– В сканер сайтов добавлена опция учитывания значений [PARAM] при отсеивании дублей ссылок списка выдачи (при парсинге [PARAM] из кода WEB-документов);
– Несколько других доработок.

Content Downloader X1 версии 11.1.0000230 (20.07.2017)

HPPYBRTHDTE_30YRS!!!

– Множество доработок.

Content Downloader X1 версии 11.1.0000203 (01.07.2017)

– Макрос шаблона вывода [FIRST_REPLACE] теперь срабатывает раньше (перед всеми другими макросами);
– Доработан макрос шаблона вывода [URLDECODE];
– Множество других доработок.

Content Downloader X1 версии 11.1.0000201 (30.06.2017)

– Несколько доработок.

WBApp v 3.15

– Устранена ошибка Access Violation;
– Несколько доработок.

Content Downloader X1 версии 11.1.0000189 (29.06.2017)

– Несколько доработок.

WBApp v 3.11

– Добавлено событие [WAITFORSCRIPTS] (ожидание загрузки скриптов на WEB-странице);
– Несколько доработок.

Content Downloader X1 версии 11.1.0000188 (28.06.2017)

– Несколько доработок.

WBApp v 3.07

– Теперь событие [CLICK] с [ET_WAITFOR] не останавливает работу встроенного в WBApp браузера (ранее это событие могло препядствовать появлению некоторых WEB-страниц в браузере);
– Несколько доработок.

Content Downloader X1 версии 11.1.0000187 (26.06.2017)

– Повышение стабильности;
– Несколько доработок.

Content Downloader X1 версии 11.1.0000181 (25.06.2017)

– Появилась возможность обрабатывать и загружать на FTP rendered-изображения, созданные в WBApp (http://sbfactory.ru/cd/?p=2532).

Content Downloader X1 версии 11.1.0000179 (25.06.2017)

HotFix!

– Несколько доработок.

WBApp v 3.07

– Несколько доработок.

Content Downloader X1 версии 11.1.0000178 (21.06.2017)

– Во вкладке “Ссылки” появилась возможность включать/отключать передачу значений [PARAM] при парсинге;
– Множество других доработок.

Content Downloader X1 версии 11.1.0000177 (17.06.2017)

– Добавлен макрос шаблона вывода [COPYCSVDATA] (копирование данных из одного CSV-файла на диске в другой);
– Добавлен макрос шаблона вывода [CSVREPLACE] (применение функции поиск-замены к указанным ячейкам CSV-файла на диске);
– Добавлен макрос шаблона вывода [DELFILESTRING] (удаление нужной строки из текстового файла на диске);
– Макрос шаблона вывода [FILEACTIONS] теперь может удалять указанные файлы с FTP-сервера;
– Несколько других доработок.

Content Downloader X1 версии 11.1.0000171 (14.06.2017)

– Добавлен макрос шаблона вывода [FILEACTIONS] (копирование, перемещение, удаление файлов на диске);
– Функция загрузки карты сайта теперь берет настройки HTTP-запросов из окна ctrl+h и поддерживает библиотеку CIS.

Content Downloader (more…)