Макрос шаблона вывода GETMORECONTENT (для задания границ парсинга с разных url)

---

Макрос GETMORECONTENT прописывается в шаблоне вывода. С помощью этого макроса можно парсить документы, части которых располагаются на разных url-адресах. Также можно задать неограниченное количество границ парсинга (прописав в параметр URL макрос [SELF] или CD_DOCURL! – ссылка на текущий документ, но теперь для этого есть динамические границы парсинга).

<GETMORECONTENT><URL="http://SBFactory.ru"><START="<title>"><STARTCOUNT="0"><END="</title>"><ENDCOUNT="0"><PARAMS="htmtotxt,tocsv"></GETMORECONTENT>

Если прописать макрос с вышеуказанными параметрами, то он вернет

SBFactory - парсер контента, программа для наполнения интернет магазинов

URL – адрес страницы, с которой будет парсится текст (только абсолютные ссылки). Если вместо ссылки задать [SELF], то контент будет браться с текущей страницы (с которой парсим);
START – начало парсинга (символ " экранируется фигурными скобками: {"} );
STARTCOUNT – номер тега начала парсинга (так же, как и для обычных границ парсинга);
END – конец парсинга (символ " экранируется фигурными скобками: {"} );
ENDCOUNT – номер тега конца парсинга (так же как и для обычных границ парсинга);
PARAMS – дополнительные параметры (htmtotxt – преобразовать html-код в текст, withgran – парсить вместе с границами, withfirstgran – парсить только с первой границей, tocsv – преобразовать текст в одну строку, koi – указать кодировку контента koi, utf-8 – указать кодировку контента utf-8, ansi – указать кодировку контента ansi, custom – указать пользовательскую кодировку (любую кодировку, настраивается в ctrl+8 -> вкладка “кодировки”), auto – АВТОМАТИЧЕСКИЙ ПОИСК ТЕКСТА СТАТЬИ В КОДЕ ДОКУМЕНТА, БЕЗ ЗАДАНИЯ START и END).

Макрос поддерживает вложенное выполнение другого макроса GETMORECONTENT (внутри себя)!


Как запускать GETMORECONTENT до выполнения большинства других макросов

Макрос GETMORECONTENT выполняется почти после всех других макросов. Если вам нужно выполнять его в самом начале, поместите оператор [1] сразу после <GETMORECONTENT>

<GETMORECONTENT>[1]<URL="...

Если вы хотите передать в макрос произвольные HTTP-заголовки, то добавьте <HEADERS>HTTP-заголовки</HEADERS> в любое место ВНУТРИ макроса (заголовки разделяются переносом строки и вводятся в формате имя: значение):

<GETMORECONTENT><URL="http://SBFactory.ru"><HEADERS>имя 1: значение1
имя2: значение2
имя3: значение3</HEADERS><START="<title>"><STARTCOUNT="0"><END="</title>"><ENDCOUNT="0"><PARAMS="htmtotxt,tocsv"></GETMORECONTENT>

Если для отправки запроса требуется использовать библиотеку WIN, добавьте параметр [WINLIB] в конец URL-адреса:

<GETMORECONTENT><URL="http://SBFactory.ru[WINLIB]"><START="<title>"><STARTCOUNT="0"><END="</title>"><ENDCOUNT="0"><PARAMS="htmtotxt,tocsv"></GETMORECONTENT>

Если для загрузки кода макросом GETMORECONTENT требуется использовать WBApp, то добавьте [WBAPPMODE] в конец параметра URL:

<GETMORECONTENT><URL="http://SBFactory.ru[WBAPPMODE]"><START="<title>"><STARTCOUNT="0"><END="</title>"><ENDCOUNT="0"><PARAMS="htmtotxt,tocsv"></GETMORECONTENT>

А если требуется использовать WBApp с запуском нужного проекта, то действуйте примерно таким образом:

<GETMORECONTENT><URL="http://SBFactory.ru[WBAPPMODE(c:\12.wbapp)]"><START="<title>"><STARTCOUNT="0"><END="</title>"><ENDCOUNT="0"><PARAMS="htmtotxt,tocsv"></GETMORECONTENT>

Где c:\12.wbapp – путь к нужному проекту WBApp.


Если есть несколько подряд-идущих макросов <GETMORECONTENT>, которые выполняют запрос к одному и тому же URL, то первый макрос загрузит код WEB-документа, а остальные возьмут код из кеша. Чтобы отключить кеширование кода, вставьте оператор [NOCACHE] в параметр URL:

<GETMORECONTENT><URL="[NOCACHE]http://SBFactory.ru[WBAPPMODE(c:\12.wbapp)]"><START="<title>"><STARTCOUNT="0"><END="</title>"><ENDCOUNT="0"><PARAMS="htmtotxt,tocsv"></GETMORECONTENT>

В макросе GETMORECONTENT по умолчанию используются GET-запросы. Если вам нужно использовать POST-запросы, добавьте оператор [POST] в конец параметра URL:

<GETMORECONTENT><URL="http://SBFactory.ru[POST]"><START="<title>"><STARTCOUNT="0"><END="</title>"><ENDCOUNT="0"><PARAMS="htmtotxt,tocsv"></GETMORECONTENT>

А если нужно передать POST-data, то вместо оператора [POST] используйте конструкцию [POST]POST-data[/POST]:

<GETMORECONTENT><URL="http://SBFactory.ru[POST]p=600[/POST]"><START="<title>"><STARTCOUNT="0"><END="</title>"><ENDCOUNT="0"><PARAMS="htmtotxt,tocsv"></GETMORECONTENT>

Пример использования макроса шаблона вывода GETMORECONTENT с параметром [SELF] (парсим с той же страницы, например, для задания неограниченного количества границ парсинга):

Пример использования макроса шаблона вывода GETMORECONTENT для парсинга данных с другого url-адреса (отличного от того, с которого парсим):

PS:
– Если макрос GETMORECONTENT вызывается несколько раз ПОДРЯД к одному и тому же адресу, то произойдет один запрос (для остальных будет загрузка кода WEB-документа из кеша);
– Если не задать параметры START и END, то в результате работы макроса будет будет весь код WEB-документа;
– Для подгрузки “цикличных” данных используйте макрос [GETMORECYCLECONTENT].

(оценок: 22, средний балл: 4.82)

Loading...