Передача произвольных HTTP-заголовков (custom headers) при парсинге контента и ссылок

В Content Downloader можно прописывать различные HTTP-заголовки (Custom Headers) к HTTP-запросам (при использовании библиотек Indy и Clever Internet Suite). Custom Headers прописываются в соответствующее поле в окне настройки HTTP-запросов программы (ctrl+h).

Пример задания Custom Headers:

1
2
referer: http://SBFactory.ru
User-Agent: MSIE 8.0

Также имеется поддержка следующих макросов:
[SELF] – вставит в HTTP-заголовок адрес текущего документа (который парсите)
[PARAM] – вставит в заголовок текст, который стоит в ссылке (которую парсите) после [PARAM]:

Например, имеем такие заголовки:

1
2
referer: [SELF]
User-Agent: [PARAM]

То, при парсинге ссылки http://SBFactory.ru[PARAM]:MSIE 11.0{br}cookies: data=datatext в HTTP-заголовках запроса будут передаваться следующие данные:

1
2
3
4
referer: http://SBFactory.ru
User-Agent: MSIE 11.0
cookies: data=datatext
...

Чтобы передать многострочные данные из PARAM, необходимо разделить строки макросом {br}, как и указано в примере выше.

Желаем вам успехов в работе!

1 Star2 Stars3 Stars4 Stars5 Stars (оценок: 1, средний балл: 5.00)
Loading...
Автор: admin, 24 June 2014
Рубрики: Парсинг
Tags: , , , ,
Есть 2 коммент. к сообщению: “Передача произвольных HTTP-заголовков (custom headers) при парсинге контента и ссылок”
  1. гость says:

    Сайт отдает данные, только если Content-Type: application/json
    А программа через PHP_SCRIPT всегда отправляет Content-Type: application/x-www-form-urlencoded, и переопределение через окно заголовков не работает: отправляются сразу два Content-Type, и сайт выдает ошибку.
    Можете сделать приоритет вручную заданных заголовков над стандартными?

Написать комментарий

Последние статьи

css.php