Как делать HTTP/HTTPS POST или GET запросы в программе (базовая информация)

HTTP Запрос может быть двух видов:

GET запрос (обычный запрос к URL)
POST запрос (запрос к URL с отправкой POST данных (текст, файлы, JSON))

В ответ на GET или POST запрос сервер может вернуть контент (когда вы открываете сайт в браузере, происходят GET/POST запросы для получения контента от сервера/сайта).

Примечание: Если в ссылке присутствует символ #, то все, что стоит после него, не будет учитываться при выполнении POST или GET запроса. Информация в URL, что стоит после символа решетки учитывается только WEB браузером.

При формировании POST запроса нужно правильно оформить POST Данные. Смотрите оформление POST данных для библиотеки Clever Internet Suite (CIS).

По умолчанию в инструментах программы используются GET запросы.


Для парсинга документов с использованием POST запросов во вкладке «Контент» или «Ссылки» пользуйтесь таким методом:
Как парсить во вкладке «Контент» или «Ссылки» с использованием POST-запросов

Для создания дополнительных GET или POST запросов из шаблона вывода при парсинге во вкладке «Контент» (с целью подгрузки дополнительных данных или отправки данных) используйте макросы:
GETMORECONTENT
PHP_SCRIPT


Для того, чтобы узнать нужную информацию о GET или POST запросах пользуйтесь инструментом браузера Firefox под названием «Монитор сети» (shift+ctrl+e в Firefox). Это нужно, когда вы парсите сайты, где данные подгружаются скриптами WEB страницы.

Запросы в мониторе сети Firefox будут появляться в режиме реального времени в виде списка (например, когда вы загрузили WEB-страницу или кликнули по какой-либо кнопке WEB страницы для подгрузки данных, например: «узнать цену» или «отправить комментарий».

Монитор сети Firefox


После того, как вы узнали данные о запросе (URL, POST data, HTTP Headers) вы можете воссоздать нужные запросы в Content Downloader с помощью нужных инструментов:

Как парсить во вкладке «Контент» или «Ссылки» с использованием POST-запросов
   — Заголовки запроса (custom headers) и POST данные устанавливаются в окне настроек HTTP запросов программы (ctrl+h)

Как при парсинге во вкладке «Контент» подгружать дополнительные данные (или отправлять данные) с помощью GET или POST запроса макросом шаблона вывода GETMORECONTENT
   — Заголовки запроса (custom headers) и POST данные устанавливаются в параметрах макроса

Как при парсинге во вкладке «Контент» подгружать дополнительные данные (или отправлять данные) с помощью GET или POST запроса макросом шаблона вывода PHP_SCRIPT
   — Заголовки запроса (custom headers) и POST данные устанавливаются в параметрах макроса


Для выполнения большинства GET запросов достаточно знать и указать его URL. Если запросы не выполняются, установите и заголовки запроса.

Для выполнения большинства POST запросов достаточно знать и указать URL и POST данные. Если запросы не выполняются, установите и заголовки запроса.


Возможные нюансы

Если ответ на запрос пришел в виде GZIP и автоматически не распаковался

нераспакованный GZip

То уберите строку с gzip из custom headers

1
Accept-Encoding: gzip, deflate, br



При выполнении POST запроса обратите внимание на параметр «применять percent-encoding для отправляемых POST данных»

Content Downloader

Если вы вставляете POST данные в percent-encoding (%2A…), то этот параметр нужно отключить.


1 Star2 Stars3 Stars4 Stars5 Stars (Еще нет оценок)

Загрузка...
Автор: admin, 7 февраля 2020
Рубрики: Парсинг
Метки: , , , ,

Последние статьи

css.php