Как делать HTTP/HTTPS POST или GET запросы в программе (базовая информация)

---

HTTP Запрос может быть двух видов:

GET запрос (обычный запрос к URL)
POST запрос (запрос к URL с отправкой POST данных (текст, файлы, JSON))

В ответ на GET или POST запрос сервер может вернуть контент (когда вы открываете сайт в браузере, происходят GET/POST запросы для получения контента от сервера/сайта).

Примечание: Если в ссылке присутствует символ #, то все, что стоит после него, не будет учитываться при выполнении POST или GET запроса. Информация в URL, что стоит после символа решетки учитывается только WEB браузером.

При формировании POST запроса нужно правильно оформить POST Данные. Смотрите оформление POST данных для библиотеки Clever Internet Suite (CIS).

По умолчанию в инструментах программы используются GET запросы.


Для парсинга документов с использованием POST запросов во вкладке “Контент” или “Ссылки” пользуйтесь таким методом:
Как парсить во вкладке «Контент» или «Ссылки» с использованием POST-запросов

Для создания дополнительных GET или POST запросов из шаблона вывода при парсинге во вкладке “Контент” (с целью подгрузки дополнительных данных или отправки данных) используйте макросы:
GETMORECONTENT
PHP_SCRIPT


Для того, чтобы узнать нужную информацию о GET или POST запросах пользуйтесь инструментом браузера Firefox под названием “Монитор сети” (shift+ctrl+e в Firefox). Это нужно, когда вы парсите сайты, где данные подгружаются скриптами WEB страницы.

Запросы в мониторе сети Firefox будут появляться в режиме реального времени в виде списка (например, когда вы загрузили WEB-страницу или кликнули по какой-либо кнопке WEB страницы для подгрузки данных, например: “узнать цену” или “отправить комментарий”.

После того, как вы узнали данные о запросе (URL, POST data, HTTP Headers) вы можете воссоздать нужные запросы в Content Downloader с помощью нужных инструментов:

Как парсить во вкладке «Контент» или «Ссылки» с использованием POST-запросов
   – Заголовки запроса (custom headers) и POST данные устанавливаются в окне настроек HTTP запросов программы (ctrl+h)

Как при парсинге во вкладке “Контент” подгружать дополнительные данные (или отправлять данные) с помощью GET или POST запроса макросом шаблона вывода GETMORECONTENT
   – Заголовки запроса (custom headers) и POST данные устанавливаются в параметрах макроса

Как при парсинге во вкладке “Контент” подгружать дополнительные данные (или отправлять данные) с помощью GET или POST запроса макросом шаблона вывода PHP_SCRIPT
   – Заголовки запроса (custom headers) и POST данные устанавливаются в параметрах макроса


Для выполнения большинства GET запросов достаточно знать и указать его URL. Если запросы не выполняются, установите и заголовки запроса.

Для выполнения большинства POST запросов достаточно знать и указать URL и POST данные. Если запросы не выполняются, установите и заголовки запроса.

Возможные нюансы

Если ответ на запрос пришел в виде GZIP и автоматически не распаковался

То уберите строку с gzip из custom headers

1

Accept-Encoding: gzip, deflate, br

При выполнении POST запроса обратите внимание на параметр “применять percent-encoding для отправляемых POST данных”

Если вы вставляете POST данные в percent-encoding (%2A…), то этот параметр нужно отключить.


(оценок: 3, средний балл: 3.67)

Loading...