Парсинг контента и ссылок с использованием POST-запросов

Для парсинга с использованием POST запросов во вкладке “Контент” или во вкладке “Ссылки” используйте окно настройки shift+ctrl+p. Также окно настройки POST запросов можно вызвать из окна ctrl+h.

Content Downloader

Также в окне ctrl+h не забудьте включить библиотеку Clever Internet Suite (CIS), так как она позволяет полноценно отправлять POST запросы.

Внимательно ознакомьтесь с оформлением POST данных (обратите внимание на передачу многострочных параметров и оформление JSON POST запроса)
– Оформление POST данных для библиотеки Clever Internet Suite (CIS)

Примечание: Если вам нужно подгружать к основным страницам (которые парсите) дополнительную информацию с помощью POST или GET запросов, используйте для этого макросы шаблона вывода <PHP_SCRIPT> или <GETMORECONTENT>.

Окно настройки POST запросов при парсинге во вкладке “Контент” или “Ссылки” (shift+ctrl+p) выглядит следующим образом

Content Downloader

Для получения URL для POST запросов и отправляемых POST данных пользуйтесь способом, показанным в этом материале.

Примечание: В POST данных окна shift+ctrl+p можно использовать значения [PARAM] из ссылок (по которым парсите).





Смотрите также:

– Оформление POST данных для библиотеки Clever Internet Suite (CIS)


1 Star2 Stars3 Stars4 Stars5 Stars (оценок: 3, средний балл: 5.00)

Loading...
Автор: admin, 19 September 2015
Рубрики: Парсинг
Tags: , ,
Есть 2 коммент. к сообщению: “Парсинг контента и ссылок с использованием POST-запросов”
  1. Макс says:

    А как мне не сайту передать POST, а своему скрипту на сервере, который генерирует что-либо!
    Т.е. не GET-ом в строке “введите адрес карты сайта” как я делаю до сих пор …ru/p/parse_list.php?p_some=secret_info.
    А чтобы p_some параметр передавался POST-ом! (хочется безопасней)
    Так же как в окне операций ф-цией PHP_SCRIPT:

    p_param=[DATAENCODE][PARAM][/DATAENCODE]
    p_info=[DATAENCODE][/DATAENCODE]

    Я хочу в окне генераций ссылок передать POST-ом.
    Чтобы обезопасить скрипт от всяких GET переборов со стороны вредителей. Не хочется этот скрипт постоянно добавлять/убирать каждый парсинг.

    • admin says:

      Здравствуйте.

      Функция загрузки карты сайта не поддерживает POST-метод отправки запросов.

      Если вы создатите скрипт на своем сервере и нигде не опубликуете на него ссылку, как я понимаю, его даже поисковики не найдут! Я считаю ваши опасения необоснованными и рекомендую передавать параметр p_some в ссылке.

      Если так необходимо передавать параметр именно POST-методом, парсите вашу карту сайта во вкладке ссылки (там поддерживается метод POST). Парсить карту сайта во вкладке ссылки можно настроив функцию поиска ссылок (кнопка с текстом FIND во вкладке ссылки).

      Если у вас появятся еще вопросы, пожалуйста, задавайте их на нашем форуме http://forum.sbfactory.ru/

      Спасибо!

Написать комментарий к admin

Последние статьи

css.php