Авторизация на сайтах

В Content Downloader можно использовать три библиотеки для отправки запросов (выбор библиотеки осуществляется в настройке HTTP-запросов программы (ctrl+h)):
— Indy (простой GET-запрос) (можно авторизоваться передачей cookies или POST-методом)
— Clever Internet Suite (простой GET-запрос) (можно авторизоваться передачей cookies)
— Internet Explorer (DOM) (Парсинг через Internet Explorer системы с выполнением скриптов + распознавание капчи, автоматическая имитация кликов и прочих действий в браузере) (можно авторизоваться во встроенном браузере обычным вводом логина и пароля (вкладка «контент» — группа «загрузка WEB-документа» — кнопка «авторизация с помощью cookies или с помощью выполнения POST-Запроса») либо автоматически с помощью проекта WBApp с авто-вставкой логина и пароля).

ВАЖНО!: В некоторые модули программы встроен браузер Internet Explorer (для отображения веб-контента). Этот браузер работает независимо от GET-запросв Content Downloader. Поэтому, даже если вы залогинились в программе передачей cookies, браузер IE (в окне задания границ парсинга) может отображать сайты так, как будто вы и не авторизрваны. Для того, чтобы залогиниться во встроенном IE, вам необходимо перейти во вкладку «контент», нажать кнопку «авторизация…» (с ключиком), в появившемся окне ввести адрес сайта и пройти процедуру авторизации в браузере.

ВАЖНО!: В новых версиях Firefox может не быть поддержки LiveHTTPHeaders, но есть альтернативные плагины, например HTTP Header Live или встроенный инструмент shift+ctrl+i (вкладка сеть).


Авторизация методом передачи Cookies из плагина Firefox — LiveHTTPHeaders в настройку HTTP-запросов программы (ctrl+h) — САМЫЙ ВЕРНЫЙ МЕТОД:

LiveHTTPHeaders in Firefox

1) Открываем Firefox с установленным в нем плагином LiveHTTPHeaders (прямая ссылка на аддон https://addons.mozilla.org/en-US/firefox/addon/live-http-headers/)
2) Проходим авторизацию на сайте в браузере Firefox (методом обычного ручного ввода логина и пароля)
3) Запускаем плагин LiveHTTPHeaders: alt (для вызова меню) -> «инструменты» -> «просмотр HTTP-заголовков»
4) Переходим в браузере на любую страницу товара, возвращаемся в окно плагина и копируем cookies из соответствующего запроса (запрос на страницу товара) через контекстное меню (правый клик по строке с cookies)
5) Возвращаемся в Content Downloader, нажимаем ctrl+h и вставляем скопированные cookies в соответствующее поле (также убеждаемся, что библиотека «Internet Explorer (DOM)» отключена)


Авторизация методом передачи cookie из модуля Internet Explorer (самый простой способ):

1) Нажимаем ctrl+k
2) Авторизуемся в открывшемся браузере (вводим логин с паролем)
3) Кликаем в любое место WEB-страницы (для перемещения фокуса в браузер) и нажимаем F5 для перезагрузки страницы (этот шаг можно пропускать)
4) Нажимаем кнопку «передать cookies и закрыть это окно»

После этих действий в окно настройки HTTP-запросов программы (ctrl+h) будут переданы полученные из модуля браузера cookie!

После передачи cookie рекомендуется сбросить кеш WEB-документов (созданный ранее при выполнении процедур предпросмотра). Для этого сделайте правый клик по списку ссылок главного окна программы и нажмите пункт меню «очистить кеш всех».


Авторизация методом POST (с возможностью выполнения автоматической авторизации при каждом запуске программы):

Настройка авторизации методом POST производится во вкладке «контент» — группа «загрузка WEB-документа» — кнопка «авторизация с помощью cookies или с помощью выполнения POST-Запроса» -> вкладка «Авторизация методом POST».

Указываем POST-данные для отправки и адрес страницы авторизации. Данные берем из того же плагина Firefox — LiveHTTPHeaders.

Например, POST-данные:

login=mylogin&passwd=mypassword&twoweeks=yes

Адрес страницы авторизации:

http://ste.ru/login.php

Примечание: данный метод авторизации может работать не на всех сайтах!


Авторизация методом передачи cookies из WBApp для библиотек Indy и Clever Internet Suite:

Действуем аналогично методу, указанному на этой странице http://sbfactory.ru/cd/?p=2132


Также обратите внимание на темы форума, касаемые вопросов авторизации в программе на сайтах:

— Тема с описанием авторизации на сайтах с помощью передачи cookies из встроенного в программу Internet Explorer и с помощью передачи cookies из плагина Firefox LiveHTTPHeaders




Дополнительно


Здравствуйте.

Есть сайты, которые сбрасывают авторизацию при каждом закрытии/открытии браузера.

Судя по описанию вопроса, это и есть тот случай.

Нужно понимать, что при передаче cookie в окно ctrl+h и при использовании библиотек INDY, CIS, или WIN (не Internet Explorer (DOM)) код от сайта программа может получать, как для авторизованного пользователя (верхнее окно с кодом в инструменте задания границ парсинга), а WEB-страница отображаться в браузере (в нижней части) может, как для неавторизованного пользователя. Если код получается, как для авторизованного пользователя, то нужно пренебречь отображением сайта в браузере (в нижней части) и парсить.

Если и код получается, как для неавторизованного пользователя, то нужно парсить этот сайт с использованием WBApp, где при парсинге каждого WEB-документа предварительно будет производиться имитация действий авторизации в WBApp (ввод логина с паролем и прочее).

WBApp (имитация кликов по элементам веб-страниц, прокрутка веб-страниц, заполнение форм и многое другое)(только для ULTIMATE версий)Root



1 Star2 Stars3 Stars4 Stars5 Stars (оценок: 4, средний балл: 5,00)
Загрузка...
Автор: admin, 1 ноября 2010
Рубрики: Парсинг
Метки: , ,
9 комментариев к сообщению: “Авторизация на сайтах”
  1. iwbh:

    LiveHTTPHeaders 0.16 отказывается устанавливаться в Firefox4.
    отучить можно следующим образом:
    livehttpheaders-0.16.xpi переименовываем в livehttpheaders-0.16.zip
    в архиве лежит файл install.rdf
    находим в нем 3.б.*
    меняем на 4.*
    Сохраняем изменения
    Возвращаем файлу расширение .xpi и устанавливаем плагин

  2. Авторизовался через куки (кнопка «дополнительно»)

    Начинаю выбирать нужные границы парсинга, жму показать/скрыть браузер и вижу что я не авторизован, что делать?

  3. Макс:

    Способ 2 — Установил плагин, но через Shift+f2 выводиться «Панель разработки»
    У меня никаким способом не получается авторизоваться в Яндекс Вебмастере, кто подскажет?

  4. Света:

    Загрузила FireFox… где взять LiveHTTPHeaders и как его поставить в программу….

    Помогите!…

    • admin:

      Здравствуйте.

      Нажмите в браузере ctrl+shift+a и установите это дополнение.

      После установки, для вызова дополнения: alt -> меню -> инструменты -> просмотр HTTP заголовков.

      С уважением к вам, Сергей.

Написать комментарий

Вы должны войти чтобы добавить комментарий.

Последние статьи

css.php