Как обойти бан некоторых сайтов

Некоторые сайты при частых get-запросах банят посетителей. Чтобы обойти это, можно выставить парсинг в 1 поток (10 по умолчанию) и подобрать нужное значение “паузы между запросами”.

Есть еще один вариант (более простой и более эффективный, но срабатывает примерно в половине случаев) – использовать динамический user agent. Для этого нужно добавить список user agent (штук 10) в соответствующее текстовое поле программы (вкладка “контент” – кнопка “дополнительно”).




1 Star2 Stars3 Stars4 Stars5 Stars (Еще нет оценок) Loading...

Вы можете пропустить до конца и оставить ответ. Pinging в настоящее время не доступны.

Есть 5 коммент. к теме: “Как обойти бан некоторых сайтов”

  1. Kotjara says:

    Я еще использую прокси. В программе прокси-чекер работает просто на ура.

  2. Юрий says:

    А где там прокси-чекер?

  3. Kotjara says:

    “Управление proxy”

  4. Евгений says:

    может поделитесь небольшим списком юзер-агентов? 🙂

  5. braind says:

    как спарсить kinopoisk.ru?
    не дает парсить страницу фильма, пишет
    “Если вы видите эту страницу, значит с вашего IP-адреса поступило необычно много запросов. Система защиты от роботов (СЗоР) решила, что вместо вас действует программа, и ограничила доступ.”

    пробовал менять user-agent, не помогает. Видимо, нужен прокси с поддержкой кук?

Написать комментарий

Пожалуйста, ознакомьтесь с правилами комментирования (почему некоторые комментарии могут быть удалены?!)

Добавить изображение к комментарию (jpg)