Как обойти бан некоторых сайтов

Некоторые сайты при частых get-запросах банят посетителей. Чтобы обойти это, можно выставить парсинг в 1 поток (10 по умолчанию) и подобрать нужное значение “паузы между запросами”.

Есть еще один вариант (более простой и более эффективный, но срабатывает примерно в половине случаев) – использовать динамический user agent. Для этого нужно добавить список user agent (штук 10) в соответствующее текстовое поле программы (вкладка “контент” – кнопка “дополнительно”).

(Еще нет оценок)

Loading...