Если при предпросмотре все WEB-страницы загружаются, а при парсинге происходят пропуски некоторых WEB-страниц

Скорее всего сайт имеет ограничение по количеству запросов в единицу времени для каждого IP. Попробуйте, например, поставить 1 поток и подобрать паузу между запросами (чтобы сделать запросы к сайту значительно реже).

Примечание: Вы можете анализировать лог парсинга (ctrl+l). Там есть информация о том, какие WEB-страницы были загружены, а какие нет (с указанием причины).

Если сайты с ограничением запросов в единицу времени требуется парсить быстро, пользуйтесь списком прокси серверов (ctrl+r).

Важно: Также убедитесь, что у вас указан один user agent в окне настроек HTTP-запросов программы (ctrl+h). Если указать несколько user agent, они будут меняться при парсинге и с некоторыми из них WEB-страницы могут не загружаться.

Если используете WBApp (библиотека Internet Explorer (DOM) в окне настроек HTTP-запросов программы, ctrl+h)
1 Star2 Stars3 Stars4 Stars5 Stars (Еще нет оценок)
Загрузка...
Автор: admin, 10 марта 2019
Рубрики: Новости

Последние статьи

css.php