Парсинг телефонов с Авито

Приносим извинения, в связи со сменой работы алгоритмов Авито данный проект утратил работоспособность!

Данный файл проекта доступны только для Content Downloader с типом лицензии ULTIMATE (UNLIMITED)

Апгрейд типа лицензии и покупка UNLIMITED подписки осуществляется на этой странице (клик)

Требования:

1) Актуальная версия Content Downloader
2) Тип лицензии – ULTIMATE (UNLIMITED)
3) Установленный WBAppCEF (инструкция по установке WBAppCEF)
4) Браузер Mozilla Firefox с установленным плагином User-Agent Switcher and Manager

Прокси сервера не требуются.

Скачать файл проекта

Тема поддержки данного проекта на форуме (клик)

Сделать запрос на изготовление новых проектов

Описание проекта

Парсинг данных происходит без прокси с мобильной версии Авито.

Результат сбора данных имеет следующий вид

Результат парсинга телефонов с Авито

Скорость сбора ссылок на объявления (без прокси): ~1000 URL в минуту (60 000 URL в час) (лимит Авито на выдачу ссылок с мобильной версии по каждой открытой ссылке ~3000)
Скорость сбора номеров (без прокси): ~8 секунд на парсинг каждого объявления (для более быстрого парсинга потребуется список платных прокси, так как Авито временно банит за слишком частые обращения к нему с одного и того же IP)

Инструкция по сбору ссылок на объявления

1) Открываем Firefox и в плагине User-Agent Switcher and Manager выбираем любой мобильный User agent (после этого будет открываться мобильная версия Авито)

2) Открываем в Firefox любую нужную рубрику объявлений с нужными фильтрами и копируем ее ссылку из адресной строки браузера в буфер обмена системы)

3) Открываем Content Downloader и загружаем проект по парсингу Авито (ctrl+o)

4) Переходим во вкладку “Ссылки” и вставляем в список ссылок скопированный ранее URL (F8 для добавления ссылок)

5) Запускаем парсинг ссылок (F5) и ждем, пока браузер прокрутит выдачу до конца. Если нужно ограничить количество собираемых ссылок, например, 10 страницами выдачи, нажимаем ctrl+w -> ctrl+l. Затем в открывшемся редакторе проекта WBAppCEF нажимаем кнопку “настройка функций и макросов” (на главной панели инструментов) и устанавливаем нужное количество срабатываний для события [GOTO] (например, 10).

Ссылки собраны.

Инструкция по парсингу данных со страниц объявлений

После сбора ссылок на объявления переходим во вкладку “Контент” и нажимаем F5.