Если используете демо версию Content Downloader, скачайте ее здесь
Разархивируйте файлы проекта, например, на рабочий стол
В программе Content Downloader нажмите Ctrl+o для загрузки нужного проекта (или: главное меню – файл – загрузить проект)
Полезная информация для парсинга товаров с Wildberries
1) Wildberries можно парсить в 1 поток без прокси либо многопоточно со списком прокси серверов (по 1 потоку на каждый прокси, если, например, потоков 20, значит и прокси должно быть 20) (количество потоков – количество одновременных/параллельных обращений к сайту)
Прокси должны быть рабочими для Wildberries. Если с вашими прокси парсит Wildberries кто-то еще, то, скорее всего, эти прокси забанятся магазином. Используйте покупные прокси для парсинга Wildberries.
2) Все ссылки Wildberries должны содержать в себе www
Парсинг ссылок на товары со всего каталога или с указанных рубрик Wildberries с помощью сканера сайтов
Загрузите в Content Downloader проект Wildberries_GoodsAndScaner.cdp (Ctrl+o)
Сканер сайтов в этом проекте настроен на обход всех страниц указанных рубрик товаров Wildberries. В проекте добавлены все рубрики товаров. Вы можете оставить только нужные.
Парсинг карточек товаров Wildberries
Загрузите в Content Downloader проект Wildberries_GoodsAndScaner.cdp (Ctrl+o)
Добавьте в список ссылок собранные ссылки на товары и парсите данные в таблицу CSV
Таблица с товарами будет выглядеть примерно так (на скриншоте только часть таблицы)
<<< Назад к списку проектов для демо версии (клик)
Хочу собрать ссылки с страниц поиска вместо рубрик.
wildberries ru/catalog/0/search.aspx?page=1&search=игрушки
ildberries ru/catalog/0/search.aspx?page=2&search=игрушки
Но CD не находить ни одну ссылку.
Пробовал открыть эти ссылки поиска через раздел задания границ, но там раздел кода отличается от визуального представления страницы.
Есть подозрение что страница не стразу загружается и из-за этого CD не видит конечный код страницы.
Как можно заставить CD подождать загрузку страницы полностью?
Или причина может быть в другом?
Здравствуйте.
Ссылки на указанных выдачах подгружаются браузером скриптами.
Используйте для этой задачи WBAppCEF https://sbfactory.ru/cd/?p=4774
Перестал собирать данные, скорее всего кодировка изменилась
Контент с карточкой товара не подгружается в браузере, и поэтому никаких данных не получает CD.
Что-то получилось сделать для решения проблемы?
Да, у меня тоже перестал работать парсинг. Отрабатывает только урл страницы, ВСЕ остальные данные не подгружаются((( Кто решил проблему с ВБ? Что надо подправить?
Где скачать файл проекта?
“Загрузите в Content Downloader проект Wildberries_GoodsAndScaner.cdp”
В демо режиме с WB собирает ссылки первые 10 шт товаров хотя на странице выводит их 100 шт. Остальные 90 шт не собирает. В чем может проблема
Здравствуйте.
За новым проектом Wildberries пишите в Телеграм https://t.me/ContentDownloaderX1