Парсинг Wildberries

Если используете демо версию Content Downloader, скачайте ее здесь

Скачайте архив с файлами проектот (клик)

Разархивируйте файлы проекта, например, на рабочий стол

В программе Content Downloader нажмите Ctrl+o для загрузки нужного проекта (или: главное меню – файл – загрузить проект)


Полезная информация для парсинга товаров с Wildberries


1) Wildberries можно парсить в 1 поток без прокси либо многопоточно со списком прокси серверов (по 1 потоку на каждый прокси, если, например, потоков 20, значит и прокси должно быть 20) (количество потоков – количество одновременных/параллельных обращений к сайту)

Прокси должны быть рабочими для Wildberries. Если с вашими прокси парсит Wildberries кто-то еще, то, скорее всего, эти прокси забанятся магазином. Используйте покупные прокси для парсинга Wildberries.


Использование списка прокси серверов для парсинга Wildberries


Парсинг Wildberries


2) Все ссылки Wildberries должны содержать в себе www


Парсинг ссылок на товары со всего каталога или с указанных рубрик Wildberries с помощью сканера сайтов


Загрузите в Content Downloader проект Wildberries_GoodsAndScaner.cdp (Ctrl+o)

Сканер сайтов в этом проекте настроен на обход всех страниц указанных рубрик товаров Wildberries. В проекте добавлены все рубрики товаров. Вы можете оставить только нужные.


Парсинг ссылок на товары с Wildberries


Парсинг ссылок товаров Wildberries


Парсинг карточек товаров Wildberries


Загрузите в Content Downloader проект Wildberries_GoodsAndScaner.cdp (Ctrl+o)

Добавьте в список ссылок собранные ссылки на товары и парсите данные в таблицу CSV


Парсинг товаров Wildberries


Таблица с товарами будет выглядеть примерно так (на скриншоте только часть таблицы)


Таблица с результатами парсинга товаров Wildberries


<<< Назад к списку проектов для демо версии (клик)


1 Star2 Stars3 Stars4 Stars5 Stars (оценок: 1, средний балл: 5.00)

Loading...
Автор: admin, 13 December 2021
Рубрики: Готовые файлы проектов
Есть 5 коммент. к сообщению: “Парсинг Wildberries”
  1. max says:

    Хочу собрать ссылки с страниц поиска вместо рубрик.
    wildberries ru/catalog/0/search.aspx?page=1&search=игрушки
    ildberries ru/catalog/0/search.aspx?page=2&search=игрушки

    Но CD не находить ни одну ссылку.
    Пробовал открыть эти ссылки поиска через раздел задания границ, но там раздел кода отличается от визуального представления страницы.

    Есть подозрение что страница не стразу загружается и из-за этого CD не видит конечный код страницы.
    Как можно заставить CD подождать загрузку страницы полностью?
    Или причина может быть в другом?

  2. Александр says:

    Перестал собирать данные, скорее всего кодировка изменилась

    • Vasiliy says:

      Контент с карточкой товара не подгружается в браузере, и поэтому никаких данных не получает CD.
      Что-то получилось сделать для решения проблемы?

  3. Vasiliy says:

    Да, у меня тоже перестал работать парсинг. Отрабатывает только урл страницы, ВСЕ остальные данные не подгружаются((( Кто решил проблему с ВБ? Что надо подправить?

Написать комментарий

Последние статьи

css.php