Экспресс-курс по изучению основ работы с Content Downloader

Экспресс-курс по изучению основ работы с Content Downloader

Парсинг ссылок

Парсинг во вкладке 'Ссылки' (парсинг отдельной рубрики сайта, парсинг по ключевым запросам, генерация списков ссылок с использованием нарастающих числовых значений и/или ключевых слов)
Сбор ссылок сканером сайтов (если вы парсите все рубрики сайта или весь сайт целиком)
Парсинг ссылок из XML-карты сайта (сбор ссылок со всего сайта, быстрый и простой метод)

Большинство сайтов имеют XML-карту, содержащую ссылки на статьи/товары и прочее. Обычно карта располагается по адресу http://SBFactory.ru/sitemap.xml (в корне). Просто попробуйте открыть подобный адрес у себя в браузере. Если карты сайта по такому адресу не будет, проверьте файл robots.txt (http://SBFactory.ru/robots.txt), в котором может быть строка Sitemap: http://sbfactory.ru/sitemap.xml и ей подобные.


Парсинг контента

Парсинг в CSV-файлы (пример парсинга товаров)
Парсинг текста/статей с картинками и без
Парсинг информации, доступной после клика по кнопке типа 'показать еще', парсинг информации, подгружаемой при прокрутке WEB-страницы вниз

1 Star2 Stars3 Stars4 Stars5 Stars (оценок: 2, средний балл: 5.00)
Loading...
Вы можете пропустить до конца и оставить ответ. Pinging в настоящее время не доступны.
Написать комментарий

Пожалуйста, ознакомьтесь с правилами комментирования (причина УДАЛЕНИЯ некоторых комментариев)

Добавить изображение к комментарию (jpg)