Парсинг ссылок
Парсинг во вкладке 'Ссылки' (парсинг отдельной рубрики сайта, парсинг по ключевым запросам, генерация списков ссылок с использованием нарастающих числовых значений и/или ключевых слов)
Сбор ссылок сканером сайтов (если вы парсите все рубрики сайта или весь сайт целиком)
Парсинг ссылок из XML-карты сайта (сбор ссылок со всего сайта, быстрый и простой метод)
Большинство сайтов имеют XML-карту, содержащую ссылки на статьи/товары и прочее. Обычно карта располагается по адресу http://SBFactory.ru/sitemap.xml (в корне). Просто попробуйте открыть подобный адрес у себя в браузере. Если карты сайта по такому адресу не будет, проверьте файл robots.txt (http://SBFactory.ru/robots.txt), в котором может быть строка Sitemap: http://sbfactory.ru/sitemap.xml и ей подобные.
Парсинг контента
Парсинг в CSV-файлы (пример парсинга товаров)
Парсинг текста/статей с картинками и без
Парсинг информации, доступной после клика по кнопке типа 'показать еще', парсинг информации, подгружаемой при прокрутке WEB-страницы вниз
(оценок: 2, средний балл: 5.00)
Loading...