Парсинг составных XML-карт сайтов (в карте сайта находятся ссылки на несколько XML-карт)

Вот скриншот составной XML-карты сайта (видим, что она состоит из нескольких карт):

Пример составной XML-карты сайта

Пример составной XML-карты сайта

Вот инструкция по парсингу составных карт сайта с использованием инструмента загрузки ссылок из XML карты сайта (shift+ctrl+m). Это приоритетный метод, используйте его (клик)

Ниже расположена инструкция по парсингу составных XML карт сайтов с помощью сканера (второстепенный метод)

Парсинг составных XML карт сайта с использованием сканера
Открываем сканер сайтов (ctrl+7) и настраиваем следующие параметры:
Настройка сканера сайтов

Настройка сканера сайтов

Настройка фильтров ссылок

Настройка фильтров ссылок

Примите во внимание:
1) Парсить карты сайтов нужно в 1-2 потока (так как там, обычно, содержится огромное количество ссылок, что значительно увеличивает время обработки карт сайтов);
2) Так как поиск ссылок в XML-картах сайтов производится не в классических HTML-тегах a, нужно настроить функцию поиска ссылок в коде (смотрите соответствующий скриншот). Причем <loc>{get}</loc> может быть не актуален для всех XML-карт сайтов. Например, в некоторых картах сайтов ссылки могут быть размещены в тегах <url>, тогда нужно использовать конструкцию <url>{get}</url>;
3) Учтите, что верхнее окно ссылок сканера – список очереди ссылок. По элементам этого списка сканер “ходит”, ищет на этих WEB-страницах искомые ссылки и добавляет их в список выдачи (нижнее окно ссылок). Для очереди ссылок применяются фильтры из окна сканера сайтов, а для выдачи применяются фильтры ссылок (кнопка “фильтры ссылок” (ctrl+3)).

После выполнения всех необходимых настроек, запускаем сканер сайтов. Программа обойдет все вложенные XML-карты и соберет с них ссылки в окно выдачи ссылок (согласно фильтрам ссылок).

1 Star2 Stars3 Stars4 Stars5 Stars (оценок: 3, средний балл: 5.00)
Loading...
Автор: admin, 12 December 2015
Рубрики: Новости
Tags: , , , ,
Написать комментарий

Последние статьи

css.php