Использование в URL-адресах динамического оператора {num:a,b} при парсинге во вкладке «Ссылки»

В случаях, когда требуется производить сбор ссылок со страниц пагинации СРАЗУ НЕСКОЛЬКИХ рубрик сайта (или, когда количество страниц рубрики неизвестно) помимо сканера сайтов можно использовать динамический оператор ссылок {num:a,b} (где a — стартовое значение, b — шаг).

Обработчик оператора {num:a,b} включается при парсинге во вкладке «Ссылки». В нем вы задаете стартовое значение числовой переменной и шаг, на который это значение будет изменяться при парсинге каждой следующей ссылки.

Например, если в список ссылок добавить:

http://***.ru/?p={num:10,2}

То программа будет парсить ссылки типа:

http://***.ru/?p=10
http://***.ru/?p=12
http://***.ru/?p=14
http://***.ru/?p=16
http://***.ru/?p=18
http://***.ru/?p=20
...

Автоматическое добавление ссылок с нарастающей переменной при парсинге будет производиться до тех пор, пока не произошла ошибка загрузки URL или с этого URL не было взято ни одной новой ссылки (что соответствует концу паганиции рубрики подавляющего большинства сайтов).

Таким образом, добавив в список ссылок несколько элементов с {num:a,b}, можно «пройтись» по всем страницам пагинации каждой выбранной рубрики сайта:

http://***.ru/?cat=1&p={num:10,2}
http://***.ru/?cat=2&p={num:10,2}
http://***.ru/?cat=3&p={num:10,2}

Content Downloader

Content Downloader

Content Downloader




Парсинг ссылок с динамическим ограниченным {num}


В случаях, когда требуется ограничить значения динамического {num} используйте, вместо двух, три параметра:

http://***.ru/?p={num:10,2,30}

Первый параметр (10) — начальное значение
Второй параметр (2) — шаг
Третий числовой параметр (30) указывает максимально возможное значение динамического {num}. В случае, как в примере выше, {num} будет нарастать до 30, либо до момента ошибки загрузки URL/момента не найденной ни одной новой ссылки с URL.

Content Downloader




Дополнительные материалы:
Парсинг ссылок со страниц рубрики или выдачи (сбор ссылок во вкладке «ссылки»)


1 Star2 Stars3 Stars4 Stars5 Stars (оценок: 3, средний балл: 5,00)

Загрузка...
Автор: admin, 21 ноября 2018
Рубрики: Новости

Последние статьи

css.php