Использование в URL-адресах динамического оператора {num:a,b} при парсинге во вкладке “Ссылки”

---

В случаях, когда требуется производить сбор ссылок со страниц пагинации СРАЗУ НЕСКОЛЬКИХ рубрик сайта (или, когда количество страниц рубрики неизвестно) помимо сканера сайтов можно использовать динамический оператор ссылок {num:a,b} (где a – стартовое значение, b – шаг).

Обработчик оператора {num:a,b} включается при парсинге во вкладке “Ссылки”. В нем вы задаете стартовое значение числовой переменной и шаг, на который это значение будет изменяться при парсинге каждой следующей ссылки.

Например, если в список ссылок добавить:

http://***.ru/?p={num:10,2}

То программа будет парсить ссылки типа:

http://***.ru/?p=10
http://***.ru/?p=12
http://***.ru/?p=14
http://***.ru/?p=16
http://***.ru/?p=18
http://***.ru/?p=20
...

Автоматическое добавление ссылок с нарастающей переменной при парсинге будет производиться до тех пор, пока не произошла ошибка загрузки URL или с этого URL не было взято ни одной новой ссылки (что соответствует концу паганиции рубрики подавляющего большинства сайтов).

Таким образом, добавив в список ссылок несколько элементов с {num:a,b}, можно “пройтись” по всем страницам пагинации каждой выбранной рубрики сайта:

http://***.ru/?cat=1&p={num:10,2}
http://***.ru/?cat=2&p={num:10,2}
http://***.ru/?cat=3&p={num:10,2}

Парсинг ссылок с динамическим ограниченным {num}

http://***.ru/?p={num:10,2,30}

Первый параметр (10) – начальное значение
Второй параметр (2) – шаг
Третий числовой параметр (30) указывает максимально возможное значение динамического {num}. В случае, как в примере выше, {num} будет нарастать до 30, либо до момента ошибки загрузки URL/момента не найденной ни одной новой ссылки с URL.

Дополнительные материалы:
Парсинг ссылок со страниц рубрики или выдачи (сбор ссылок во вкладке «ссылки»)


(оценок: 6, средний балл: 5.00)

Loading...