Ссылки собираются в полном объеме. Фильтрация ранее спарсенных URL осуществляется на уровне парсинга во вкладке “Контент”.
Просто укажите путь к файлу на диске (он может не существовать, быть пустым или уже содержать URL-адреса), как показано на скриншоте.
При запуске процедуры парсинга (при предпросмотре эта фильтрация не срабатывает по понятным причинам) из списка ссылок удаляются URL-адреса, которые содержатся в подключенном файле.
При парсинге в подключенные файл будут дозаписываться URL-адреса документов, чтобы исключить их повторный парсинг в будущем, что обеспечит загрузку только новых WEB-документов, появляющихся на сайте.