Запись выдачи ссылок в файл при работе сканера сайтов (для оптимизации потребления памяти)

Сканер сайтов Content Downloader


С помощью опции записи выдачи ссылок (наденых сканером ссылок) в файл можно добиться следующих положительных эффектов:
1) Сниженное потребление памяти (так как программе не нужно хранить список найденных ссылок в памяти)
2) Получение файла с собранными ссылками на локальном диске (например, для использования собранных ссылок в другом проекте Content Downloader)

При включенной опции записи выдачи ссылок в файл список выдачи в интерфейсе программы при работе сканера пополняться не будет. Для добавления ссылок в список выдачи (по окночании работы сканера) включите опцию “загрузить ссылки по окончанию работы сканера”.

Запись ссылок в файл на диск производится после сбора каждых 100 000 ссылок и при завершении процедуры сканирования (что в значительной мере минимизирует частоту обращений к локальному диску).


1 Star2 Stars3 Stars4 Stars5 Stars (Еще нет оценок)

Loading...
Автор: admin, 26 November 2021
Рубрики: переменные
Написать комментарий

Последние статьи

css.php