Как задать исключения уже найденных ссылок при сборе ссылок?

Здравствуйте

Подскажите плиз, как задать исключения уже найденных ссылок при сборе ссылок в сканере сайтов

то есть, я запустил сканер, он уже напарсил 1КК ссылок с сайта, и видать ещё столько же найдёт...

хочу запустить проект, но надо что бы потом можно было снова запустить сканер, и те ссылки, которые я уже использовал - не сохранялись

я вижу это так:
сохраняю ссылки в .txt файлик, и указываю сканеру проверять ссылки на наличие - если есть совпадение, ссылка не сохраняется

спасибо!

 

о, ктото еще искал - нашли, как?

 

Отсеивание ссылок подобным образом осуществляется при парсинге во вкладке "Контент" (ctrl+t -> файл с загруженными ранее ссылками (для исключения повторного парсинга)).