проблема с удалением дублей

Об одной проблеме создали несколько тем). Достаточно одной.
Обычно проблема в непонимании как работает программа.
Извините но можно было бы поподробнее вот этот шедевр расписать?

Если разобрать по цитатам и попробовать разьяснить, может проблемы то и нет:

оно вам надо? всеравно если периодичеки собираете ссылки то пусть собирает, поскольку важно напримерт если появилось чтото новое на источнике.

При парсинге во кладке "контент" список ссылок удалается поосле обработки.

Не будут повторяться и не должны, это стоит учесть (например в том случае когда вы хотите напарсить товар который находиться сразу в нескольких категорий и категории указаны в PARAM и т.д.). При сборе ссылок во вкладке "ссылки" и в сканере - ссылки одинаковые исключатся, остается список с уникальными.

Обычное дело когда импортируется контент в базу то незачем сохранять файл на компе, НО для проверки повторного парсинга всетаки надо чтоб файл сохранялся но компе (можно например занголовок или артикул сохранять там) чтобы C.D. не писал в логе "результатирующий документ остался пустым" что для проверки воспримется так что надо будет парсить еще раз потом. (тоесть при пустом файле не записывает в проверочный файл txt ссылку - вам сегодня показал принцип Ссылки недоступны для гостей )