DUPIGNORE складывает KEY без переноса строк

Хотел использовать чтобы не было дубликатов в итоговом файле. Использовал все настройки, указал файл куда складывать KEY.
[DUPIGNORE][KEY]<CD_CYCLE_GRAN_1!>[/KEY][/DUPIGNORE]
В итоге в файл продолжают складываться дубли. А содержимое файла KEY представляет собой спарсенный контент без переноса строк, который в итоге невозможно разобрать также.

 

Здравствуйте.

Читаем большие красные буквы на этой странице Ссылки недоступны для гостей

С уважением к вам, Сергей...

 

Учел=)
[DUPIGNORE][KEY][VALUE][/KEY][/DUPIGNORE]
KEY начали складываться с переносом. Но вот загвоздка, почему-то файл с результатами парсинга все равно с дублями.

 

Я разобрался сам. Просто в файле с парсингом частично появляются пробелы. Видимо при пустых значениях поля. И разница как раз в них.

 

Теперь новая проблема. KEY больше 1000000 строк отказывается писать.

 

Так я в текстовый сохраняю.
Да проблема в том что когда KEY переполняется, то в файл парсинга начинают опять лезть дубли.

 

Ладно а как тогда быть с тем что размер файла парсинга ограничен 2гб? Он у меня спарсится за несколько часов. И каждый раз удалять дубли? Как хотябы убрать это ограничение или разбивать по 2 гб на несколько?

 

Здравствуйте.

Вкладка "Контент" - группа "Сохранение результата" - текстовое поле "по сколько документов сохранять в 1 файл..." (это всплывающая подсказка).

PS: Пробелы в начале или в конце каждого KEY не важны!
PSS: Сколько памяти занимает процесс Content Downloader.exe (в диспетчере задач), когда начинают в результат лезть дубли?

С уважением к вам, Сергей...

 

Около 300мб. Всего 6гб памяти.

 

И все таки при парсинге более 1000000 строк нельзя както удалять дубли? Ресурсов компьютера хватает. Загвоздка именно в ограничениях в CD.

 

Здравствуйте еще раз.

Функция проверки дублей в списке нативная (из среды разработки) и я не могу ее доработать. Нужно разрабатывать свою (очень трудоемко, чтобы так быстро работало и с большими объемами). Ваше пожелание учтено. Спасибо!