Есть задача парсить даннные с одного и того же урла. Информация на нем периодически обновляется. Сейчас вопрос решен генерацией одного и того же...
И все таки при парсинге более 1000000 строк нельзя както удалять дубли? Ресурсов компьютера хватает. Загвоздка именно в ограничениях в CD.
Около 300мб. Всего 6гб памяти.
Ладно а как тогда быть с тем что размер файла парсинга ограничен 2гб? Он у меня спарсится за несколько часов. И каждый раз удалять дубли? Как...
Так я в текстовый сохраняю. Да проблема в том что когда KEY переполняется, то в файл парсинга начинают опять лезть дубли.
Теперь новая проблема. KEY больше 1000000 строк отказывается писать.
Я разобрался сам. Просто в файле с парсингом частично появляются пробелы. Видимо при пустых значениях поля. И разница как раз в них.
Учел=) [VALUE] KEY начали складываться с переносом. Но вот загвоздка, почему-то файл с результатами парсинга все равно с дублями.
Хотел использовать чтобы не было дубликатов в итоговом файле. Использовал все настройки, указал файл куда складывать KEY. <CD_CYCLE_GRAN_1!> В...
Имена участников (разделяйте запятой).
