DUPIGNORE файл txt с ключами, почему хранит всего 11к строк?

Привет!
Решил для теста собрать огромное количество данных. Несколько миллионов строк.
Чтобы не попадалось одинаковых, использую макрос DUPIGNORE с подключенным файлом ключей.
Парсер каждый раз дозаписывает в него все новые уникальные ключи.


Для теста в txt файл с ключами накопировал 2 миллиона строк, чтобы поверить какая будет нагрузка на пк и быстродействие при проверке дублей и появятся ли ошибки.

Однако, парсер удалил ключи, оставив только 11 тысяч, и после них начал записывать уникальные новые.

 

Ответ на вопрос почему удаляются ключи - файл ключей также проверяется на дубли и одинаковые значения удаляются. Затем оставшиеся данные сортируются. Можете встретить такую сортировку 1, 10, 100, 1000, 2, 20, 200, 3...
Если сделать миллион уникальных ключей, то они не удаляются, НО парсер немного подвисает и не проверяет дубли.
Как исправить эту ошибку?
И как можно уникализировать миллионные значения

 

Спасибо за ответ!
Честно, говоря, это не такой большой объем записей, это всего пару тройку крупных магазинов =)
Мне просто интересны способы обработки 50-100 млн записей. Причем это реальные задачи, не простая выдумка.

Да, действительно.
Есть вариант работы с mySQL и там делать настройку удаления дублей.

Также интересно мнение Сергея, возможно ли встроенными функциями парсера уникализировать большие объемы данных?

 

Похожая тема с 215 года
Ссылки недоступны для гостей

Похоже пока не получается сделать уникализацию больших объемов данных

ПРИ БОЛЬШИХ ОБЪЕМАХ ПРОВЕРОЧНЫХ КЛЮЧЕЙ, НУЖНО УМЕНШИТЬ КОЛИЧЕСТВО ПОТОКОВ И ПРОБОВАТЬ ДЕЛАТЬ ПАУЗЫ МЕЖДУ ПАРСИНГОМ.
ЧТОБЫ КОМПЬЮТЕР УСПЕВАЛ ПРОВЕРЯТЬ КЛЮЧИ, ИНАЧЕ БУДУТ ПРОПУСКИ

 

Для работы с такими объемами нужно, как ни крути, использовать базу данных. "Общайтесь" с БД с помощью макроса шаблона вывода PHP_SCRIPT

Ссылки недоступны для гостей