Сканер сайтов с огромным количеством страниц

Добрый всем день. Посоветуйте как можно внешние ссылки собрать с сайта, который 2-3 миллиона страниц? На определенном этапе в заголовке программы появляется ошибка, что то типа памяти не хватает...
Частями парсить не получается т.к. списка всех внутренних ссылок нет.

 

Здравствуйте.

Сколько бит система?
Какая версия программы?

 

Система 64 бит, 12 гб оперативы - Ультиматум
Версия программы 11.1

 

Настройте фильтры очереди таким образом, чтобы она не росла сильно (не попадали лишние ссылки). Программе выделяется до 2,5 ГБ оперативной памяти, следите, чтобы этот лимит не превышался.

 

Хорошо, буду пробовать. А регулировать лимит выделяемой оперативной памяти нельзя будет внедрить в настройки?
Чтобы кому это реально нужно, мог расширить допустим до 5-6гб.

 

Только если сделать 64-бит версию программы. Но мы пока не можем использовать новый компилятор, так как некоторые компоненты с ним не работают.