Загрузка ссылок и продолжение парсинга

Все привет!

Друзья, такой вопрос, можно ли как то организовать загрузку ссылок после того как парсинг закончился, и продолжить парсинг.

Тобиж, я так понял что софт не читает много ссылок(я разбиваю на 1.2кк, если больше то не подгружает) из файла txt, функция "загрузка ссылок перед парсингом".

Можно ли как то сделать чтобы после завершения парсинга, подгружалась следующая база ссылок и парсинг продолжался?

Получается что то типо расписания, как в хрумере.

Закончили задание-загрузить другую базу-продолжить.

 

Kreol, то что она не умеет обрабатывать такие обьемы это понятно, я написал что разбиваю.

Вопрос не в обьемах, а подгрузке следующего файла для обработки.
Чтобы не стартовать заново и не менять путь к следующему фалу txt.

У меня просто стоит на двух дедиках две копии, и очень неудобно когда закончился парсинг, нужно ручками указывать следущий файл для обработки. Особено если парсинг заканчивается ночью, и получается, софт простаивает всю ночь, хотя все это время он мог бы работать)))

А вот если бы было бы что то типо задания, закончился парсинг, подгузить следуший файл txt, продолжить парсинг... это было бы очень удобно. Получается софт можно хоть на неделю оставить без присмотра. Работает и работает...

Может автор софта, может что то прикутить для реализации подобного функционала