Парсинг сайтов с большим количеством страниц и данных

Всех приветствую!

Есть задача, спарсить большое количество сайтов, на которых по 500к+ страниц.
Соответственно это тянется на месяца. Лицензий на софт хватает.

Интересует, как можно парсить большое количество данных но не годами)

Может есть сервера куда можно несколько софта?

Если парсить в 50 потоков (есть 50 хороших прокси) будет ли эффективно? то есть на много ускорится парсинг в сравнении с, например, 10 потоками?

За ранее, спасибо за советы и подсказки)

 

Можем решить на платной основе, индивидуально в рамках каждого сайта