Сайт банит за частые запросы (ошибка 403 forbidden)

В процессе парсинга , сервер заблокировал доступ к сайту 403 forbidden.
Соответственно не удалось выгрузить данные с сайта. Пожалуйста подскажите как решить, такую проблему.

 

Здравствуйте.

Получили временный бан от сайта за частые запросы.

Попробуйте парсить в 1 поток с паузой между запросами. Если это не даст результатов, то, как и сказали выше, используйте список прокси (ctrl+r).

 

Спасибо. За ответ

 

Парсить в один поток и еще с задержками очень долго. При таких настройках, программа показывает ориентировочное время парсинга 380 часов (примерно 160 000 ссылок). Пробовал через прокси, не получается программа не может получить доступ к документу, хотя при включении прокси в список проверяет его и считает его рабочим. Пробовал парсить через адвор, результат тот же.
Подскажите как найти выход из положения. Сайт для парсинга razborkino.ru

 

Вариантов не так-то и много: купить хорошие прокси или попробовать найти альтернативный источник.

 

Да

 

Нормальные прокси решат проблему. Паблик прокси ужасно работают.