Обход проверки на робота.

Добрый день. Пытаюсь спарсить содержимое сайта Ссылки недоступны для гостей, но похоже недавно ввели проверку на робота Ссылки недоступны для гостей , т.к. месяц назад парсил без проблем. После парсинга порядка 400 товаров, получаю данную блокировку. Уменьшал количество потоков до одного, устанавливал паузу между попытками, но все равно получаю блок. Может кто знает как обойти блокировку? На всякий случай приложил проект. Спасибо.

 

Прокси мобильные не вариант?
После ввода капчи лимит тоже 400?

 

Пробовал прокси, для данного проекта не вариант, потому что всего 81 тысяча товара и парситься будет около недели или больше. Оставил это на самый крайний случай.
"После ввода капчи лимит тоже 400?" - около 400, но несколько раз было больше. Не знаю от чего зависит.

 

Скорее всего идет подсчет кол-во запросов с ip и хорошо если в гуманный промежуток времени он снимается. Был сайт с похожей защитой, время увеличения между запросами проблему не решало. Помогали только прокси.
В Вашем случае может попробовать написать скрипт по разгадыванию капчи. Тут вроде только цифры.

 

Понял, спасибо, для начала попробую вариант с прокси, может в 3-4 потока за пару дней спарсит.