Нужно спарсить большой сайт (обойти бан сайта за частые запросы)

Собственно проект в CD уже готов и настроен, но проблема с банами. Кто имеет опыт обхода банов, пишите, обсудим, договоримся

Желательно сразу в скайп

 

Здравствуйте.

Вариантов два:
1) Снизить количество запросов за единицу времени (установка 1 потока, подбор паузы между запросами)
2) Использование списка прокси-серверов (ctrl+r)

Если вы хотите воспользоваться услугами специалистов по настройке, думаю, лучше сами им напишите Ссылки недоступны для гостей

С уважением к вам, Сергей.

 

Спасибо, но 1 поток с паузой, это очень долго...
По поводу прокси, я купил 10 шт за 400р, вроде неплохие но все забанены.

Может кто-то знает секрет

 

Секретов нет. Вариантов два. Либо парсить медленно, либо искать большее количество незабаненных прокси. Выше головы не прыгнешь.