Несколько вопросов по парсингу с использованием прокси

Добрый день!

Есть несколько вопросов по парсингу с использованием прокси.
Кого парсю

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 100 постов.**

меняется только значение query.

Вопросы:
1. На выходе может быть три варианта ответа, два пропускаю, т. к. они несут положительный для задачи результат. А вот третий говорит о том, что меня забанили, выглядит он так:

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 100 постов.**

Я попытался его обойти такой конструкцией в шаблоне в коде
[CHECKENTRY(Too Many Requests)][DOCSOURCE][THENTEXT][PROXY_DELETE]... ожидаю, что в начале CD посмотрит ответ, если увидит там "Too Many Requests", то удалит прокси, возьмет другой и попробует загрузить страницу... верно я понимаю?

2. Парсю и проверяю прокси через библиотеку WIN. Если я правильно понимаю, то парсю я ответ на API запрос - может можно его как-то проще парсить? Например, при помощи других библиотек?

3. Покупал пачку из 2000, 5000 прокси для эксперимента... все равно быстро ловлю бан. Может стоит поиграть с количеством потоков и промежутками между запросами?

4. Из опыта, может есть какие-то моменты, которые помогут дольше оставаться не забаненным? Например, передать в CD cookie из браузера навигации.. или еще что-нибудь?

Заранее благодарен.

 

Может прокси не качественные? Я когда парсил 1 сайт, нужны были прокси, покупал примерно штук 25-50 за 100-150 рублей на 3 дня, правда ipv6, proxy.market - сайт. мне тамошние прокси помогли.
дак если тебя забанили CD сам меняет прокси, зачем так сложно?
а на сколько потоках сейчас парсишь? есть смысл если мало товаров ставить в 1 поток и ожидание 1000-3000 (от 1 секунды, до 3 секунд) ну или лютый к ботам сайт 2000-5000.
в ctrl + r точно правильно настроили? и стоят галки где будут работать прокси?

 

спасибо за интерес к вопросу.
1. мне надо спарсить 88 000 страниц. API отдает 40 страниц, потом возвращает ошибку. математика такая была 2000 прокси * 40 = 80 000 страниц, такие были ожидания. в лучшем случае 8-10 000 спарсил;
2. даже при ошибке API дает ответ "200", поэтому и городил конструкцию с CHECKENTRY (из мануала), чтобы распознать ошибку;
3. в настройках выставлено 50 потоков, пауза между запросами 0 мс;
4. галки стоят на всех трех пунктах "использовать".

 

Вот и ответ, любой сервак будет банить, снижайте до 25-15

 

снизил до 15, поставил паузу между запросами 2000 мс. результат - скорость парсинга упала в три раза

 

дак это логично, чем меньше количество поток, тем дольше будет парсинг + пауза между запросами. зато меньше возможности быть забаненым