Парсинг с мобильного прокси

Почему при парсинге с мобильным прокси, при парсинге контента, половина не парсится и в логах ошибок нет, чтобы опять можно было спарсить. На скрине видно из 675, спарсилось в csv 295. Прописан 1 моб.прокси и в программе выставленно 5 потоков с задержкой 5000. мобильные прокси могут меняться, как динамически, по времени и по каждой ссылке. сейчас установлено время обновления при смени ссылки и прокси без ограничения потоков. как правильно настроить прокси для сайта list-org.com.

 

Смотря как настрое у Вас проект, если граница парсинга не пустая, то длинна строки записываемая в csv будет не иметь какую то минимальную длинну, например 19. Возможна вылезает капча или еще какая защита, сайт не простой.

 

на скрине, где значение 19, там выскакивает капча и естественно по этой ссылке нет парсинга, но программа об этом не пишет в логах, что по этой ссылке не спарсено. мобильный прокси меняет ip у каждой ссылке. или как сделать, когда встретится капча или не загрузится страница, то поставить на автоматическую паузу с продолжением.

 

Здравствуйте.

 

у меня такие настройки и стояли. на скрине выше, где значение 19, там страница с капчей, но программа не останавливается и продолжает переходить по другим ссылкам без парсинга данных.

 

Редирект на страницу с каптчей - документ загружен.