Подскажите с чем может быть связана нестабильность, а именно: Совсем не грузит контент, сколько бы потоков не ставил, не реагирует на прокси и юзер агент. Месяц назад парсили по этому проекту в 50 потоков и никаких проблем не знали (естественно с прокси) а сейчас пол дня простоял, взял товаров 100 за это время, остальные в ошибках. Может у них что-то изменилось, или я что-то не так сделал. Файлы прилагаю.
Здравствуйте. Проверил ваш проект, никаких проблем не увидел. Все 7 документов спарсились. В диагностировании проблемы отталкивайтесь от ошибок в логе. Возможно, часть ваших прокси пришла в негодность. С уважением к вам, Сергей.
Сергей, не подскажешь почему может безумно медленно парсить? меньше товара в минуту. (пробовал и список агентов и куки менять и потоки от 1 до 50, прокси) все равно скорость очень медленная, месяц назад собирал по 15-30 товаров в минуту. Из минусов у меня сейчас статический IP. но судя по логам его программа скрывает проксями. Может еще что-то не учел, перешарил весь форум. ТОР тоже не подошел, и что самое не понятное, не используя все эти уловки, просто напрямую с задержкой в 7000 и при 1-2 потоках парсит с такой же скоростью.
Отключите макрос случайного вывода текста {..|..|..} (главное меню - настройка - настройка макросов). С уважением к вам, Сергей.
Парсить стало намного быстрее!! спасибо! Парс быстро пробегает по ссылкам. Но ошибка не ушла, объясню, много страниц не парсится, выдает ошибку - файл не сохранен: Сработал фильтр "не сохранять ссылки с битыми картинками". причем заметил что страницы у которых 1 картинка парсятся без проблем, а там где 2 и более нет. Вообще не могу врубить в чем дело. По форуму эту ошибку не нашел, никто о ней не писал( Помогите плиз разобраться!
Убрал галочку в контенте фильтре - не парсить с битыми картинками, стал парсить, но без картинок. Если в самом проекте поплыло, то почему без прокси в 1 поток парсит нормально (но показывает что уйдет на это 42 дня) а с прокси выходит лажа с картинками((( запутался совсем