Защита от парсинга в Битрикс. Нужно спарсить весь товар.

Ссылки недоступны для гостей

Не открывается контент в Контент Даунлоадере

Плюс какая то защита, возвращает к первому товару если время отклика ставить маленькое

 

Здравствуйте.

Проблем не вижу.

 

Столкнулся с такой проблемой. При настройке границ парсинга в CD некоторые (не все) страницы стали выдавать 404 ошибку (такой страницы не существует). То есть прохожусь сканером - ссылки добавляются, но еще 5 минут назад страницы открывались, а после того как я их пооткрывал в окне программы для задания границ парсинга - они стали давать ответ - страница не существует.
Причем если я эти ссылки открывал через браузер, то они открывались, но стоило мне попытаться открыть их для задания границ - все. ошибка 404. Причем теперь эти страницы не доступны даже если пытаюсь открыть их по прямым ссылкам в разных браузерах, инкогнито, через vpn или анонимайзер и даже с других устройств. Мистика какая-то или глюки на сайте-доноре, но складывается впечатление, что сервер блокирует ip причудливым образом. Почему тогда с др.устройств страницы не открываются? странно...

 

Если с других устройств открываются, а с вашего даже прокси не помогают, возможно сайт отслеживает фингерпринты и по ним блокирует или прокси прозрачные используете. Если с других устройств не открывается сайт, тогда в самом сайте проблема. На этом экстрасенсорные способности иссякли.