Жестко банит сайт. Пробовал много вариантов.

Тема в разделе "Решение различных задач по парсингу", создана пользователем sten30, 27 фев 2018.

  1. sten30

    sten30 Active Member Пользователи

    Регистрация:
    7 авг 2014
    Сообщения:
    230
    Через пару часов парсинга начинает банить все. Адвор, простые прокси, VPN. Ссылок 50 тысяч, поэтому паузы затянут парсинг нереально.
    Какие есть еще варианты?
    Ссылки недоступны для гостей
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Если там банит прямое вхождение в товарную ссылку то стоит попробовать имитацию перехода с категорийной ссылки на страницу товара.
    В wbapp первые строки это открывает страницу категории через [go] через паузу [go][original]
     
    Root и sten30 нравится это.
  3. kenny872012

    kenny872012 Well-Known Member Пользователи

    Регистрация:
    18 фев 2018
    Сообщения:
    324
    Сайт, полный атас. Парсил его как то, там еще и ограничения на сервере по скорости отдачи стоят, картинки качаются тысячу лет.
     

Поделиться этой страницей