Возникли проблемы с парсингом яндекс маркета

Тема в разделе "Решение проблем с использованием программы", создана пользователем Zabava, 21 июл 2014.

  1. Zabava

    Zabava New Member Пользователи

    Регистрация:
    14 сен 2012
    Сообщения:
    4
    Здравствуйте.
    Большое спасибо за программу. И за подробные мануалы- очень помогает в работе.

    Вопрос следующий:
    версия 10.9987

    4 недели назад сделала проект по парсингу товаров с маркета.
    В течение 2 недель выкачала около 3000 товаров в csv с характеристиками в которых была необходимость. Не сразу, по очереди, в один поток, с паузой 10000. Ни разу не получила бан. Все выкачалось так, как мне было нужно. Потом был перерыв в несколько дней.
    С неделю назад проект работать перестал.
    Яндекс выдает каптчу.
    Куки отправляю, прокси пробовала, сделала маленький тестовый проект, где только имя и цена. Результат один- 1-2 товара выкачиваются, потом каптча.
    Причем раньше (2-3 месяца назад), если стояла птица- останавливать парсинг при бане, парсинг останавливался и можно его было позже продолжить, то сейчас - просто выкачиваются пустые поля.
    Пробовала несколько раз.
    За последнее время программа обновилась дважды. Возможно появилась какая-то настройка, которую я не учитываю (вряд-ли, но вдруг) или сам маркет чудит?

    В любом случае- нужен совет, что с этим делать - на очереди еще есть проекты.


    Если нужны дополнительные сведения или файлы проектов- скажите- я выложу.

    Спасибо.
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.
    Socks 5 прокси никто не пробовал использовать на Маркете?
     
  3. Zabava

    Zabava New Member Пользователи

    Регистрация:
    14 сен 2012
    Сообщения:
    4
    Докладываю
    Взяла маленькую категорию- 33 товара и только 2 поля.
    Прокси Socks 5 поставила несколько штук.
    Все товары пропарсились нормально в один поток с интервалом 10000.
    В процессе был 1 бан от яндекса, но в этот раз всплывашка- предупреждение от парсера про бан было. Позже удалось допарсить остальное.

    Спасибо большое за совет.
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста.
    Можно добавить очень много сокс прокси и парсить в 50 потоков без задержки) Только сложно найти хорошие прокси, которые еще не в бане у Яндекса...
     

Поделиться этой страницей