Прошу помощи у опытных парсеров (история и сайт под хайдом)

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем romanvl, 17 окт 2014.

  1. romanvl

    romanvl New Member Пользователи

    Регистрация:
    21 фев 2014
    Сообщения:
    18
    Всем привет

    Собственно занимаюсь парсингом сайта. Уже получил бан по айпи, пришлось использовать списки прокси. Собственно запчасти уже спарсил, осталось взять основной товар. Загвоздка вот в чем. В предпросмотре цены после авторизации показываются меньше (настроил эксплорер через прокси, т.к. мой айпи уже забанен), чем без авторизации, а после запуска парсинга все цены почему-то проходят как без авторизации. Вроде все делаю по инструкции, авторизуюсь, сохраняю кукисы.

    Я понимаю, что мой вопрос совсем ламерский. Прошу помощи.

    Понять меня тяжело, и скорей всего ответ уже есть на форуме. Если кому не трудно - буду признателен за подсказку.


    Завтра еще на свежую голову прочитаю помощь с начала и попробую снова))

    Вообще мне нужно минимум собрать название товара и цену для зарегистрированного пользователя. про метод авторизации через Огнелиса прочитал, завтра попробую. Может там где задержку поставить, я хз.

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    Последнее редактирование: 17 окт 2014
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    В вашем проекте, если нажать ctrl+h, галочка Internet Explorer (DOM) отмечена? Если да, то Cookies берутся из Internet Explorer системы, если нет, то Cookies (при отправке запроса) должны браться из окна ctrl+h.

    Рекомендую брать Cookies для вставки их в программу в окно настроек HTTP-запросов (ctrl+h) таким вот методом - Ссылки недоступны для гостей (Авторизация методом передачи Cookies из плагина Firefox — LiveHTTPHeaders в настройку HTTP-запросов программы (ctrl+h) — САМЫЙ ВЕРНЫЙ МЕТОД).

    Надеюсь, наш ответ вам помог. Обращайтесь...

    С уважением к вам, Сергей.
     
  3. romanvl

    romanvl New Member Пользователи

    Регистрация:
    21 фев 2014
    Сообщения:
    18
    Все еще нужна помощь.

    Как оказалось цены после регистрации не просто другие после регистрации, а подгружаются запросами после загрузки страницы

    что то типа такого

    POST /gettdivprice.php dates=Price&id_item=288

    для каждого товара и потом уже появляются на странице.
    Что-то я помню уже подобное где-то видел, нужно в фаблоне вывода запросить контент и спарсить данные?

    Короче я понял, мне нужно делать запрос цены, сформировав ссылку с правильным айди товара.

    ПС Сергей, парсер супер, помощ отличная, но нужен упрощенный режим для быстрого старта, полгода не пользовался парсером, подзабыл вообще все. Опять помощь читаю с начала. Блин, опять на выходных буду изучать систему помощи по программе))
     
    Последнее редактирование: 22 окт 2014
  4. Nemax

    Nemax New Member Пользователи

    Регистрация:
    22 окт 2014
    Сообщения:
    1
    Добрый день , подскажите, можно ли спарсить данные участников на этом сайте?
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    заранее спасибо
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Можно.

    Пожалуйста.
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Спасибо на добром слове!

    Ваш вопрос, на мой взгляд, требует длительного разбора и я сейчас не могу им заняться. Думаю, с этим вопросом лучше обратиться к специалистам по настройке Ссылки недоступны для гостей (я не навязываю, просто говорю, что лучше сделать в данном случае).

    Так же буду рад, если вам кто-нибудь тут поможет с этим вопросом.

    С уважением к вам, Сергей.
     
  7. romanvl

    romanvl New Member Пользователи

    Регистрация:
    21 фев 2014
    Сообщения:
    18
    Без проблем!)) пока взял данные вручную, попозже постараюсь сам вопрос решить, всетаки интересно же))

    ПС Сергей, снимай больше видео, на видео сразу все понятно что куда тыкать.
     

Поделиться этой страницей