<CD_DOCURL!> после wbapp

Тема в разделе "Решение различных задач по парсингу", создана пользователем dexperanto, 22 ноя 2014.

  1. dexperanto

    dexperanto New Member Пользователи

    Регистрация:
    21 ноя 2014
    Сообщения:
    123
    Доброго времени суток.
    Сейчас делают такой проект...
    Суть в том, что wbapp ищет на страничке ссылку с "?bs=web.company.", кликает и переходит.
    Вот мне нужно затем в csv получить все ссылки на уже перейденные страницы.

    1. просто <CD_DOCURL!> отдаёт ту же самую ссылку.
    2. в настройках http-запросов обе галки стоят что "обрабатывать ридерикты" и "работать с ридериктными ссылками". всё равно не помогает)
    3. как советуют тут на форуме <a href="<CD_DOCURL!>"> пробовал, ноль результата.

    Версия cd 11.89, проект прикладываю.
    Заранее спасибо за помощь.
    Форум уже зачитал, но ответа ни нашёл(
     

    Вложения:

    • yell.zip
      Размер файла:
      5,9 КБ
      Просмотров:
      5
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Вы не тем путем шли.

    Укажите ниже адрес WEB-страницы (где располагается нужная ссылка) и приложите скриншот с указанием этой ссылки (на которую кликнуть).

    На web-страницах, что есть в списке ссылок вашего проекта, я ?bs=web.company. в коде не вижу!
     
  3. dexperanto

    dexperanto New Member Пользователи

    Регистрация:
    21 ноя 2014
    Сообщения:
    123
    В том-то и дело, что это динамически подгружаемая информация на странички)
    То есть, это рекламный блок других компаний на этой странице.
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  4. dexperanto

    dexperanto New Member Пользователи

    Регистрация:
    21 ноя 2014
    Сообщения:
    123
    Смотрите... есть 26 разделов, 82 города) ну я собрал там более 2 тысяч ссылок на разделы городов. После прошёл парсером и собрал ссылки на компании, получилось более 20 тысяч. Цель такая... пройтись по страничкам всех компаний и захватить ссылки на компании, которые рекламируются в рекламно блоке посерединке и на боковом popup-окне.
    Проблема в том, что ну вообще никак не найти ссылку на компанию из рекламы в блоке, только окончание есть ?bs=web.company.
    Ну окей. Я иду в wbapp ищу ссылку с ?bs=web.company. и кликаю по ней) Теперь нужно получить ссылку компании, а которую перешел в wbapp
    А <CD_DOCURL!> возвращает исходную, а не ту, на которую перешли.
     
  5. dexperanto

    dexperanto New Member Пользователи

    Регистрация:
    21 ноя 2014
    Сообщения:
    123
    К примеру, мы зашли в раздел авто города ростова-на-дону.
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    берем компанию 3. Башнефть и заходим в её профиль.
    Тут динамически подгружается реклама "РИЯ авто".
    Поскольку в коде страницы ссылку на неё не найти, только окончание присутствует, то в wbapp кликаем по этой ссылке.
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Теперь нужно вернуть строку csv ссылка на ту страницу, куда перешли, а не ту, откуда начали изначально парсить))
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Не вижу абсолютно никаких проблем...
     

    Вложения:

    • yell_ru_2.cdp
      Размер файла:
      26,3 КБ
      Просмотров:
      4

Поделиться этой страницей