Помогите распарсить сайт с java пагинацией

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем Magnum, 17 июн 2013.

  1. Magnum

    Magnum New Member Пользователи

    Регистрация:
    18 апр 2013
    Сообщения:
    4
    Вот собственно пациент - Ссылки недоступны для гостей

    Пагинация не явная, а через js. Отключаешь js - ни товаров ни пагинации.

    Задача собрать ссылки страниц для парсинга контента

    Как сделать ума не приложу. Подскажите у кого какие идеи
     
    Magnum, 17 июн 2013
    #1
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Отснифить/поймать запрос при клике по странице с помощью Mozilla +addon HTTPFox
    Будут ссылки вида
    Код:
    http://tyreinfo.com/jsonservice.php?action=searchTyre&dataType=json&page=3&width=-1&profile=-1&diameter=-1&index_speed=-1&index_load=-1&stud=-1&type=-1&season=-1
    Добавляете в CD во вкладке "ссылки" диапазон ставите и потом с отмеченным обработчиком sitemap.xml собираете ссылки

    [​IMG]

    Лишние экранируемые слеши удалить с помощью фильтра в поле "поиск-замена"
    Код:
    \/|/
     
    Последнее редактирование: 17 июн 2013
    kagorec, 17 июн 2013
    #2
  3. xmaster

    xmaster New Member Пользователи

    Регистрация:
    26 янв 2017
    Сообщения:
    11
    Подскажите пожалуйста где тут
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    нужный POST запрос?
    После клика есть только один подходящий POST запрос /bitrix/templates/vamsvet_new/system/ddl_ajax.php HTTP/1.1, но в нем нет ни пагинации, ни данных как в видео.
     
    xmaster, 6 сен 2017
    #3
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    2017-09-07_10-23-18.png
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    Root, 7 сен 2017
    #4
    xmaster нравится это.
  5. xmaster

    xmaster New Member Пользователи

    Регистрация:
    26 янв 2017
    Сообщения:
    11
    Спасибо, только я дальше не сдвинулся. В настройках HTTP запросов нужны POST запросы, а тут GET. Прямая ссылка
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    выводит абракадабру, по ней парсер ничего не соберет. Выходит что в программе как-то нужно связать запрос GET и запрос POST ( /bitrix/templates/vamsvet_new/system/ddl_ajax.php ) ?
     
    xmaster, 7 сен 2017
    #5
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Никаких проблем не вижу.

    2017-09-07_12-04-09.png
     

    Вложения:

    • vamsvet_ru.cdp
      Размер файла:
      34,5 КБ
      Просмотров:
      4
    Root, 7 сен 2017
    #6
    xmaster нравится это.
  7. xmaster

    xmaster New Member Пользователи

    Регистрация:
    26 янв 2017
    Сообщения:
    11
    От души! Я думал сегодня не успею. Лучшая поддержка из всех что мне встречались. Быстро, коротко и в точку, без демагогий.
     
    xmaster, 7 сен 2017
    #7
Similar Threads
  1. Zyuzka

    Помогите распарсить Hotline.Ua

    Zyuzka, 4 апр 2013, в разделе: Решение различных задач по парсингу
    Ответов:
    3
    Просмотров:
    1.586
    nikolas1612
    10 июн 2013
  2. fob

    Помогите распарсить повторяющуюся таблицу с разными данными

    fob, 10 июн 2013, в разделе: Решение различных задач по парсингу
    Ответов:
    5
    Просмотров:
    1.804
    kagorec
    18 июл 2013
  3. kondratev

    Не могу распарсить сайт.

    kondratev, 4 авг 2015, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    0
    Просмотров:
    989
    kondratev
    4 авг 2015
  4. meatus

    Интересный сайт с пагинацией

    meatus, 20 дек 2015, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    1
    Просмотров:
    819
    Kreol
    21 дек 2015
  5. boba

    Парсинг урлов мувика для плеера код которого формируется java-script

    boba, 1 мар 2017, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    4
    Просмотров:
    1.083
    Root
    7 мар 2017
Загрузка...

Поделиться этой страницей