Парсить ссылки, подгружаемые скриптом

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем coolbratan, 6 янв 2015.

  1. coolbratan

    coolbratan New Member Пользователи

    Регистрация:
    27 ноя 2014
    Сообщения:
    52
    Город:
    Харьков
    Здравствуйте, есть сайт с поиском
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Для этого нужно перебирать в поиске Год, Модель, Марку и иногда Тип привода (там где он есть). Только так появляются ссылки на нужные страницы. Как это сделать?

    Ссылки ведут на страницы, с которых нужно спарсить только колонку Part#, но результат должен вставляться в соответствии с названием колонки, т.е. если названия колонки нет на странице, то нужно оставлять ячейку пустой в нужной колонке. Проект и вид конечного (желаемого) файла прилагается. Помогите пожалуйста, уже сломал мозги над этой задачей.
     

    Вложения:

    • sylvania_com.cdp
      Размер файла:
      42,5 КБ
      Просмотров:
      0
    • sample3.rar
      Размер файла:
      8 КБ
      Просмотров:
      0
    Последнее редактирование: 6 янв 2015
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Учимся пользоваться hivehttpheader Ссылки недоступны для гостей
    тогда можно получить вот такие ссылки
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    А дальше все руками.
    Составляем список и создаем фильтры
     
  3. coolbratan

    coolbratan New Member Пользователи

    Регистрация:
    27 ноя 2014
    Сообщения:
    52
    Город:
    Харьков
    LiveHTTPheaders я то пользоваться более или менее умею, так вот только для получения ссылок все равно нужно будет кликнуть на каждый пункт выпадающего списка для формирования всех возможных поисковых запросов. Или я что-то не понимаю?
     
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    В снифере http заголовков LiveHTTPheaders (или в HTTPFox) вы отловите ссылки которые получились после выбора пунктов, далее например в текстовом редакторе пару таких ссылок поставьте и сравните в каких местах происходили изменения.
    Скорее всего там смена годов, марок и т.д., это можно попробовать нагенерировать в программе во вкладке "ССЫЛКИ" (кнопка справо [GEN] ) - после генерации прямых ссылок вам достаточно будет их вставить в программу и по ним парсить результаты.
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    Последнее редактирование: 7 янв 2015
  5. coolbratan

    coolbratan New Member Пользователи

    Регистрация:
    27 ноя 2014
    Сообщения:
    52
    Город:
    Харьков
    Так я уже пробовал... К сожалению, не подходит тут этот метод, поскольку в каждом году выпуска присутствуют разные марки машин, и есть те, которые не повторяются. Поэтому получается, что только вручную приходится кликать, а потом уже собирать запросы, генерировать ссылки и парсить... :-((
     
  6. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Уважаемый Александр, будьте так добры связаться со мной.
     
    Последнее редактирование: 8 янв 2015
  7. coolbratan

    coolbratan New Member Пользователи

    Регистрация:
    27 ноя 2014
    Сообщения:
    52
    Город:
    Харьков
    Ссылки, как и посоветовал Kreol, спарсил кликаньем по каждому пункту поиска через LiveHTTPheaders - увы другого способа не нашел, а так хотелось! (если все-таки кто-то найдет буду весьма признателен - для следующих проектов).

    А саму задачу решил при помощи макроса DYNAMICVALUES, чтобы название строки совпадало со значением, в динамических границах зацепил название - ВСЕ ПОЛУЧИЛОСЬ! Всем огромное спасибо за помощь!
     

    Вложения:

Поделиться этой страницей