парсинг категории

Тема в разделе "Решение различных задач по парсингу", создана пользователем elena8, 28 авг 2018.

  1. elena8

    elena8 New Member Пользователи

    Регистрация:
    19 авг 2018
    Сообщения:
    9
    Подскажите, на сайте нужно спарсить товары с категории.

    Ссылка категории имеет структуру:
    site.ru/category/name-category/

    проблема в том, что товары в ней имеют структуру ссылки:
    site.ru/name-tovara

    В сканере сайтов указываю site.ru/category/name-category/
    Доп. параметры /name-category/
    А вот что указать в фильтре ссылок?
     
  2. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    874
    Укажите глубину ссылок от 2 до 2
     
    elena8 нравится это.
  3. elena8

    elena8 New Member Пользователи

    Регистрация:
    19 авг 2018
    Сообщения:
    9
    Спасибо
     
  4. elena8

    elena8 New Member Пользователи

    Регистрация:
    19 авг 2018
    Сообщения:
    9
    Все равно со страницы парсятся ссылки не относящиеся к товарам
     
  5. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    В данном случае не СКАНЕР, а вкладка ССЫЛКИ с указанием диапазона кода в котором есть товарные ссылки категории.
    Ссылки недоступны для гостей - Парсинг ссылок со страниц рубрики или выдачи (сбор ссылок во вкладке «ссылки»)
     
    inotoxic нравится это.
  6. inotoxic

    inotoxic Well-Known Member Пользователи

    Регистрация:
    13 сен 2015
    Сообщения:
    874
    Вопрос частично решен
    на сайте ленивая загрузка товаров
    Рекомендации - собирать ссылки через WBAPP
     
  7. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Ну вообщето как раз это самый правильный подход, делаем несколько проэктов, которые собирают ссылки на пагинацию, категории и подкатегорию. И сканер это зло) Всегда только руками и глазами, создавать куча проэктов но они работают в 500 раз быстрее и правильнее чем сканер. Сканер работает нормально обычно, но у него свои проблемы есть.
     
  8. fin79dream

    fin79dream New Member Пользователи

    Регистрация:
    5 авг 2018
    Сообщения:
    10
    Я недавний пользователь программы, но вот попробовав собирать ссылки сканером и через проекты, склоняюсь ко второму варианту, пусть он несколько медленней, но по результату чище.
     
  9. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Для новичков да, это лучший выход.
     

Поделиться этой страницей