Редирект ссылок(перенаправление)

Тема в разделе "Общее", создана пользователем mangyst, 3 фев 2018.

Метки:
Страница 1 из 2
  1. mangyst

    mangyst New Member Пользователи

    Регистрация:
    3 фев 2018
    Сообщения:
    15
    Город:
    Киев
    пробую спарсить ссылки, столкнулся с проблемой редиректа:
    1. парсится такая ссылка:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    2. а на сайте, реальная,
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    параметры настройки:
    CTR+H - Ссылки недоступны для гостей

    не получается сделать редирект, подскажите. спасибо!
     
    Последнее редактирование модератором: 3 фев 2018
    mangyst, 3 фев 2018
    #1
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Ссылку на сайт пожалуйста.
    п.с. При наличии "каких либо фобий" используйте тег HIDE со большим значением, увидят только модераторы/администраторы.
     
    kagorec, 3 фев 2018
    #2
    Root нравится это.
  3. mangyst

    mangyst New Member Пользователи

    Регистрация:
    3 фев 2018
    Сообщения:
    15
    Город:
    Киев
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
     
    mangyst, 3 фев 2018
    #3
  4. mangyst

    mangyst New Member Пользователи

    Регистрация:
    3 фев 2018
    Сообщения:
    15
    Город:
    Киев
    программа отдает: Ссылки недоступны для гостей
     
    mangyst, 3 фев 2018
    #4
  5. mangyst

    mangyst New Member Пользователи

    Регистрация:
    3 фев 2018
    Сообщения:
    15
    Город:
    Киев
    настройка: Ссылки недоступны для гостей
     
    mangyst, 3 фев 2018
    #5
  6. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Вас понял, посмотрев страницы товаров, примерно 30% такие странные редирект страницы товаров именно со страницы категорийной.
    Предлагаю решение такое - парсить ссылки сканером из
    Код:
    rel="canonical" href="http://design-tuning.com/item/emblema_shildik_mercedes_g65_plastik-16245/"
    которые на товарных страницах имеют полный\нужный вид.

    Оставьте настройки в сканере как есть, и смените только условия сбора ссылок в "FIND" галочки снять и добавить:
    Код:
    rel="canonical" href="{get}"
    [​IMG]
     
    kagorec, 3 фев 2018
    #6
  7. mangyst

    mangyst New Member Пользователи

    Регистрация:
    3 фев 2018
    Сообщения:
    15
    Город:
    Киев
    настройка: [​IMG] upload_2018-2-4_0-25-51.png
     
    mangyst, 4 фев 2018
    #7
  8. mangyst

    mangyst New Member Пользователи

    Регистрация:
    3 фев 2018
    Сообщения:
    15
    Город:
    Киев
    результат: Ссылки недоступны для гостей
     
    mangyst, 4 фев 2018
    #8
  9. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Галочку попробуйте вернуть на "искать ссылки в html-тегах" и фильтре ссылок (Ctrl+3) в запрет добавьте
    Код:
    re:com/item/[0-9]+/
     
    kagorec, 4 фев 2018
    #9
  10. mangyst

    mangyst New Member Пользователи

    Регистрация:
    3 фев 2018
    Сообщения:
    15
    Город:
    Киев
    результат: Ссылки недоступны для гостей
     
    mangyst, 4 фев 2018
    #10
  11. mangyst

    mangyst New Member Пользователи

    Регистрация:
    3 фев 2018
    Сообщения:
    15
    Город:
    Киев
    настройка: Ссылки недоступны для гостей
     
    mangyst, 4 фев 2018
    #11
  12. mangyst

    mangyst New Member Пользователи

    Регистрация:
    3 фев 2018
    Сообщения:
    15
    Город:
    Киев
    В "Настройка HTTP" я не правил: Ссылки недоступны для гостей
     
    mangyst, 4 фев 2018
    #12
  13. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Прикрепил пример проекта. Ознакомьтесь, надеюсь теперь понятно будет о чем толковал ранее.
    п.с. То что на ваших скринах неправильно.
     

    Вложения:

    kagorec, 4 фев 2018
    #13
    xLime и Root нравится это.
  14. mangyst

    mangyst New Member Пользователи

    Регистрация:
    3 фев 2018
    Сообщения:
    15
    Город:
    Киев
    Спасибо! Буду разбирать
     
    mangyst, 4 фев 2018
    #14
  15. mangyst

    mangyst New Member Пользователи

    Регистрация:
    3 фев 2018
    Сообщения:
    15
    Город:
    Киев
    Работает, вроде.
     
    mangyst, 4 фев 2018
    #15
  16. mangyst

    mangyst New Member Пользователи

    Регистрация:
    3 фев 2018
    Сообщения:
    15
    Город:
    Киев
    ссылка для парсинга ссылок: Ссылки недоступны для гостей
    2 страниц с товаром: Ссылки недоступны для гостей
    мне нужно спарсить все товарные ссылки в этой категории, на всех двух страницах.
    Помогите с настройкой. Спасибо!
     
    mangyst, 7 сен 2018
    #16
  17. mangyst

    mangyst New Member Пользователи

    Регистрация:
    3 фев 2018
    Сообщения:
    15
    Город:
    Киев
    настройка проэкта
     

    Вложения:

    mangyst, 7 сен 2018
    #17
  18. mangyst

    mangyst New Member Пользователи

    Регистрация:
    3 фев 2018
    Сообщения:
    15
    Город:
    Киев
    моя задача - запарсить все товарные ссылки с сайта: Ссылки недоступны для гостей
     
    mangyst, 7 сен 2018
    #18
  19. mangyst

    mangyst New Member Пользователи

    Регистрация:
    3 фев 2018
    Сообщения:
    15
    Город:
    Киев
    может есть другое решение, что бы запарсить весь сайт?
     
    mangyst, 7 сен 2018
    #19
  20. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Вам такую задачу стоит разместить в Ссылки недоступны для гостей. Пожалуйста.
     
    kagorec, 7 сен 2018
    #20
Страница 1 из 2
Similar Threads
  1. vpetrom

    Подмена ссылок из документа на их конечный адрес (редирект)

    vpetrom, 9 июл 2014, в разделе: Решение различных задач по парсингу
    Ответов:
    21
    Просмотров:
    3.641
    T0nus
    31 янв 2015
  2. Petrushan

    Парсинг ссылок с определенным класом

    Petrushan, 26 фев 2018, в разделе: Сбор ссылок сканером сайтов
    Ответов:
    5
    Просмотров:
    1.011
    Petrushan
    27 фев 2018
  3. Jamil

    Не работает фильтрация в сканере ссылок

    Jamil, 9 дек 2020, в разделе: Сбор ссылок сканером сайтов
    Ответов:
    4
    Просмотров:
    758
    Jamil
    12 дек 2020
  4. Shotlandec1980

    Парсинг изображений через редирект

    Shotlandec1980, 22 янв 2021, в разделе: Скачивание картинок и файлов
    Ответов:
    2
    Просмотров:
    541
    Shotlandec1980
    22 янв 2021
  5. zava75

    Как быстро проверить домен на занятость.?

    zava75, 10 фев 2021, в разделе: Решение различных задач по парсингу
    Ответов:
    3
    Просмотров:
    643
    kagorec
    8 апр 2021
Загрузка...

Поделиться этой страницей