Проблема со сбором ссылок, русские названия в ссылке, прошу помощи

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем romanvl, 15 июн 2014.

  1. romanvl

    romanvl New Member Пользователи

    Регистрация:
    21 фев 2014
    Сообщения:
    18
    Проблема на этапе сбора ссылок (сайт под хайдом)

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Вроде уже пользовался CD. понимаю как и что делать. А нужно получить каталог товаров с этого сайта с описание м и т.д.

    Затык на этапе сбора ссылок. Если спарсить вот эту страницу на предмет ссылок на товары,

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    то в итоге ничего толкового не выходит. Я понимаю что дело в русских названиях, кто как это обходит?

    Прошу помощи у опытных товарищей. (Админу спасибо за постоянную доработку софта. Ну и за помощь тоже спасибо=))

    Буду признателен за любую помощь.

    ((В итоге получаю ссылку вида
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    которая никуда не ведет. Я так понимаю где-то не срабатывает скрипт какойто. Но при включении ДОМ вообще ничего не выводит((
     
    Последнее редактирование: 15 июн 2014
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Парсит вообще без проблем!
    Какая версия у вас? (меню - справка - о программе)
     

    Вложения:

  3. romanvl

    romanvl New Member Пользователи

    Регистрация:
    21 фев 2014
    Сообщения:
    18
    10.9933

    вот проект подгрузил - начало нормально ссылки получать с русскими буквами а не абракодаброй как раньше.

    я давно не обновлял софт, буквально на днях включил - обновил - мог там остаться старый проект и из-за этого была проблема?

    upd

    получил после прогона по проекту ссылку на карточку товара
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    явно в ссылке
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    лишнее. т.е. с ним не грузится, без него грузится.

    В чем магия?
     
    Последнее редактирование: 15 июн 2014
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Я вам в предыдущем ответе дал проект (меню - файл - загрузить проект). С ним парсятся ссылки как надо и все работает. Пользуйтесь...
    Наугад скажу, что в вашем проекте есть настройки, которые изменяют ссылки и приводят их к нерабочему виду...
     
  5. romanvl

    romanvl New Member Пользователи

    Регистрация:
    21 фев 2014
    Сообщения:
    18
    Долго я мучал, короче парсер не парсит. Выдает ссылки типа такого

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Руками нужно редактировать каждую((
     
  6. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    правой кнопкой по списку и пункт "Преобразовать из URL кодировки"
     

    Вложения:

  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    ЗАГРУЗИТЕ, ПОЖАЛУЙСТА, МОЙ ПРОЕКТ!!! ВСЕ ПРЕКРАСНО ПАРСИТСЯ!!! КАК ВАС ЕЩЕ УГОВОРИТЬ ЗАГРУЗИТЬ МОЙ ПРОЕКТ? (ПРОШУ УЖЕ ТРЕТИЙ РАЗ)
     

    Вложения:

  8. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    При сборе ссылок во вкладке "ссылки" и в "сканере" найдены только кирилические, подобных что выше показаны ни одной.

    [​IMG]
     
  9. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    у ТС скорее всего, входящая кодировка не AUTO
     
  10. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    AUTO для кодировок стоит в сканере и в вкладке "ссылки"
     
  11. romanvl

    romanvl New Member Пользователи

    Регистрация:
    21 фев 2014
    Сообщения:
    18
    Ребят,вы вкурсе, что вы собираете категории, в конце ссылки -ocs-с
    а я говорю про ссылку карточки товара? там в конце ссыоки -ocs-p

    И, да, я сразу загрузил проект, он заработал, с правильной кодировкой, но ссылка на товар так и осталась кривая.

    ПС Админ, ты очень большой молодец, но тут не одна школота сидит, я сразу все сделал как ты написал.
    ппс и кодировка авто.
     
    Последнее редактирование: 17 июн 2014
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Мы в курсе, что мы делаем.
    Вы просили с указанного адреса собрать ссылки - мы собрали =)
    Теперь вы просите переходить по тем собранным ссылкам и собирать с них ссылки на товары. Так бы сразу и написали... Используйте для этого сканер сайтов Ссылки недоступны для гостей
     
  13. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Попарсив сканером, понял в чем проблема, относительные ссылки на этом сайте немного не по науке оформлены...
    Вот, попробуйте проект (кнопка "сканер сайтов" на панели инструментов).
    Должен все товары собрать, хотя мало собирает почему-то, попробуйте...
    Если что - пишите...
     

    Вложения:

  14. romanvl

    romanvl New Member Пользователи

    Регистрация:
    21 фев 2014
    Сообщения:
    18
    Админ красавчик=))

    Объясни пожалуйста в каком месте нужно было подкрутить? Нашло 566 ссылок - скорей всего правда.
     
  15. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Я был не прав, говоря про "ненаучное" оформление относительных ссылок на указанном вами сайте. Я не знал про такой неширокораспостраненный HTML-тег base, в котором прописывается начальная часть для всех относительных ссылок на веб-странице. Программа этот тег не учитывает (по крайней мере пока), она подставляет доменное имя к ссылкам по правилам языка HTML (но без учета base).

    Я в фильтрах ссылок переместил переключатель из положения "автоматически" в положение "добавлять следующее" и прописал то, что добавлять к каждой относительной ссылке, в данном случае
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
  16. romanvl

    romanvl New Member Пользователи

    Регистрация:
    21 фев 2014
    Сообщения:
    18
    Увидел эту настройку. Спасибо.
     
  17. anzerg

    anzerg New Member Пользователи

    Регистрация:
    20 май 2019
    Сообщения:
    5
    Город:
    Тамбов
    спасибо, решение помогло
     

Поделиться этой страницей