Как парсить видео с YouTube (по ключевым словам)

Тема в разделе "Парсинг конкретных сайтов по запросу (ПЛАТНО)", создана пользователем Root, 14 фев 2012.

  1. Werytas

    Werytas New Member Пользователи

    Регистрация:
    7 ноя 2012
    Сообщения:
    8
    Так где она находится?
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте!

    Смотрите синюю стрелочку на скриншоте Ссылки недоступны для гостей
     
  3. Werytas

    Werytas New Member Пользователи

    Регистрация:
    7 ноя 2012
    Сообщения:
    8
    Спасибо, товарищ, помогло.
     
  4. Werytas

    Werytas New Member Пользователи

    Регистрация:
    7 ноя 2012
    Сообщения:
    8
    Да, спасибо. В прошлых версиях эта строка по умолчанию была, а сейчас нужно еще нажать в меню проги что-то, чтобы она появилась. Сразу не вкурил.
     
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Доработаем...
     
  6. zvideo

    zvideo New Member Пользователи

    Регистрация:
    9 июн 2014
    Сообщения:
    8
    Возникли сложности. Очень редко успешно скачивается файл
    В тестовом режиме открывается, находит верную ссылку на mp4(если её открыть в браузере начинается загрузка файла), но не может загрузить его. Пишет "результирующий документ оказался пустым"
    Загружается только
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**

    2)Не могу понять на каком этапе выполнение. Где посмотреть подробный лог загрузки файла?
    Лог парсинга выводит очень скупую информацию,

    В данный момент загрузка документа 0 из 1 и так уже около 30 минут
     
    Последнее редактирование: 6 авг 2014
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Какая версия программы у вас? (меню - справка - о программе).
    При 30-минутной загрузки документа интернет-трафик какой-нибудь идет?
    Возникали ли ли до этого подобные проблемы?
     
  8. zvideo

    zvideo New Member Пользователи

    Регистрация:
    9 июн 2014
    Сообщения:
    8
    Версия 11.02

    При ожидании загрузка идёт до 30мбит.сек(5-30мбит примерно)
    Т.е. как я понимаю файл скачивается. После того как трафик спадает - парсинг заканчивается "файл не сохранён, результирующий документ оказался пустым"
    Можно ли логи посмотреть где-либо?
    или подробного лога не существует?
     
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Страшно предположить сколько весит файл. Походу просто его функция скачать не может)
    Подробного лога по загрузке файла нет. Выводится только результат.
    Можно ли ссылочку на файл?
     
  10. zvideo

    zvideo New Member Пользователи

    Регистрация:
    9 июн 2014
    Сообщения:
    8
    Обычно ожидание впределах 30 секунд, но ошибка всёравно такая же. Как описал выше. Т.е. в данном случае не скачивается не одно видео кроме, того что в примере, за редким исключением
    Хотя ссылка парсятся верная, но почему-то определяет файл как пустой, хотя скачивает его полностью

    Также не скачиваются ссылки через массовую загрузку.
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Т.е. может проблема с перенаправлением или заголовками
     
    Последнее редактирование: 6 авг 2014
  11. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Спасибо, постараюсь разобраться.
     
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Проверил.

    Все прекрасно качается!
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Файл проекта приложил (только ссылку на видео туда вставил вручную, как спарсить эту ссылку - уже другой вопрос, сейчас речь идет о скачивании файла).
     

    Вложения:

    • ytvf.cdp
      Размер файла:
      27,2 КБ
      Просмотров:
      42
  13. zvideo

    zvideo New Member Пользователи

    Регистрация:
    9 июн 2014
    Сообщения:
    8
    Кажется понял в чём причина
    IE почему-то не правильно определяет кодировку имени файла и она приходила в виде крокобязиц
    Но всё равно более подробный отчёт был бы очень кстати
    В духе
    wget Ссылки недоступны для гостей
    file_put_contents путь


    Задал кодировку utf-8 и всё заработало, но с логом было бы гораздо проще

    дополнение 3) Могу скачивать только видео с английским названием. Т.е. дело точно в кодировках
    В первый раз помогла установка utf-8 , но в данный момент и это не помогает. Понимаю что ошибка при сохранении файла или имем
    Пробовал менять
    На
    Всёравно вылазит ошибка. И я не могу понять почему она только на русских видео. Т.е. ошибка получается при скачивании файла, не знаю как побороть кодировку


    дополнение 4)
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Но реальное расширением mp4 и при скачивании ошибка, хотя файл скачивается (видно по нагрузке сети)
    Поробую получать ссылку при помощи Content Downloader, а скачивать обычным менеджером. Так как кодировку так и не победил
     
    Последнее редактирование: 7 авг 2014
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Во-первых отчет откуда скачивается файл и куда сохраняется есть!
    Во-вторых! С русскими символами проблем быть не может, скорее всего вы что-то не так делаете. Лучше присылать файл проекта...
     
  15. zvideo

    zvideo New Member Пользователи

    Регистрация:
    9 июн 2014
    Сообщения:
    8
    Файл проекта Ссылки недоступны для гостей. Я его не правил.
    Сложности возникают только с загрузкой файлов. Файл грузится (видно по нагрузке на сеть). Если открыть туже самую ссылку в браузере или в любой программе то открывается
    В IE предлагает скачать
    В программе
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**


    Через wget скачивается без проблем

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**

    Если указывать без кавычек, то выдаёт ошибку из-за спец символов
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
     
    Последнее редактирование: 8 авг 2014
  16. e2011

    e2011 New Member Пользователи

    Регистрация:
    5 май 2011
    Сообщения:
    1
    Странно, обнулился счетчик сообщений на форуме. Так что просто апну тему, чтобы видеть скрытый контент
     
  17. okinak

    okinak New Member Пользователи

    Регистрация:
    29 окт 2012
    Сообщения:
    5
    проэкт не работает

    на последней версии запустил проэкт он не работает, может ли кто то обновить или обьяснить в чем пролема ?
    у меня не находит ни одной ссылки.
     
  18. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    О каком именно проекте идет речь? Пожалуйста, прикрепите этот файл проекта к сообщению.
     
  19. okinak

    okinak New Member Пользователи

    Регистрация:
    29 окт 2012
    Сообщения:
    5
    делаю все как на видео. генерирую ссылки, запускаю. пишет найдено 0 ссылок.

    помогите разобраться, что я не так делаю ?
     

    Вложения:

  20. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Вкладка "Ссылки" -> группа "Парсинг и обработка" -> кнопка "ограничить область поиска ссылок...": снимаем галочку с "производить поиск ссылок не во всем документе..." (так как верстка YouTube сменилась).

    После этого должно работать.

    С уважением к вам, Сергей...
     

Поделиться этой страницей