Не выгружаются все картинки

Тема в разделе "Решение проблем с использованием программы", создана пользователем cassal, 17 июн 2012.

  1. cassal

    cassal New Member Пользователи

    Регистрация:
    17 июн 2012
    Сообщения:
    2
    Только что запарсила один определенный раздел на сайте - 56 товаров,
    сделала для них отдельную папку для соханения фото, но в папку сохранилась только 21 фото вместо 56.
    А CSV файл показывает путь ко всем 56 фото..
    как такое может быть? где искать причину?
     
  2. Valiks

    Valiks New Member Супер Модератор

    Регистрация:
    18 янв 2012
    Сообщения:
    554
    Адрес:
    Всё время в скэйпе
    Вкладка "Сервис - > Смотреть лог парсинга", но это мало что скажет.
    Надо посмотреть несколько фотографий, которые не спарсились и попробовать потыкать по этим ссылкам из программы, посмотреть показываются ли они в предварительном просмотре. Просмотнреть какой код выводится, затем смотреть (из программы) код на странице оригинале, сравнивать, совпадает ли код на этих страницах, с кодом на тех, что загрузились. Но, причиной может быть и слабая скорость загрузки, либо плохие прокси и так далее. В общем, надо анализировать
     
  3. dalility

    dalility New Member Пользователи

    Регистрация:
    16 фев 2012
    Сообщения:
    2
    Аналогичная проблема! Поделитесь пожалуйста решением.
    Лог идёт, в csv записываются ссылки со страниц изображений, но после примерно 88 позиции изображения не сохраняются на диск.
     
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Скорее всего это сайт банить начинает после определенного количества запросов.
     
  5. Valiks

    Valiks New Member Супер Модератор

    Регистрация:
    18 янв 2012
    Сообщения:
    554
    Адрес:
    Всё время в скэйпе
    Рад бы в рай, да вот... ссылка нужна. То же самое и cassal (если сайты разные)
     

Поделиться этой страницей