Код страницы не подгружается. Доказательство присутствует

Тема в разделе "Решение проблем с использованием программы", создана пользователем DiPSti, 23 мар 2013.

  1. DiPSti

    DiPSti New Member Пользователи

    Регистрация:
    23 мар 2013
    Сообщения:
    8
    Сайт: Ссылки недоступны для гостей

    Ссылки для тестирования (выборочно):
    1 - Ссылки недоступны для гостей
    2 - Ссылки недоступны для гостей
    3 - Ссылки недоступны для гостей

    1 и 3 - код страниц не подгружается, хотя визуально все Ок
    2 - все работает отлично.

    IP не блокируется.
    Манипуляций с программой не производил, создан новый проект
    Интернет стабильный
    =================================

    Еще маленькая ошибочка

    "Не удалось загрузить код сраницы!" - буковка пропущена
     
  2. nikolas1612

    nikolas1612 Member Пользователи

    Регистрация:
    27 ноя 2011
    Сообщения:
    439
    первая и третья страницы в заголовке ответа выдают
    HTTP/1.1 404 Not Found
     
  3. DiPSti

    DiPSti New Member Пользователи

    Регистрация:
    23 мар 2013
    Сообщения:
    8
    Было бы обратное, я бы не писал. Страницы ведь существуют, линки правильные, браузеры отображают и CD визуально отображает страницу, но код не подгружает.
     
  4. nikolas1612

    nikolas1612 Member Пользователи

    Регистрация:
    27 ноя 2011
    Сообщения:
    439
    вы не поняли меня. я о том, что, формально, CD не при чем (но только формально). это явные бока на стороне сайта.
    на проблемных страницах сайт выдает на GET-запрос (не только CD но и любого браузера !!!) ответ о несуществующей странице, однако одновременно предоставляет контент, т.к. в действительности страница существует.
    просто браузер идет дальше и все-таки загружает страницу, а вот встроенный браузер CD сразу останавливается и выдает ошибку.

    что, кстати, очень плохо. игнорирование подобных ответов со стороны сайта-донора было бы очень полезно, т.к. добавило бы программе универсальности.
    слово за автором программы.
     
  5. DiPSti

    DiPSti New Member Пользователи

    Регистрация:
    23 мар 2013
    Сообщения:
    8
    присоединюсь к этому пожеланию, так как действительно решение данной проблемы очень бы помогло.
    Надеюсь, мы будем услышаны
     
  6. wezzer

    wezzer New Member Пользователи

    Регистрация:
    4 апр 2014
    Сообщения:
    18
    Решена ли проблема с подгрузкой кода? При попытке парсинга пишет, что сайт блокирует программу, в нижней части программы страница загружается, а код нет. Как быть?
     
  7. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Тема неактуально скорее всего и писалась в начале 2013 года...
    Много очень много изменений и улучшений за год внесено разработчиком - Ссылки недоступны для гостей
    К тому же сейчас в Content Downloader есть обработчик DOM (настраиваемый на клики, прокрутки, проверки) - называется WBapp.
    Благодаря которому теперь парсить можно подгружаемый контент на ajax javascript jquery:
    avito.ru
    slando.ru
    twitter.com
    vk.com
    tumblr.com
    и т.д.
    Сайты такого типа теперь еще легче настроить для Content Downloader
     
    Последнее редактирование: 4 апр 2014
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Все прекрасно грузится любым способом. К чему ваш вопрос, простите, непонятно...
     
  9. wezzer

    wezzer New Member Пользователи

    Регистрация:
    4 апр 2014
    Сообщения:
    18
    Код не подгружается на некоторых страницах сайта при попытке указания границ парсинга, на основной массе страниц работает нормально.
     
  10. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Я вот не знаю таких страниц, на которых код не подргужается!

    И, простите, странно поверхностно упоминать о проблеме, но держать ее в тайне, в надежде, что мы все-таки может быть, когда-нибудь и найдем подобные страницы =), но увы...

    Избавили бы вы и меня и себя от ЛИШНИХ дискуссий и показали уже, наконец, какие страницы у вас не подгружаются (чтобы попусту не тратить время). Тогда, может быть, проблема бы и решилась чудесным образом =)

    Если вы их (адреса "плохих" веб-страниц) не можете показать публично на форуме, можете мне их выслать на почту или в Skype.

    Спасибо!
     
  11. gans

    gans Well-Known Member Пользователи

    Регистрация:
    21 апр 2014
    Сообщения:
    310
    Решил подобную проблему через WBApp: при парсинге осуществляются действия на сайте(сайт с защитой от парсинга) (по менюшкам походил :tongueout:). К сожалению, без примера, т.к. платный доступ.
     
    Последнее редактирование: 11 май 2014

Поделиться этой страницей