Программе не удалось загрузить WEB-страницу (Connection Closed Gracefully)

Тема в разделе "Решение проблем с использованием программы", создана пользователем onlycj, 5 дек 2015.

  1. onlycj

    onlycj New Member Пользователи

    Регистрация:
    8 апр 2014
    Сообщения:
    14
    Здравствуйте!
    Решил для крупного проекта прикупить максимальное колво потоков.
    Спарсить необходимо гисметео (300к страниц)
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей

    Добавил проксей(best-proxies.ru), думал ща взлетит, но даже при предпросмотре выдает "Программе не удалось загрузить WEB-страницу (Connection Closed Gracefully)". Не беда - ставлю в контрол+h Internet explorer DOM, но там советуют колво потоков сократить до 2ух. а это что за парсинг такой тогда получается? Я пару лет буду парсить таким макаром..
    Посоветуйте, в чем проблема и как это все можно обойти. могу проект скинуть если поможет понять где собака порылась..
     
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Здравствуйте!
    Какие именно данные вы хотите собирать?
     
  3. onlycj

    onlycj New Member Пользователи

    Регистрация:
    8 апр 2014
    Сообщения:
    14
    первым этапом - просто названия городов.
     
  4. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Вам нужно не с оф сайтом работать, а с api gismeteo
    Но прийдеться разобраться
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    где 33345 код города.
     
  5. onlycj

    onlycj New Member Пользователи

    Регистрация:
    8 апр 2014
    Сообщения:
    14
    Дык это начало только - мне необходимо выкачать всю историю погоды на гисметео по всем годам
     
  6. onlycj

    onlycj New Member Пользователи

    Регистрация:
    8 апр 2014
    Сообщения:
    14
    А такого не будет в их информерах((

    Может быть я плохие прокси взял?
     
  7. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Просветите, как именно вы собираетесь выкачивать всю историю?, пример приведите для одного города.
     
  8. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Предпологаю речь о Ссылки недоступны для гостей
    Ссылки недоступны для гостей

    Проверил пару ссылок, заявленной проблемы не обнаружил
    Ссылки недоступны для гостей
    Ссылки недоступны для гостей
    Предположительно проблема связано с некачественными проксями.

    Пробуйте через Ссылки недоступны для гостей (в ctrl+h снимите галочки с использования обработки DOM)
     
    Последнее редактирование: 5 дек 2015
  9. onlycj

    onlycj New Member Пользователи

    Регистрация:
    8 апр 2014
    Сообщения:
    14
    Ну как? Есть город Ссылки недоступны для гостей
    История каждого месяца выглдит как Ссылки недоступны для гостей
    Генерим для каждого города список охватывающий например 5 лет (/200-2015/1-12/)
    и начинаем парсить повторяющимися границами.

    Проблема в том, что парсить это все добро в 2 потока смешно.
     
  10. onlycj

    onlycj New Member Пользователи

    Регистрация:
    8 апр 2014
    Сообщения:
    14
    А Вы смотрели это через прокси? Или уже через Адвор? Прсто просмотр со своего айпи у меня тоже все норм)
     
  11. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Да, потому и написал что пробуйте через Advor.
    Ссылки недоступны для гостей :nod:
     
  12. onlycj

    onlycj New Member Пользователи

    Регистрация:
    8 апр 2014
    Сообщения:
    14
    Большое спасибо! Заработало! Только не понял, стоит ли париться по поводу задержек, если там халявный огромный список проксей?
     

Поделиться этой страницей