Отваливаются прокси

Тема в разделе "Прокси для парсинга", создана пользователем customer77, 4 дек 2017.

Страница 1 из 2
  1. customer77

    customer77 Member Пользователи

    Регистрация:
    25 ноя 2017
    Сообщения:
    19
    Город:
    orenburg
    Купил прокси на o2proxy.com, 3 дня норм парсил.
    Потом прокси после паузы перестали добавляться в программу.
    Из 30 индивидуальных проксей добавится то 1, то 2, то ничего не добавится (при проверке).
    Проверял вручную в браузере - как минимум 10 из них работают и переходят на сайт, который ими парсю (bitcointalk.org).
    В чем может быть проблема? Почему прокси не схватываются?
     
    customer77, 4 дек 2017
    #1
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Адрес рабочего прокси и его тип под хайдом выложите. Лучше список.
     
    Root, 4 дек 2017
    #2
  3. customer77

    customer77 Member Пользователи

    Регистрация:
    25 ноя 2017
    Сообщения:
    19
    Город:
    orenburg
    HTTP
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 10 постов.**
     
    customer77, 4 дек 2017
    #3
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Спасибо, буду разбираться.
     
    Root, 4 дек 2017
    #4
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    2017-12-04_18-03-17.png
     
    Root, 4 дек 2017
    #5
  6. customer77

    customer77 Member Пользователи

    Регистрация:
    25 ноя 2017
    Сообщения:
    19
    Город:
    orenburg
    Заменил, но проблема с прокси осталась
    Настроил как по скрину, вот мой:
    [​IMG]
     
    customer77, 4 дек 2017
    #6
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    На другом сайте попробуйте. На вашем сайте, видимо, прокси в бан успели улететь.
     
    Root, 4 дек 2017
    #7
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    2017-12-04_20-54-27.png
     
    Root, 4 дек 2017
    #8
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    2017-12-04_21-08-03.png
     
    Root, 4 дек 2017
    #9
  10. customer77

    customer77 Member Пользователи

    Регистрация:
    25 ноя 2017
    Сообщения:
    19
    Город:
    orenburg
    Понял, спасибо
     
    customer77, 4 дек 2017
    #10
  11. customer77

    customer77 Member Пользователи

    Регистрация:
    25 ноя 2017
    Сообщения:
    19
    Город:
    orenburg
    Купил я новых проксей. В браузере нормально этот сайт открывается. А в прогу не добавляются

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 100 постов.**
    Добавляю не в этом формате, а по привязке к ip без логина и пароля

    Может Ссылки недоступны для гостей поставил какую то защиту на чек прокси до него? Это возможно?
     
    customer77, 4 дек 2017
    #11
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Проверяю ваши новые прокси, не могу проверить:

    2017-12-04_23-47-25.png

    Гадать тоже не могу.
     
    Root, 4 дек 2017
    #12
  13. customer77

    customer77 Member Пользователи

    Регистрация:
    25 ноя 2017
    Сообщения:
    19
    Город:
    orenburg
    Окей, где можно взять сейчас норм 20-30 рабочих прокси?
     
    customer77, 4 дек 2017
    #13
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Сейчас попрошу господина Kagorec ответить в теме.
     
    Root, 5 дек 2017
    #14
  15. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Биткойнталк использует CDN Cloudflare, чтобы получить доступ то надо сначало пройти каптчу если прокси подозрительный.
    Парсинг через большое количество прокси здесь не получится. Обязательно через wbapp.

    п.с. через тор попробовал, как прошел каптчу то можно парсить.
     
    Последнее редактирование: 5 дек 2017
    kagorec, 5 дек 2017
    #15
    customer77 нравится это.
  16. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Попробуйте парсить через библиотеку WIN (добавил для нее поддержку прокси без логина и пароля (с авторизацией по IP или без авторизации))

    2017-12-05_01-36-59.png
     
    Root, 5 дек 2017
    #16
    customer77 и kagorec нравится это.
  17. customer77

    customer77 Member Пользователи

    Регистрация:
    25 ноя 2017
    Сообщения:
    19
    Город:
    orenburg
    Запарсило, спасибо!!!
     
    customer77, 5 дек 2017
    #17
    Root нравится это.
  18. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Какие действия с вашей стороны были опишите пожалуйста, интересно.
     
    kagorec, 5 дек 2017
    #18
  19. customer77

    customer77 Member Пользователи

    Регистрация:
    25 ноя 2017
    Сообщения:
    19
    Город:
    orenburg
    Я поставил новый эксешник, который выложил Root и как по скрину поставил WIN. Сейчас на 20 проксях при 10 потоках 14-16 документов в секуду, как раз за 1 день спарсится вся нужная мне база.
    [​IMG]
     
    customer77, 5 дек 2017
    #19
    kagorec и Root нравится это.
  20. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста.

    И вам спасибо.

    Вот добавил информацию по прокси:
    Ссылки недоступны для гостей
     
    Root, 5 дек 2017
    #20
Страница 1 из 2
Similar Threads
  1. Atms

    Парсинг через прокси (с периодической перепроверкой списка прокси)

    Atms, 8 янв 2016, в разделе: Прокси для парсинга
    Ответов:
    10
    Просмотров:
    46.645
    Kreol
    7 фев 2018
  2. Djahat

    PROXY дает 1 порт на 50 потоков - как использовать 50 потоков CD

    Djahat, 12 фев 2017, в разделе: Решение проблем с использованием программы
    Ответов:
    5
    Просмотров:
    3.548
    Root
    12 фев 2017
  3. SequelONE

    Где лучше всего купить прокси?

    SequelONE, 28 апр 2017, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    18
    Просмотров:
    6.213
    kagorec
    26 дек 2018
  4. rdw

    Не парсится через прокси, висит 1 поток.

    rdw, 10 июл 2017, в разделе: Решение проблем с использованием программы
    Ответов:
    36
    Просмотров:
    3.167
    Root
    23 окт 2017
  5. Stan

    Вопрос про прокси (прокси отдают пустой код WEB-документа)

    Stan, 10 мар 2018, в разделе: Прокси для парсинга
    Ответов:
    6
    Просмотров:
    768
    Root
    10 мар 2018
Загрузка...

Поделиться этой страницей