Отваливаются прокси

Тема в разделе "Прокси для парсинга", создана пользователем customer77, 4 дек 2017.

Страница 1 из 2
  1. customer77

    customer77 Member Пользователи

    Регистрация:
    25 ноя 2017
    Сообщения:
    19
    Симпатии:
    10
    Купил прокси на o2proxy.com, 3 дня норм парсил.
    Потом прокси после паузы перестали добавляться в программу.
    Из 30 индивидуальных проксей добавится то 1, то 2, то ничего не добавится (при проверке).
    Проверял вручную в браузере - как минимум 10 из них работают и переходят на сайт, который ими парсю (bitcointalk.org).
    В чем может быть проблема? Почему прокси не схватываются?
     
    customer77, 4 дек 2017
    #1
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Симпатии:
    3.485
    Здравствуйте.

    Адрес рабочего прокси и его тип под хайдом выложите. Лучше список.
     
    Root, 4 дек 2017
    #2
  3. customer77

    customer77 Member Пользователи

    Регистрация:
    25 ноя 2017
    Сообщения:
    19
    Симпатии:
    10
    HTTP
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 10 постов.**
     
    customer77, 4 дек 2017
    #3
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Симпатии:
    3.485
    Спасибо, буду разбираться.
     
    Root, 4 дек 2017
    #4
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Симпатии:
    3.485
    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    2017-12-04_18-03-17.png
     
    Root, 4 дек 2017
    #5
  6. customer77

    customer77 Member Пользователи

    Регистрация:
    25 ноя 2017
    Сообщения:
    19
    Симпатии:
    10
    Заменил, но проблема с прокси осталась
    Настроил как по скрину, вот мой:
    [​IMG]
     
    customer77, 4 дек 2017
    #6
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Симпатии:
    3.485
    На другом сайте попробуйте. На вашем сайте, видимо, прокси в бан успели улететь.
     
    Root, 4 дек 2017
    #7
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Симпатии:
    3.485
    2017-12-04_20-54-27.png
     
    Root, 4 дек 2017
    #8
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Симпатии:
    3.485
    2017-12-04_21-08-03.png
     
    Root, 4 дек 2017
    #9
  10. customer77

    customer77 Member Пользователи

    Регистрация:
    25 ноя 2017
    Сообщения:
    19
    Симпатии:
    10
    Понял, спасибо
     
    customer77, 4 дек 2017
    #10
  11. customer77

    customer77 Member Пользователи

    Регистрация:
    25 ноя 2017
    Сообщения:
    19
    Симпатии:
    10
    Купил я новых проксей. В браузере нормально этот сайт открывается. А в прогу не добавляются

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 100 постов.**
    Добавляю не в этом формате, а по привязке к ip без логина и пароля

    Может Ссылки недоступны для гостей поставил какую то защиту на чек прокси до него? Это возможно?
     
    customer77, 4 дек 2017
    #11
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Симпатии:
    3.485
    Проверяю ваши новые прокси, не могу проверить:

    2017-12-04_23-47-25.png

    Гадать тоже не могу.
     
    Root, 4 дек 2017
    #12
  13. customer77

    customer77 Member Пользователи

    Регистрация:
    25 ноя 2017
    Сообщения:
    19
    Симпатии:
    10
    Окей, где можно взять сейчас норм 20-30 рабочих прокси?
     
    customer77, 4 дек 2017
    #13
  14. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Симпатии:
    3.485
    Сейчас попрошу господина Kagorec ответить в теме.
     
    Root, 5 дек 2017
    #14
  15. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Симпатии:
    1.422
    Биткойнталк использует CDN Cloudflare, чтобы получить доступ то надо сначало пройти каптчу если прокси подозрительный.
    Парсинг через большое количество прокси здесь не получится. Обязательно через wbapp.

    п.с. через тор попробовал, как прошел каптчу то можно парсить.
     
    Последнее редактирование: 5 дек 2017
    kagorec, 5 дек 2017
    #15
    customer77 нравится это.
  16. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Симпатии:
    3.485
    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    Попробуйте парсить через библиотеку WIN (добавил для нее поддержку прокси без логина и пароля (с авторизацией по IP или без авторизации))

    2017-12-05_01-36-59.png
     
    Root, 5 дек 2017
    #16
    customer77 и kagorec нравится это.
  17. customer77

    customer77 Member Пользователи

    Регистрация:
    25 ноя 2017
    Сообщения:
    19
    Симпатии:
    10
    Запарсило, спасибо!!!
     
    customer77, 5 дек 2017
    #17
    Root нравится это.
  18. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Симпатии:
    1.422
    Какие действия с вашей стороны были опишите пожалуйста, интересно.
     
    kagorec, 5 дек 2017
    #18
  19. customer77

    customer77 Member Пользователи

    Регистрация:
    25 ноя 2017
    Сообщения:
    19
    Симпатии:
    10
    Я поставил новый эксешник, который выложил Root и как по скрину поставил WIN. Сейчас на 20 проксях при 10 потоках 14-16 документов в секуду, как раз за 1 день спарсится вся нужная мне база.
    [​IMG]
     
    customer77, 5 дек 2017
    #19
    kagorec и Root нравится это.
  20. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Симпатии:
    3.485
    Пожалуйста.

    И вам спасибо.

    Вот добавил информацию по прокси:
    Ссылки недоступны для гостей
     
    Root, 5 дек 2017
    #20
Страница 1 из 2
Similar Threads
  1. Atms

    Парсинг через прокси (с периодической перепроверкой списка прокси)

    Atms, 8 янв 2016, в разделе: Прокси для парсинга
    Ответов:
    10
    Просмотров:
    46.645
    Kreol
    7 фев 2018
  2. Djahat

    PROXY дает 1 порт на 50 потоков - как использовать 50 потоков CD

    Djahat, 12 фев 2017, в разделе: Решение проблем с использованием программы
    Ответов:
    5
    Просмотров:
    3.548
    Root
    12 фев 2017
  3. SequelONE

    Где лучше всего купить прокси?

    SequelONE, 28 апр 2017, в разделе: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Ответов:
    18
    Просмотров:
    6.215
    kagorec
    26 дек 2018
  4. rdw

    Не парсится через прокси, висит 1 поток.

    rdw, 10 июл 2017, в разделе: Решение проблем с использованием программы
    Ответов:
    36
    Просмотров:
    3.169
    Root
    23 окт 2017
  5. Stan

    Вопрос про прокси (прокси отдают пустой код WEB-документа)

    Stan, 10 мар 2018, в разделе: Прокси для парсинга
    Ответов:
    6
    Просмотров:
    769
    Root
    10 мар 2018
Загрузка...

Поделиться этой страницей