Отваливаются прокси

Discussion in 'Прокси для парсинга' started by customer77, Dec 4, 2017.

Page 1 of 2
  1. customer77

    customer77 Member Пользователи

    Joined:
    Nov 25, 2017
    Messages:
    19
    Город:
    orenburg
    Купил прокси на o2proxy.com, 3 дня норм парсил.
    Потом прокси после паузы перестали добавляться в программу.
    Из 30 индивидуальных проксей добавится то 1, то 2, то ничего не добавится (при проверке).
    Проверял вручную в браузере - как минимум 10 из них работают и переходят на сайт, который ими парсю (bitcointalk.org).
    В чем может быть проблема? Почему прокси не схватываются?
     
    customer77, Dec 4, 2017
    #1
  2. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Здравствуйте.

    Адрес рабочего прокси и его тип под хайдом выложите. Лучше список.
     
    Root, Dec 4, 2017
    #2
  3. customer77

    customer77 Member Пользователи

    Joined:
    Nov 25, 2017
    Messages:
    19
    Город:
    orenburg
    HTTP
    Hidden Content:
    **Hidden Content: To see this hidden content your post count must be 10 or greater.**
     
    customer77, Dec 4, 2017
    #3
  4. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Спасибо, буду разбираться.
     
    Root, Dec 4, 2017
    #4
  5. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Hidden Content:
    **Hidden Content: To see this hidden content your post count must be 1 or greater.**
    2017-12-04_18-03-17.png
     
    Root, Dec 4, 2017
    #5
  6. customer77

    customer77 Member Пользователи

    Joined:
    Nov 25, 2017
    Messages:
    19
    Город:
    orenburg
    Заменил, но проблема с прокси осталась
    Настроил как по скрину, вот мой:
    [​IMG]
     
    customer77, Dec 4, 2017
    #6
  7. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    На другом сайте попробуйте. На вашем сайте, видимо, прокси в бан успели улететь.
     
    Root, Dec 4, 2017
    #7
  8. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    2017-12-04_20-54-27.png
     
    Root, Dec 4, 2017
    #8
  9. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    2017-12-04_21-08-03.png
     
    Root, Dec 4, 2017
    #9
  10. customer77

    customer77 Member Пользователи

    Joined:
    Nov 25, 2017
    Messages:
    19
    Город:
    orenburg
    Понял, спасибо
     
    customer77, Dec 4, 2017
    #10
  11. customer77

    customer77 Member Пользователи

    Joined:
    Nov 25, 2017
    Messages:
    19
    Город:
    orenburg
    Купил я новых проксей. В браузере нормально этот сайт открывается. А в прогу не добавляются

    Hidden Content:
    **Hidden Content: To see this hidden content your post count must be 100 or greater.**
    Добавляю не в этом формате, а по привязке к ip без логина и пароля

    Может Ссылки недоступны для гостей поставил какую то защиту на чек прокси до него? Это возможно?
     
    customer77, Dec 4, 2017
    #11
  12. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Проверяю ваши новые прокси, не могу проверить:

    2017-12-04_23-47-25.png

    Гадать тоже не могу.
     
    Root, Dec 4, 2017
    #12
  13. customer77

    customer77 Member Пользователи

    Joined:
    Nov 25, 2017
    Messages:
    19
    Город:
    orenburg
    Окей, где можно взять сейчас норм 20-30 рабочих прокси?
     
    customer77, Dec 4, 2017
    #13
  14. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Сейчас попрошу господина Kagorec ответить в теме.
     
    Root, Dec 5, 2017
    #14
  15. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Location:
    Latvia
    Биткойнталк использует CDN Cloudflare, чтобы получить доступ то надо сначало пройти каптчу если прокси подозрительный.
    Парсинг через большое количество прокси здесь не получится. Обязательно через wbapp.

    п.с. через тор попробовал, как прошел каптчу то можно парсить.
     
    Last edited: Dec 5, 2017
    kagorec, Dec 5, 2017
    #15
    customer77 likes this.
  16. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Замените файл Content Downloader.exe (в папке с программой) этим файлом:
    Hidden Content:
    **Hidden Content: To see this hidden content your post count must be 1 or greater.**
    Попробуйте парсить через библиотеку WIN (добавил для нее поддержку прокси без логина и пароля (с авторизацией по IP или без авторизации))

    2017-12-05_01-36-59.png
     
    Root, Dec 5, 2017
    #16
    customer77 and kagorec like this.
  17. customer77

    customer77 Member Пользователи

    Joined:
    Nov 25, 2017
    Messages:
    19
    Город:
    orenburg
    Запарсило, спасибо!!!
     
    customer77, Dec 5, 2017
    #17
    Root likes this.
  18. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Location:
    Latvia
    Какие действия с вашей стороны были опишите пожалуйста, интересно.
     
    kagorec, Dec 5, 2017
    #18
  19. customer77

    customer77 Member Пользователи

    Joined:
    Nov 25, 2017
    Messages:
    19
    Город:
    orenburg
    Я поставил новый эксешник, который выложил Root и как по скрину поставил WIN. Сейчас на 20 проксях при 10 потоках 14-16 документов в секуду, как раз за 1 день спарсится вся нужная мне база.
    [​IMG]
     
    customer77, Dec 5, 2017
    #19
    kagorec and Root like this.
  20. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Город:
    Барнаул
    Пожалуйста.

    И вам спасибо.

    Вот добавил информацию по прокси:
    Ссылки недоступны для гостей
     
    Root, Dec 5, 2017
    #20
Page 1 of 2
Similar Threads
  1. Atms

    Парсинг через прокси (с периодической перепроверкой списка прокси)

    Atms, Jan 8, 2016, in forum: Прокси для парсинга
    Replies:
    10
    Views:
    46,645
    Kreol
    Feb 7, 2018
  2. Djahat

    PROXY дает 1 порт на 50 потоков - как использовать 50 потоков CD

    Djahat, Feb 12, 2017, in forum: Решение проблем с использованием программы
    Replies:
    5
    Views:
    3,548
    Root
    Feb 12, 2017
  3. SequelONE

    Где лучше всего купить прокси?

    SequelONE, Apr 28, 2017, in forum: Парсинг конкретных сайтов по запросу (ПЛАТНО)
    Replies:
    18
    Views:
    6,215
    kagorec
    Dec 26, 2018
  4. rdw

    Не парсится через прокси, висит 1 поток.

    rdw, Jul 10, 2017, in forum: Решение проблем с использованием программы
    Replies:
    36
    Views:
    3,169
    Root
    Oct 23, 2017
  5. Stan

    Вопрос про прокси (прокси отдают пустой код WEB-документа)

    Stan, Mar 10, 2018, in forum: Прокси для парсинга
    Replies:
    6
    Views:
    769
    Root
    Mar 10, 2018
Loading...

Share This Page