Прокси для Яндекса

Тема в разделе "Решение проблем с использованием программы", создана пользователем Djahat, 25 июл 2015.

  1. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    543
    Город:
    Мордор
    Доброго времени суток.

    Парни кто юзал прокси для парсинга яндекса ? - где взять реально рабочие, чтоб яндекс не кидал капчу?
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    fineproxy и т.д. - для яндекса и авито нормальные проксики.
     
    Последнее редактирование: 25 июл 2015
  3. Djahat

    Djahat Well-Known Member Пользователи

    Регистрация:
    14 янв 2013
    Сообщения:
    543
    Город:
    Мордор
    Спасибо, поздно прочел - взял на проксибоксе , там за 4$ на 10 дней 70 хотя если маштабно парсить, то файнпрокси будет выгодней :)
     
  4. Orvin

    Orvin New Member Пользователи

    Регистрация:
    6 июл 2015
    Сообщения:
    28
    Всем привет! Взял бесплатный список прокси отсюда
    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    от 2015-08-20 08:01:07 загрузил в программу:

    Скрытое содержимое:
    **Скрытое содержимое: доступно при наличии 1 постов.**
    при настройке границ парсинга пишется: Программе не удалось загрузить WEB-страницу (Connection Closed Gracefully)

    что сделано не так?
     
  5. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Дальше не имеет смысла читать ибо с бесплатным списком прокси вы ничего толково не распарсите. Кратко говоря они ненадежные, мало того что прозрачные (не скрывают ваш ип), и становятся быстро неактуальными.
     
  6. Orvin

    Orvin New Member Пользователи

    Регистрация:
    6 июл 2015
    Сообщения:
    28
    понял, спасибо

    может кто нибудь знает, после сканирования сайта (ставил на ночь) сервер теперь для моего айпишника выдает ошибку 429, можно это как то обойти без использования прокси?
     
  7. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Ссылки недоступны для гостей пробуйте через advor
    п.с. учтите что НЕ подходит адвор для парсинга яндекса и гоогле.
     
  8. Orvin

    Orvin New Member Пользователи

    Регистрация:
    6 июл 2015
    Сообщения:
    28
    заработало только на половину, исходный код в окне настройки парсинга отображается, а сама страница нет

    прописал порты с explorer все заработало, спасибо )

    поспешил радоваться, как то странно получается, страницу в таком случае прогружает, а в верху пишет ошибку уже самого движка сайта:

    [​IMG]

    но это ошибка наверно уже со стороны самого сайта...
     
    Последнее редактирование: 20 авг 2015
  9. Orvin

    Orvin New Member Пользователи

    Регистрация:
    6 июл 2015
    Сообщения:
    28
    прикольно перезагрузил адвор пока заработало

    в общем как то странно через эту програмулину (advor) работает, возможно это со стороны движка, хотя в explorer встроенный полностью страница грузится, но в исходный код ошибка bitrix вместо которой должен быть весь смак

    <pre>[oopException]
    locationName is not defined (0)
    /home/bitrix/www/bitrix/modules/oop/classes/general/locator.php:100
    #0: oopLocator-&gt;getCurrentName()
    /home/bitrix/www/bitrix/templates/ver30/components/bitrix/catalog/.default/bitrix/catalog.element/.default/result_modifier.php:168
    #1: include(string)
    /home/bitrix/www/bitrix/modules/main/classes/general/component_template.php:664
    #2: CBitrixComponentTemplate-&gt;__IncludeMutatorFile(array, array)
    /home/bitrix/www/bitrix/modules/main/classes/general/component_template.php:587
    #3: CBitrixComponentTemplate-&gt;IncludeTemplate(array)
    /home/bitrix/www/bitrix/modules/main/classes/general/component.php:657
    #4: CBitrixComponent-&gt;showComponentTemplate()
    /home/bitrix/www/bitrix/modules/main/classes/general/component.php:605
    #5: CBitrixComponent-&gt;includeComponentTemplate()
    /home/bitrix/www/bitrix/components/bitrix/catalog.element/component.php:1040
    #6: include(string)
    /home/bitrix/www/bitrix/modules/main/classes/general/component.php:535
    #7: CBitrixComponent-&gt;__includeComponent()
    /home/bitrix/www/bitrix/modules/main/classes/general/component.php:578
    #8: CBitrixComponent-&gt;includeComponent(string, array, object)
    /home/bitrix/www/bitrix/modules/main/classes/general/main.php:1032
    #9: CAllMain-&gt;IncludeComponent(string, string, array, object)
    /home/bitrix/www/bitrix/templates/ver30/components/bitrix/catalog/.default/element.php:346
    #10: include(string)
    /home/bitrix/www/bitrix/modules/main/classes/general/component_template.php:535
    #11: CBitrixComponentTemplate-&gt;__IncludePHPTemplate(array, array, string)
    /home/bitrix/www/bitrix/modules/main/classes/general/component_template.php:618
    #12: CBitrixComponentTemplate-&gt;IncludeTemplate(array)
    /home/bitrix/www/bitrix/modules/main/classes/general/component.php:657
    #13: CBitrixComponent-&gt;showComponentTemplate()
    /home/bitrix/www/bitrix/modules/main/classes/general/component.php:605
    #14: CBitrixComponent-&gt;includeComponentTemplate(string)
    /home/bitrix/www/bitrix/components/bitrix/catalog/component.php:134
    #15: include(string)
    /home/bitrix/www/bitrix/modules/main/classes/general/component.php:535
    #16: CBitrixComponent-&gt;__includeComponent()
    /home/bitrix/www/bitrix/modules/main/classes/general/component.php:578
    #17: CBitrixComponent-&gt;includeComponent(string, array, boolean)
    /home/bitrix/www/bitrix/modules/main/classes/general/main.php:1032
    #18: CAllMain-&gt;IncludeComponent(string, string, array, boolean)
    /home/bitrix/www/catalog/index.php:2325
    #19: include_once(string)
    /home/bitrix/www/bitrix/modules/main/include/urlrewrite.php:154
    #20: include_once(string)
    /home/bitrix/www/bitrix/urlrewrite.php:2
    </pre>
     
    Последнее редактирование: 20 авг 2015
  10. Orvin

    Orvin New Member Пользователи

    Регистрация:
    6 июл 2015
    Сообщения:
    28
    наверно это уже вопрос к разработчикам Content Downloader...
     

Поделиться этой страницей