Процесс парсинга контента со временем останавливается

Discussion in 'Решение проблем с использованием программы' started by muxa0077, Apr 4, 2020.

  1. muxa0077

    muxa0077 New Member Пользователи

    Joined:
    Apr 24, 2017
    Messages:
    40
    Likes Received:
    4
    Ситуация такая:

    Ставлю проект на парсинг 15000+ урлов.
    3 потока, задержка 1+ сек (специально тестирую, чтобы не грузить сильно проц).
    500 проксей.
    Первые несколько сотен урлов парсятся нормально, может и тысячу+ спарсить.

    Потом парсинг прекращается. Статус бар контент даунлоадера показывает, что процесс идет, но скорость по нулям, в логах новые урлы не появляются, ошибок нет.

    В чем может быть дело?
     
    muxa0077, Apr 4, 2020
    #1
  2. muxa0077

    muxa0077 New Member Пользователи

    Joined:
    Apr 24, 2017
    Messages:
    40
    Likes Received:
    4
    Версия программы от 27.03.2020
     
    muxa0077, Apr 4, 2020
    #2
  3. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Likes Received:
    3,485
    Здравствуйте.

    Это проблема Clever Internet Suite. Пока официального ответа от разработчиков компонента не получил

    2020-04-03_03-32-14.png

    Выберите библиотеку WIN (в окне ctrl+h) и таких проблем не будет.
     
    Root, Apr 4, 2020
    #3
  4. localnet

    localnet New Member Пользователи

    Joined:
    Aug 20, 2012
    Messages:
    19
    Likes Received:
    1
    С WIN такая же проблема.
    Запустил по планировщику, и ушёл, одна итерация проекта выполняется обычно 15-25 минут, прихожу, уже 5+часов висит, что делать в таких случаях?

    Без проксей, 50 поток, 10.000 url на итерацию
    Версия от 12.03.2020
     

    Attached Files:

    • 1.png
      1.png
      File size:
      115.9 KB
      Views:
      10
    localnet, Apr 4, 2020
    #4
  5. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Likes Received:
    3,485
    Приложите под хайдом файл проекта.

    Также напишите, в конце парсинга, когда 1 поток висит, на сколько процентов загружен процессор?
     
    Root, Apr 4, 2020
    #5
  6. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Likes Received:
    3,485
    Мне также интересно, каким образом, вы протестировали с библиотекой WIN, если парсинг идет 5 часов (судя по скриншоту), а рекомендацию (парсить с WIN) вы получили 1 час назад?

    И версию программы желательно использовать актуальную.
     
    Root, Apr 4, 2020
    #6
  7. localnet

    localnet New Member Пользователи

    Joined:
    Aug 20, 2012
    Messages:
    19
    Likes Received:
    1
    Так я его ещё вчера запускал и вообще не думал, что будет какая либо ошибка.
    У процессор минимальная загрузка
     
    localnet, Apr 4, 2020
    #7
  8. localnet

    localnet New Member Пользователи

    Joined:
    Aug 20, 2012
    Messages:
    19
    Likes Received:
    1
    А рекомендацию про WIN, была ранее.
    Ссылки недоступны для гостей
     
    localnet, Apr 4, 2020
    #8
  9. localnet

    localnet New Member Пользователи

    Joined:
    Aug 20, 2012
    Messages:
    19
    Likes Received:
    1
    Hidden Content:
    **Hidden Content: To see this hidden content your post count must be 10000 or greater.**
     
    Last edited: Apr 5, 2020
    localnet, Apr 4, 2020
    #9
  10. kagorec

    kagorec Администратор Staff Member Администратор

    Joined:
    Jan 3, 2011
    Messages:
    4,442
    Likes Received:
    1,422
    Proxy платные или так как обычно все делают, с паблика?
     
    kagorec, Apr 4, 2020
    #10
  11. localnet

    localnet New Member Пользователи

    Joined:
    Aug 20, 2012
    Messages:
    19
    Likes Received:
    1
    Ссылки недоступны для гостей я прокси не использую, если вопрос мне адресован.
    Вот перезапустил CD, включил планировщик и снова тоже самое...
    Проект тот же.
    Что же делать?
     

    Attached Files:

    • 2.png
      2.png
      File size:
      102.4 KB
      Views:
      12
    localnet, Apr 4, 2020
    #11
  12. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Likes Received:
    3,485
    Напишите в Whatsapp
    Hidden Content:
    **Hidden Content: To see this hidden content your post count must be 1 or greater.**
    Скину версию с отладкой, запустите у себя.
     
    Root, Apr 5, 2020
    #12
  13. muxa0077

    muxa0077 New Member Пользователи

    Joined:
    Apr 24, 2017
    Messages:
    40
    Likes Received:
    4
    Под WIN в моем конкретном случае не парсит.

    Решение для CIS не предвитится?
     
    muxa0077, Apr 5, 2020
    #13
  14. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Likes Received:
    3,485
    Не от меня зависят доработки по CIS.

    В чем именно проблема? Почему не парсит? Можно как-то прояснить.
     
    Root, Apr 5, 2020
    #14
  15. muxa0077

    muxa0077 New Member Пользователи

    Joined:
    Apr 24, 2017
    Messages:
    40
    Likes Received:
    4
    Под WIN в коде выдает, что заблочен. Видимо, защита на сайте
     
    muxa0077, Apr 5, 2020
    #15
  16. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Likes Received:
    3,485
    Напишите в Ватсап (контакт выше).
     
    Root, Apr 5, 2020
    #16
  17. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Likes Received:
    3,485
    Разработчики компонента скинули версию для создания логов ошибки.

    Прошу написать мне.

    Hidden Content:
    **Hidden Content: To see this hidden content your post count must be 1 or greater.**
     
    Root, Apr 14, 2020
    #17
  18. Root

    Root Администратор Администратор

    Joined:
    Mar 10, 2010
    Messages:
    14,818
    Likes Received:
    3,485
    Проблема решена.

     
    Root, Apr 16, 2020
    #18
    kadishev1997 likes this.
Similar Threads
  1. maxnemo

    Безопасная передача POST параметров в Автоматизации парсинга контента

    maxnemo, Mar 16, 2015, in forum: Решение различных задач по парсингу
    Replies:
    3
    Views:
    1,208
    Root
    Mar 18, 2015
  2. tremmer

    Автоматизация парсинга контента (ctrl+u)

    tremmer, Apr 14, 2015, in forum: Функции и интерфейс программы
    Replies:
    0
    Views:
    1,218
    tremmer
    Apr 14, 2015
  3. wokster

    Как ускорить процесс

    wokster, Nov 5, 2015, in forum: Функции и интерфейс программы
    Replies:
    4
    Views:
    1,512
    wokster
    Nov 5, 2015
  4. Rod

    Инструмент "Анализ контента границ парсинга" - что значит [err]?

    Rod, Aug 31, 2018, in forum: Функции и интерфейс программы
    Replies:
    3
    Views:
    441
    Kreol
    Sep 2, 2018
  5. Golodnyj

    Как собрать статью из контента, который раскидан по папкам

    Golodnyj, Dec 1, 2018, in forum: Другое
    Replies:
    1
    Views:
    792
    kagorec
    Dec 2, 2018
Loading...

Share This Page