Почему через WBApp парсить только в 1 поток?

Тема в разделе "WBAppIE", создана пользователем Serheo, 6 мар 2019.

  1. Serheo

    Serheo Well-Known Member Пользователи

    Регистрация:
    13 окт 2018
    Сообщения:
    252
    Город:
    Москва
    В системе помощи НАСТОЯТЕЛЬНО рекомендуется парсить через WBApp только в 1 поток. А какие последствия могут быть от увеличения количества потоков кроме тормозов?
     
    Serheo, 6 мар 2019
    #1
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    "Примите вызов" - ведь правила созданы чтоб их нарушать?)) - шучу.;)

    В основном рекомендуется парсить без применения Wbapp. Поскольку 1 поток используя Wbapp и этого покажется мало\долго. Поставите 10-50 и компьютер будет зависать (Wbapp обрабатывает DOM).
     
    Последнее редактирование: 7 мар 2019
    kagorec, 6 мар 2019
    #2
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Просто в открытых во множестве параллельно копиях браузера могут не успевать прогружаться и обрабатываться сайты.
     
    Root, 6 мар 2019
    #3
    kagorec нравится это.
  4. Serheo

    Serheo Well-Known Member Пользователи

    Регистрация:
    13 окт 2018
    Сообщения:
    252
    Город:
    Москва
    А как это определить по логам?
     
    Serheo, 6 мар 2019
    #4
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Анализировать результат парсинга. Нет ли пропусков информации.
     
    Root, 6 мар 2019
    #5
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    В логе (ctrl+l) есть отображение записываемых в документ символов (при парсинге каждой ссылки).
     
    Root, 6 мар 2019
    #6
  7. Serheo

    Serheo Well-Known Member Пользователи

    Регистрация:
    13 окт 2018
    Сообщения:
    252
    Город:
    Москва
    Спасибо за наводку! Поковыряю результаты. На вид все нормально, но есть подозрения.
     
    Serheo, 6 мар 2019
    #7
    kagorec и Root нравится это.
Similar Threads
  1. Smodey

    Приостановка парсинга и запуск WBApp в 1 поток для распознавания капчи.

    Smodey, 2 июн 2017, в разделе: Решение различных задач по парсингу
    Ответов:
    4
    Просмотров:
    805
    Smodey
    2 июн 2017
  2. rdw

    Не парсится через прокси, висит 1 поток.

    rdw, 10 июл 2017, в разделе: Решение проблем с использованием программы
    Ответов:
    36
    Просмотров:
    3.071
    Root
    23 окт 2017
  3. xLime

    WBApp работает только с галками

    xLime, 13 ноя 2017, в разделе: WBAppIE
    Ответов:
    7
    Просмотров:
    765
    xLime
    15 ноя 2017
  4. Felix_b

    Со временем перестает парсить через список прокси

    Felix_b, 29 дек 2017, в разделе: Решение проблем с использованием программы
    Ответов:
    2
    Просмотров:
    976
    Felix_b
    30 дек 2017
  5. GRINE

    WBApp при разгадывании каптчи в один поток

    GRINE, 29 ноя 2018, в разделе: WBAppIE
    Ответов:
    2
    Просмотров:
    455
    GRINE
    29 ноя 2018
Загрузка...

Поделиться этой страницей