работа с WBApp подскажите как правильно сделать?

Тема в разделе "Решение различных задач по парсингу", создана пользователем burgerBPOT, 14 июл 2017.

Метки:
  1. burgerBPOT

    burgerBPOT Member Пользователи

    Регистрация:
    27 июн 2017
    Сообщения:
    13
    В общем настроил парс, в проекте модуль WBApp будет листать страницы, чтобы набрать нужную информацию для дальнейшего парса из собранного html. Вопрос! Очень боюсь я что CD посыпится если модуль WBApp будет 1500000 страниц перелистывать. Как WBApp сохраняет собраные данные пока листает (подгружает) страницы? Я боюсь что он складывает все в оперативку и через 1500000 страниц он просто всю оперативку заберет и ПК мне выключит.
     
    burgerBPOT, 14 июл 2017
    #1
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    правильно боитесь, а уверены что wbapp нужен 100%?
    Если да - разбивайте ссылки по 10-20-30к
     
    Kreol, 14 июл 2017
    #2
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Будет будет))
    Полтора ляма это не шутки. Что там насчет запросов если отснифать через livehttpheaders?
     
    kagorec, 14 июл 2017
    #3
  4. burgerBPOT

    burgerBPOT Member Пользователи

    Регистрация:
    27 июн 2017
    Сообщения:
    13
    не снифал, лень ) там страница подгружается при прокрутке, закинул в WBApp все работает, но вот и думаю если ему нужно быдет так много раз перелистывать как с памятью дело обстоит? А если разбивать то он не все данные догрузит, вот и думаю как делать.
     
    burgerBPOT, 15 июл 2017
    #4
  5. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Так делайте Ссылки недоступны для гостей
     
    Root, 19 июл 2017
    #5
Similar Threads
  1. Сергей123

    Прекращена работа программы "WBApp.exe" и вылет программы

    Сергей123, 13 май 2014, в разделе: Решение проблем с использованием программы
    Ответов:
    23
    Просмотров:
    5.095
    kagorec
    1 ноя 2018
  2. ArsMaxim

    Подскажите! Help!!!

    ArsMaxim, 21 дек 2014, в разделе: WBAppIE
    Ответов:
    7
    Просмотров:
    1.369
    Root
    23 дек 2014
  3. cd-market@bk.ru

    Периодически выскакивает сообщение "Прекращена работа программы "WBapp.exe"

    cd-market@bk.ru, 15 окт 2015, в разделе: WBAppIE
    Ответов:
    7
    Просмотров:
    2.731
    Root
    16 ноя 2016
  4. emkub

    некорректная работа WBApp

    emkub, 14 мар 2017, в разделе: WBAppIE
    Ответов:
    10
    Просмотров:
    968
    Root
    15 мар 2017
  5. wcw2007

    Подскажите почему не работает правильно GETMORECONTENT

    wcw2007, 16 мар 2017, в разделе: Решение различных задач по парсингу
    Ответов:
    1
    Просмотров:
    746
    wcw2007
    16 мар 2017
Загрузка...

Поделиться этой страницей