Разъясните функцию загрузки большого количества веб документов

Тема в разделе "Функции и интерфейс программы", создана пользователем pavelbe, 29 сен 2015.

  1. pavelbe

    pavelbe New Member Пользователи

    Регистрация:
    9 сен 2015
    Сообщения:
    41
    Всем привет! :smirk:
    Разъясните пожалуйста про "парсинг большого количества web документов (от 1 миллиона).
    Захожу в меню, нажимаю вкладку в меню "парсинг большого количества..." , ввожу количество ссылок 200000 , берет эти ссылки из файла.
    Начинается парсинг.
    200000 документов обработал и все. Как начать парсинг следующих 200000 ссылок :wfh: из файла?
     
    pavelbe, 29 сен 2015
    #1
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Здравствуйте!
    Скорее всего указать изначально много файлов в которых по 200к ссылок.
     
    Kreol, 29 сен 2015
    #2
  3. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Со вкладки "ссылки" указать директорию с параметром сканирования файлов в папке.
    Или в ctrl+b укажите путь к одному основному файлу где ссылки например в колличестве 2.000.000 - вы укажете брать порции по 200.000, значит парсинг будет (по 10 порций) идти постепенно автоматически выбирая нужную порцию по порядку когда предидущая закончилась.
     
    Последнее редактирование: 30 сен 2015
    kagorec, 30 сен 2015
    #3
  4. pavelbe

    pavelbe New Member Пользователи

    Регистрация:
    9 сен 2015
    Сообщения:
    41
    Мы с вами про одно и то :) же!
    Не работает почему-то. Порцию указываю, но Парсинга второй порции не начинается.
    А как будетсебя вести программа, если такое задание (в котором файл большой ссылками она делит на порции) поставить на паузу и снова включить? Запомнит ли она, что нужно из файла ссылки брать порциями?
     
    pavelbe, 30 сен 2015
    #4
  5. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Расчитывалось на подгрузку порций при неприрывном парсинге.
    В таком случае надо попробовать с отсеиванием старых ссылок, ctrl+t и укажите путь до файла чтоб записывало удачно-спарсенные ссылки.
     
    kagorec, 30 сен 2015
    #5
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Функция должна работать!

    Выложите сюда файл проекта - проверю у себя.

    С уважением к вам, Сергей.
     
    Root, 1 окт 2015
    #6
Similar Threads
  1. Root

    Обкатываем новую функцию создания файлов импорта "по шаблону"

    Root, 12 сен 2010, в разделе: Разное
    Ответов:
    16
    Просмотров:
    6.981
    cdcustomer
    17 июн 2012
  2. esidrex

    Насколько реально сделать функцию удаления предложений?

    esidrex, 25 мар 2012, в разделе: SmartRewriter
    Ответов:
    11
    Просмотров:
    4.762
    Fakiresw
    10 апр 2012
  3. Алекса

    парсинг большого количества картинок и базбивка на вложенные категории

    Алекса, 21 сен 2012, в разделе: Решение различных задач по парсингу
    Ответов:
    0
    Просмотров:
    1.729
    Алекса
    21 сен 2012
  4. alex12

    Добавьте функцию

    alex12, 1 июн 2013, в разделе: Функции и интерфейс программы
    Ответов:
    3
    Просмотров:
    1.645
    kagorec
    1 июн 2013
  5. Rivlex

    Парсинг title большого количества страниц разных сайтов

    Rivlex, 23 июл 2013, в разделе: Решение различных задач по парсингу
    Ответов:
    2
    Просмотров:
    2.002
    Rivlex
    23 июл 2013
Загрузка...

Поделиться этой страницей