Автоматический запуск парсинга после того, как очередь опустела

Тема в разделе "Решение различных задач по парсингу", создана пользователем evgenij, 7 сен 2019.

  1. evgenij

    evgenij Member Пользователи

    Регистрация:
    10 авг 2019
    Сообщения:
    49
    В сканере сайтов поставил галку "запускать парсинг контента после окончания работы сканера". Очередь опустела, в нижнем фрейме набралось тысяч 200 урл, что соответствует действительности...
    НО:
    1. УРЛы из нижнего фрейма сканера сайтов не передались в главное окно парсера,
    2. Парсинг не запустился.
    Вопросы:
    • есть ли ещё где-то настройки, регулирующие автоматическую передачу найденных ссылок на парсинг, кроме той галки в сканере?
    • Может ли быть, что при 200.000 ссылок я просто недостаточно ждал?
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Кажется вы включили опцию запуска парсинга во вкладке "Контент" после запуска сканера. Делайте все настройки ДО запуска сканера.
     
  3. evgenij

    evgenij Member Пользователи

    Регистрация:
    10 авг 2019
    Сообщения:
    49
    То есть для того, чтобы эта настройка сработала, недостаточно приостановить и продолжить уже с галкой, а надо именно заново запустить с поставленной галкой?
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Приостановить и продолжить достаточно.

    Опция неоднократно проверена и работает.

    В сканере сайтов указывается количество используемых потоков. Скорее всего у вас просто потоки не завершились. Нужно ждать.
     
  5. evgenij

    evgenij Member Пользователи

    Регистрация:
    10 авг 2019
    Сообщения:
    49
    Хмм, 10 потоков заканчиваются в течение одной минуты, не более - когда приостанавливаю сканер. Но, да, может быть на передачу 200.000 ссылок нужно времени побольше. Буду ждать, спасибо.
     

Поделиться этой страницей