Автоматизация парсера

Тема в разделе "Решение различных задач по парсингу", создана пользователем phederal, 8 окт 2015.

  1. phederal

    phederal New Member Banned

    Регистрация:
    3 окт 2015
    Сообщения:
    18
    Нужно чтобы парсер собирал ссылки из определенных страниц сайта, с промежутком предположим 30 минут. Затем парсил по собранным ссылкам контент страницы. И затем переливал на сайт.
     
    phederal, 8 окт 2015
    #1
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.

    Используйте планировщик программы (кнопка на панели инструментов).

    Во вкладке "Ссылки" есть кнопка AUTO (запустит парсинг во вкладке "Контент" после сбора ссылок).

    По поводу автоматической заливки на сайт возможен такой вариант - Ссылки недоступны для гостей

    С уважением к вам, Сергей.
     
    Root, 8 окт 2015
    #2
  3. phederal

    phederal New Member Banned

    Регистрация:
    3 окт 2015
    Сообщения:
    18
    В планировщике идёт сбор ссылок со всего сайта, фильтр настроили во вкладке ссылки не сканер
     
    phederal, 8 окт 2015
    #3
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    В чем проблема?
     

    Вложения:

    Root, 8 окт 2015
    #4
  5. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Еще вариант на решение задачи:

    1.Нужно чтобы парсер собирал ссылки из определенных страниц сайта
    Для самого основного начального этапа, сбора ссылок - в вашем распоряжении сканер или вкладка "ссылки" откуда будет стартовать работа программы, далее автоматически перейдет на вкладку "контент" чтобы спарсить по ссылкам найденным. (во вклвадке ссылки кнопка "AUTO", в сканере есть чекбокс "запкустить парсинг ...")

    2.с промежутком предположим 30 минут
    Кроме встроенного планировщика в программе, есть возможность запуска планировщиком виндовса Ссылки недоступны для гостей

    3.Затем парсил по собранным ссылкам контент страницы. И затем переливал на сайт
    Content Downloader умеет добавлять/обновлять информацию на сайт, подключите ав шаблоне вывода макрос PHP_SCRIPT. Картинки во время парсинга можно загружать на хостинг по FTP (настраивается)
     
    kagorec, 8 окт 2015
    #5
  6. phederal

    phederal New Member Banned

    Регистрация:
    3 окт 2015
    Сообщения:
    18
    Но в как сделать чтобы программа делала сама?
     
    phederal, 8 окт 2015
    #6
  7. phederal

    phederal New Member Banned

    Регистрация:
    3 окт 2015
    Сообщения:
    18
    А как её настроить? В планировщике ставлю сканер, он собирает все ссылки подряд
     
    phederal, 8 окт 2015
    #7
  8. phederal

    phederal New Member Banned

    Регистрация:
    3 окт 2015
    Сообщения:
    18
    И ещё такой вопрос, возможно задать программа Урл начальный а затем то что вы описали он делал сам?
     
    phederal, 8 окт 2015
    #8
  9. phederal

    phederal New Member Banned

    Регистрация:
    3 окт 2015
    Сообщения:
    18
    Все ч понял спасибо.
     
    phederal, 8 окт 2015
    #9
  10. phederal

    phederal New Member Banned

    Регистрация:
    3 окт 2015
    Сообщения:
    18
    И ещё такой вопрос, возможно задать программа Урл начальный а затем то что вы описали он делал сам?
     
    phederal, 8 окт 2015
    #10
  11. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Да, в сканере.
     
    kagorec, 8 окт 2015
    #11
  12. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Также обратите внимание на CheckBox "запускать парсинг контента после окончания работы сканера" в сканере сайтов.
     
    Root, 8 окт 2015
    #12
Similar Threads
  1. ipname

    Проект для парсера в бд нужен

    ipname, 27 янв 2014, в разделе: Импорт CSV
    Ответов:
    6
    Просмотров:
    2.235
    povar97
    4 фев 2014
  2. t@lev@n

    Автоматизация

    t@lev@n, 16 июн 2014, в разделе: Решение различных задач по парсингу
    Ответов:
    2
    Просмотров:
    1.013
    t@lev@n
    17 июн 2014
  3. greenwood

    Автоматизация забивки id

    greenwood, 10 сен 2014, в разделе: Решение различных задач по парсингу
    Ответов:
    3
    Просмотров:
    1.011
    Root
    11 сен 2014
  4. TeslaCo

    Автоматизация работы CD

    TeslaCo, 29 окт 2014, в разделе: Разное
    Ответов:
    13
    Просмотров:
    3.120
    kagorec
    8 окт 2018
  5. Jusper

    Возможности парсера

    Jusper, 20 авг 2015, в разделе: Свободный форум
    Ответов:
    3
    Просмотров:
    1.160
    Root
    23 авг 2015
Загрузка...

Поделиться этой страницей