Добавьте функционал!

Тема в разделе "Разное", создана пользователем MAX3000, 29 дек 2014.

  1. MAX3000

    MAX3000 New Member Пользователи

    Регистрация:
    14 дек 2010
    Сообщения:
    43
    Приветствую! С наступающим вас Новым Годом и Рождеством Христовым!
    Очень нужно:
    1. Прокси и UserAgent для WBApp.
    2. Проверку прокси перед парсингом каждой страницы при использовании прокси, если не рабочий, то удалять (или отправлять в конец списка, а удалять после, например, третьей неудачной проверки).
    3. Несколько доработать функциональность списка ссылок. На данный момент спарсенные ссылки удаляются, и после последней ссылки программа останавливается, что вполне логично. Но! нужно, чтобы - или спарсенные ссылки перекидывались в конец списка, или после последней спарсенной ссылки список подгружался по новой и процесс повторялся, а остановка парсинга происходила по нажатию кнопки "Стоп". Это даст возможность при каждом новом заходе на сайт получать новую новость оперативно и на полном автомате наполнять свои сайты.
     
  2. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Здравствуйте.
    Поверьте, если бы все было так просто, уже давно бы все было реализовано.
    Не забывайте, программа -ПАРСЕР, а НЕ ПОСТЕР, для этого существуют отдельный проги и не даром.
    3) И это вызовет море ошибок, потом вы плачетесь, что программа зависает. Как вы думаете, сколько так сможет проработать программа?
    p.s. проще написать свой софт для этого.
     
  3. MAX3000

    MAX3000 New Member Пользователи

    Регистрация:
    14 дек 2010
    Сообщения:
    43
    Приветствую.
    Где вы увидели в выше описанном функционал постинга?
    Когда я писал - "на полном автомате наполнять свои сайты", то имелось ввиду, что данные передаются в другой, как вы правильно заметили - не бесплатный софт, для дальнейших операций над полученными данными.
    А функционал зацикливания просила одна организация (нужно получать постоянно меняющиеся данные с сайтов), готова была взять лицензии - причем ULTIMATE, на несколько компов (где-то 15 или 18 :cry: ), но как понимаете месяц ждать никто не будет :waiting:, так что вот такие дела!
    Но вышеописанное будет актуально для многих - уж поверьте мне.
     
  4. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Один-два компьютера вполне могут парсить источники и наполнять до 30 сайтов (импортом через php скрипт в базу c загрузкой картинок по фтп) без напряга .
     

Поделиться этой страницей