Предложения по улучшению программы

Тема в разделе "Развитие Content Downloader", создана пользователем Root, 13 мар 2010.

  1. Benjamin Coleman

    Benjamin Coleman New Member Пользователи

    Регистрация:
    23 окт 2010
    Сообщения:
    152
    Добавьте, пожалуйста в расширенный редактор "Настройки повторяющихся границ" такую же панельку слева с макросами, как и в шаблоне вывода (раз уж они и там, и здесь работают).

    ps Спасибо за обновленный интерфейс - пользоваться хоткеями стал постоянно :)
    pps Данный форум у меня в Firefox отображается в некорректной кодировке.

    _______________

    Да, теперь не могу найти опцию замен из основного окна (та, что выполнялась в последнюю очередь). В частности, мне нужно сделать пачку замен в повт. границах... Не подскажите?
     
    Последнее редактирование: 5 дек 2013
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Чтобы корректно отображался форум, попробуйте внизу слево выбрать "RUSSIAN"
     
  3. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Ай, ай, ай. Не знать того, что есть уже так давно. Mr Benjamin Coleman, признаюсь, вы меня удивили =)

    Обратите внимание на прикрепленный скриншот. Спасибо!
     

    Вложения:

  4. Benjamin Coleman

    Benjamin Coleman New Member Пользователи

    Регистрация:
    23 окт 2010
    Сообщения:
    152
    Спасибо! Искал её просто изначально там, в повторяющихся границах. Тут немного затупил :)
     
  5. Benjamin Coleman

    Benjamin Coleman New Member Пользователи

    Регистрация:
    23 окт 2010
    Сообщения:
    152
    Да, теперь не могу найти опцию замен из основного окна (та, что выполнялась в последнюю очередь). В частности, мне нужно сделать пачку замен в повт. границах... Не подскажите?
     
  6. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Вполне сойдет "поиск-замена" для внутренней границы которая внутри повторяющееся границы (указывается в квадратных скобках [GRAN5] )
     
  7. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Макрос шаблона вывода REPLACE
     
  8. Benjamin Coleman

    Benjamin Coleman New Member Пользователи

    Регистрация:
    23 окт 2010
    Сообщения:
    152
    У меня в проекте этих REPLACE больше 30-ти. Уж больно код нагруженный получается.

    Думаю, стОит немного подкорректировать Ссылки недоступны для гостей теперь, со сменой интерфейса.

    ___________________________________
    Сразу еще один вопрос авансом :)

    Много сайтов у меня сейчас с западно-европейскими кодировками (типа 1252) - спецсимволы там прочитать невозможно. Приходится извращаться - сохранять на локальный диск как есть, затем переконвертировать в UTF, и дергать снова.
    Можно внести еще кодировок в программу? Проблема насущная. С азиатскими там вообще ужас, если не UTF на сайте.
     
    Последнее редактирование: 5 дек 2013
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Она не нужна, в окне предпросмотра есть лог!!! Большой такой, его видно, только многие не видят!)
     
  10. Benjamin Coleman

    Benjamin Coleman New Member Пользователи

    Регистрация:
    23 окт 2010
    Сообщения:
    152
    Замена спецсимволов /европейские кодировки/

    В общем, отвечу на свой вопрос сам :). Если вы парсите, скажем, сайт на немецком языке, а вебразработчик его не удосужился сделать его в UTF-8, а решил, например, выводить в своей кодировке типа ANSI-1252 - в этом случае CD будет получать в виде текста (в html всё ок) не À , а À . Эти спецсимволы всегда начинаются с & и заканчиваются ;.

    Для того чтобы на выходе получить красивый текст с умляутами и прочими закорючками :) нужна автозамена:

    HTML:
    Ç|Ç
    Ë|Ë
    Ć|Ć
    Č|Č
    Đ|Đ
    Š|Š
    Ž|Ž
    ć|ć
    č|č
    đ|đ
    š|š
    ž|ž
    À|À
    È|È
    É|É
    Í|Í
    Ï|Ï
    Ò|Ò
    Ó|Ó
    Ú|Ú
    Ü|Ü
    ·|·
    Á|Á
    Ď|Ď
    Ě|Ě
    Ň|Ň
    Ř|Ř
    Ť|Ť
    Ů|Ů
    Ý|Ý
    ď|ď
    ě|ě
    ň|ň
    ř|ř
    ť|ť
    ů|ů
    Æ|Æ
    Ø|Ø
    Å|Å
    Ĉ|Ĉ
    Ĝ|Ĝ
    Ĥ|Ĥ
    Ĵ|Ĵ
    Ŝ|Ŝ
    Ŭ|Ŭ
    ĉ|ĉ
    ĝ|ĝ
    ĥ|ĥ
    ĵ|ĵ
    ŝ|ŝ
    ŭ|ŭ
    Ä|Ä
    Ö|Ö
    Õ|Õ
    Ð|Ð
    Â|Â
    Ê|Ê
    Î|Î
    Ô|Ô
    Œ|Œ
    Ù|Ù
    Û|Û
    Ÿ|Ÿ
    ÿ|ÿ
    ß|ß
    Ã|Ã
    Ĩ|Ĩ
    Ũ|Ũ
    ĩ|ĩ
    ũ|ũ
    ĸ|ĸ
    Ő|Ő
    Ű|Ű
    ő|ő
    ű|ű
    Þ|Þ
    ¨|ö
    Ì|Ì
    Ā|Ā
    Ē|Ē
    Ģ|Ģ
    Ī|Ī
    Ķ|Ķ
    Ļ|Ļ
    Ņ|Ņ
    Ŗ|Ŗ
    Ū|Ū
    ā|ā
    ē|ē
    ģ|ģ
    ī|ī
    ķ|ķ
    ļ|ļ
    ņ|ņ
    ŗ|ŗ
    ū|ū
    Ą|Ą
    Ę|Ę
    Ł|Ł
    Ń|Ń
    Ś|Ś
    Ź|Ź
    Ż|Ż
    ą|ą
    ę|ę
    ł|ł
    ń|ń
    ś|ś
    ź|ź
    ż|ż
    ª|ª
    º|º
    Ă|Ă
    Ş|Ş
    Ţ|Ţ
    ă|ă
    ş|ş
    ţ|ţ
    Ŋ|Ŋ
    Ŧ|Ŧ
    ŋ|ŋ
    ŧ|ŧ
    Ĺ|Ĺ
    Ľ|Ľ
    Ŕ|Ŕ
    ĺ|ĺ
    ľ|ľ
    ŕ|ŕ
    Ñ|Ñ
    ¡|¡
    ¿|¿
    Ğ|Ğ
    İ|İ
    ğ|ğ
    ı|ı
    €|€
    £|£
    «|«
    »|»
    •|•
    †|†
    ©|©
    ®|®
    ™|™
    °|°
    ‰|‰
    µ|µ
    –|–
    —|—
    №|№
    
    ДАННЫЙ ФОРУМ НЕКОРРЕКТНО ОТОБРАЖАЕТ ЭТУ ВСТАВКУ. То есть он уже, как видим, поавтозаменял часть. Поэтому прилагаю файл-аттач к посту. Не забываем на выходе в CD поставить UTF! :)

    ps Вообще, я бы был не против, если автор добавит эту опцию в виде галочки в одном из следующих билдов ;)
     

    Вложения:

    • utf-replace.txt
      Размер файла:
      1,7 КБ
      Просмотров:
      8
  11. Benjamin Coleman

    Benjamin Coleman New Member Пользователи

    Регистрация:
    23 окт 2010
    Сообщения:
    152
    Если у меня все данные из повторяющихся границ, а автозамен (мой пост выше) большое количество, как мне поступить?

    Вариант
    [REPLACE(<FILE=I:\replace.txt>)]<CD_CYCLE_GRAN_ALL!>[/REPLACE] не работает. А жаль...
     
    Последнее редактирование: 7 дек 2013
  12. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    речь не о макросах была, предложил вариант использования стандартной "поиск-замена" (десятки тысяч замены можно вписать) которая находиться внутри у каждой границы отдельно.
    смотрите в "Дополнительные настройки границ"
     
  13. Benjamin Coleman

    Benjamin Coleman New Member Пользователи

    Регистрация:
    23 окт 2010
    Сообщения:
    152
    Это понятно, спасибо. Но у меня повторяющиеся границы.

    Сделайте тогда, пожалуйста, в программе возможность замен для VAR: буду присваивать повторяющиеся в переменную, и там уже заменять...
     
  14. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Ссылки недоступны для гостей
    Добавьте пожалста параметр для смешивания ссылок после сбора в сканере или сбор ссыолок во вкладке "ссылки" перед парсингом контента.
    Например
     
  15. 0pupentium

    0pupentium New Member Пользователи

    Регистрация:
    18 июн 2012
    Сообщения:
    23
    Здравствуйте.
    Сделайте пожалуйста в программе возможность выполнения реконнекта Интернет соединения, наподобие опции "Автоматизация парсинга контента". Только с условием - "Выполнить приложение/скрипт при бане или через определенное количество соединений". Готов проставиться (в виде твердой валюты).
    Спасибо.
     
    Последнее редактирование: 24 дек 2013
  16. bemermad

    bemermad New Member Пользователи

    Регистрация:
    14 июл 2013
    Сообщения:
    11
    Банят, а ip динамический, хотите менять при перезагрузки соединения?
    Просил уже такое:) Решил следующим образом:
    [​IMG]
    Как словите бан, парсинг приостановиться на 100 секунд, запустится батник "modem_reboot.bat", который перезагрузит интернет соединение.
    В итоге новый ip, продолжаем парсинг.
    Модем работает в режиме роутера. Управление происходит через telnet, у каждой модели свои команды, смотрите эту тему в интернете.
     
  17. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Браво! Спасибо!
     
  18. 0pupentium

    0pupentium New Member Пользователи

    Регистрация:
    18 июн 2012
    Сообщения:
    23
    Всех с наступающим!
    Как сделать реконнект - я знаю, спасибо.
    Да, действительно способ рабочий. Не работает только с макросами из категории "Загрузка картинок и файлов", например, ссылка для макраса берется с одного ресурса/раздела сайта, а ведет на другой ресурс/раздел сайта. В итоге файл не удается скачать, т.к. на другом ресурсе/разделе сайта получен бан.

    Просьба к уважаемому автору, добавьте пожалуйста опцию "Приостановить парсинг если не скачан файл/картинка" с полем ввода задержки [х] секунд для возобновления парсинга и дополнительную функцию "Картинку/файл не удалось загрузить" к опции "Пытаться повторно загружать документы".
     
    Последнее редактирование: 9 янв 2014
  19. Benjamin Coleman

    Benjamin Coleman New Member Пользователи

    Регистрация:
    23 окт 2010
    Сообщения:
    152
    Недавно пришлось начать парсить много и с проксями - прокси периодически уходят в бан на сайте (либо сами дохнут).

    Такое предложение: сделайте, пожалуйста, опцию (в разделе проксей, например) "Удалять мертвые прокси после n попыток на данном сайте" (n вводим). Соответственно, при активации данной опции парсинг закончится, когда закончатся все прокси.

    Здорово сэкономит время. Спасибо.
     
  20. mavar

    mavar New Member Пользователи

    Регистрация:
    7 янв 2014
    Сообщения:
    34
    Город:
    Москва
    Нужно видеть, какие прокси сервера использует программа и их рейтинг скорости.
     

Поделиться этой страницей