Прикрепил проект. Сейчас похоже, обрезка идет по сохраняемому документу. Мне нужны первые несколько строк, а так загружается 200-300 т ненужных символов, что серьезно сказывается на скорости парсинга. Было бы оптимальнее, обрезать сразу при загрузке, если такое конечно возможно.
У меня настройки как положено, ничего не менял. С ними работает некорректно. Т.е. он загружает код в 400 000 символов, потом этот код перед обработкой парсером обрезается до 1 000 символов , что сказывается на скорости парсинга. На 50 потоках 5 документов, что в общем то неудивительно, так как приходится загружать 90 процентов ненужного кода. Можно повысить скорость работы на порядок, если не больше. Т.е. загружать только 1 000 символов и переходить к следующей ссылке. Оптимальнее не загружать совсем лишние данные, если такое реально.
К сожалению эта опция никак не влияет на скорость парсинга. Есть какие то варианты увеличить скорость еще, кроме увеличения количества потоков и ширины канала?
Добрый день! Второй раз запускаю довольно долгий парсинг с использованием [DYNAMICVALUES] (verttables). В итоге выдает файл без распределения свойств, в таком виде: Ссылки недоступны для гостей Если отработать несколько ссылок, то результат нормальный. Такое ощущение что обработка файла после парсинга не происходит. Файл проекта прикладываю.
Прогнал еще раз... тот же результат((( Выждал после окончания парсинга час на всякий случай. Подстановка значений [DYNAMICVALUES] не происходит...
Здравствуйте. Пока программа парсит ни в каком стороннем приложении не открывайте файл с результатами (это блокирует запись данных в файл).
Добрый день! Конечно, я это знаю - уже 4 раза пробовал, не трогал и через пару часов после окончания парсинга. То же самое. Если 3000 ссылок - все нормально, формируется как надо. А если полный список из 50 000 ссылок - все, процесс заканчивается, выжидаю пару часов, ничего не трогаю и в процессе. И файл недоделанный (((( Там 800 свойств. Но у меня были проекты и с тысячью и более свойств - все нормально было....
При парсинге картинок с библиотекой WIN в результирующий файл попадают строки с битыми картинками Картинки нету Hidden Content: **Hidden Content: To see this hidden content your post count must be 1000 or greater.** Но она чудесным образом записывается в файл. Не использовать WIN не выходит, так как Error connecting with SSL. EOF was observed that violates the protocol
Добрый день. Не знаю баг это или фича. Но если в название папки содержит аббревиатуру "HTTP", или называется HTTP . То функция "файл с загруженными ранее элементами" не работает, файл не читается - не пишется. При этом сбор ссылок работает прекрасно
Увидел, исправил. Ссылки недоступны для гостей (заменить им ContentDownloader.exe в папке с программой) Спасибо!
Само собой это мой способ, и я его использую на очень больших или очень тупых сайтах А лучше всего не использовать сразу разбивку через динамиквалью. а просто записывать в ячейке нормально сформированный текст в 1 строку. Например: Тип характеристики%%%Значение характеристики###Тип характеристики 2%%%Значение характеристики2### и т.д. Это кстати ускоряет парсинг в десятки раз. А вот потом уже настроить 2-й проект для создания характеристик через динамиквалью Для этого берем любой сайт который нормально работает по скорости и не банит. Открываем ексель и пишем формулу для получения вот такой контрукции site.ru[PARAM]:наши характеристики А в динамике используем [PARAM] и разбивку %%% и ### Ставим в 1 поток и получаем распарсенные данные)
Здравствуйте! На вин сервер 8 вебапп периодически вылетает с ошибкой мол приложение закрыто. Пока не закрыть сообщение поток дальше не парсит. Эксплорер 11 стоит, если это важно. До этого пробовал 8 эксплорер.
