Хмм, ПК это хостинг RuVDS, насоветованный вашим рекомендованным интегратором, который в лучших традициях слился и не отвечает на письма. Ну, что ж делать - попробую переехать.
По возможности переустановите Windows (7, 8.1, 10 главное с актуальной версией IE v11) на сервере. WbappCEF принципиально используете или только на нем сайт открывается? Есть еще Wbapp который хорошо работает с сайтами под Cloudflare.
@kagorec Переустанавливал после первого бага. Сейчас перенёс на локальную машину - она у меня вроде боевая, буду смотреть сутки-другие. Сейчас использую WbappCEF - так установил слившийся интегратор. Думаю, хром или ие - не принципиально. Но эмуляция какого-то браузера обязательна - без неё в два счёта забанят. Опять же, яваскрипт для листания пагинации писал сам - под WbappCEF. Посему не знаю ещё, в каком случае буду переходить на ие.
Вот ещё, кстати: при парсинге с помощью WbappCEF (с ИЕ не пробовал) процессы WВapp "крадут" фокус у всех окон, которые открыты в винде (Вин10х64). То есть работать вообще невозможно - напечатал одну букву в редакторе либо тут на форуме - бац, фокуса нет, а ты и не заметил. И в буфер ничего не скопируешь - клик на ctrl+с - а фокуса-то и нет и не скопировал ничего... Если потока два - то это не очень заметно, успеваешь, пока фокус есть. А если 10 - то вообще ничего больше делать нельзя... Для того, чтобы шорткатом сделать паузу в парсинге приходится заниматься такой гимнастикой: правой рукой мышью прижимать окно, чтобы фокус не сместился, а левой жать быстро ctrl+f5... Неудобно практически настолько же, как спать на потолке.
Много не вникал, в этом источнике стоит начать с sitemap.xml по полученным ссылкам собрать дополнительные разделы, потом проанализировать ссылки (возможно там могут попасть лишние). В итоге от каждой категорийной ссылки собрать пагинацию ( макрос GENERATE) п.с. На серверных ОС что стандартно предлагает хостер, довольно часто проблемы изза DLL (старых, испорченных или отсутствие) встречаются у людей особенно при парсинге с Wbapp.
Нет такого у нас (тестируем на Win7 и Win10). Какая у вас версия программы? Меню - справка - о программе. Похоже что у вас старая версия! И в заголовке окна WBAppCEF у вас какая версия указана?
@Root Да вот самая же актуальнейшая. Другой-то и быть не может - переставлял когда на локальную машину, поставил, естественно, устаревшую версию, а потом по всем правилам проапдейтился. Причём этот эффект был и на московском сервере (RuVDS, русский Windows Server 2012), так и локально на немецкой винде 10х64. На локальную машину пенять не могу при всём желании - это зверская Dell Workstation. После переинсталляции на неё опять появился баг, описанный в Ссылки недоступны для гостей. CEF брал по вашему линку, с Яндекс Диска. Но процессы пока что не засыпают - в этом плане полёт нормальный. А вот что фокус крадут - это болезненно, машина рабочая, мне ещё и работать нужно... Да, кстати вот - пробовал понижать приоритет процессов, не помогло, тырят фокус всё равно. Неужели придётся виртуальную машину поднимать? Страшно не хочется, вот совсем.
@kagorec Спасибо, всё верно говорите. Только карты сайта нет. Пробовал играться с {num} - получилось хорошо, но кроме чисел в урл есть ещё слова, а если урл только с цифрами, то попадаю на нужный урл только через редирект, и после десятка редиректов палится прокси. В конечном итоге составляю категорийные ссылки с пагинацией сам, а CD уже снимает с них профили и парсит. Так что получается всё, как вы и сказали.
@kagorec О! Вот это большая новость! На прошлой неделе ещё не было. Но сейчас я уже на том этапе, что "моя" карта сайта гораздо подробней, чем "их" Вам же, как бы то ни было, пятёрка за дотошность. Кстати, мы тут не по делу беседуем. Вежливость вежливостью, а флуд потереть бы стоило, чтобы непорочность баг-трекера хранить.
При неясных условиях (похоже, что как-то зависит от того, как остановлен парсинг и закрыта программа) вместо "нормальных" заголовков в CSV пишется Code: URL[CSVCS]Страница[CSVCS]Средняя оценка[CSVCS]Количество голосов[CSVCS]Количество вендоров[CSVCS][DYNAMICVALUES] . Обнаружил, что у меня около 20% файлов с результатами парсинга имеет такие "убитые" заголовки. Упомяну: и на удалённой, и на локальной машинах такое. Версия CD: 1110001048 и предыдущая.
В справке пояснения есть, где говориться что нельзя открывать\блокировать сохраняемый документ во время парсинга, а также исключать внезапных закрытый программы и дать коректно завершить формирование документа макросом DYNAMICVALUES
WBapp 3.63 не учитывает настройки user-agent. Соответственно не может загружать мобильные версии страниц там где проходит проверка юзерагента. Просим исправить данный баг!
Это ошибка компонента IE. Используйте Версию с Chromium, как я вам уже писал ранее. Ссылки недоступны для гостей
Ваши пользователи которые не имеют платную подписку на апдейты не имеют возможности получить исправление этого бага. У моя версия не поддерживает Ссылки недоступны для гостей, так что баг у многих сохраняется. Пожалуйста устраните ошибку! Либо повысьте лицензию до стабильно минимальной версии что бы ошибка устранилсь.
Добрый день! Кажется не работает добавление нулей перед [INT_ID] Ссылки недоступны для гостей Ссылки недоступны для гостей
Здравствуйте. Замените файл Content Downloader (в папке с программой) этим файлом: Hidden Content: **Hidden Content: To see this hidden content your post count must be 91 or greater.**
На самом деле проблему можно решить таким образом передать юзер агент в параметры WBapp User-agent:Mozilla/5.0 (iPhone; U; CPU iPhone OS 3_0 like Mac OS X; en-us) AppleWebKit/528.18 (KHTML, like Gecko) Version/4.0
В WBAppCEF парсящем Авито на локальном ПК в 5 потоков, управляемым по Тимвьюер, значительная часть кликов перестает срабатывать при закрытии сеанса Тимвьюер. Пришлось исхитриться и создать два встречных сеанса Тимвьюер с VDS на ПК. Тогда работа идет стабильно.
При парсинге большого количества страниц куда-то утекает оперативная память. 172К страниц спарсилось и 1ГБ памяти утек. Винде стало плохо.
