[APPENDDOCSOURCE] только для кэшированных?

Добрый день!
Мы хотим провести парсинг товаров и характеристик с помощью <getmorecontent> и подгрузки данного контента с помощью [APPENDDOCSOURCE]. После кэширования и повторного запуска предпросмотра, всё достаточно хорошо. Характеристики вычисляются в контенте по ссылкам в определённом блоке после подгрузки контента.

Однако, при первом запуске некэшированного документа парсинга по шаблону вывода не получаем данных по характеристикам с помощью <dynamicvalues> в выводе из подгруженного дополнительно кода. Может быть ссылка должна закэшироваться как-то и потом заново надо сделать парсинг по ней? Какой тогда макрос или параметр
и где указать?

В дополнительно подгружаемом коде содержатся характеристики, их парсим с помощью <dynamicvalues>. Попутно вопрос, как много сожрёт памяти этот макрос при парсинке около 50 тыс документов в среднем 10 характеристик на документ. Может кто знает, я новичок в IT
Огромное спасибо.

 

Здравствуйте.

Ссылки недоступны для гостей

Значимых дополнительных ресурсов на это действие расходоваться не будет.

 

Может быть, что-то не учли мы. Границы задали после предпросмотра. И парсится закэшированный документ предпросмотром хорошо. Но когда сбрасываем кэш и делаем новый предпросмотр, нужное не парсится. То же, когда мы запускаем сам парсинг, - нужное не грузится.

 

Должно грузиться.

Приложите проект.

 

Функция работает корректно.

 

Убрали галку. Без изменений. Мы не используем прокси

 

Значит что-то упустили.

 

Банально: первая повторяющаяся граница парсинга (которая используется в макросе [APPENDDOCSOURCE]) не найдена в коде по первой ссылке из вашего проекта. Проверяйте настройки. Делайте выводы.

 

В этом документе нет ссылок на допконтент, в котором вычисляются характеристики. Поэтому не находится ПГ1
Наши характеристики находятся в подкгружаемом контенте, который рассположен по ссылкам в определённом блоке документа парсинга. Если там отсутсвуют ссылки - товар без значимых характеристик.

Прикрепляю проект с одной ссылкой, на которой проводим тестирование. По документу этой ссылке идёт парсинг дополнительного контента после предпросмотра. Но при самом парсинге - нет

 

Скорее всего из-за этого:

Сайт забанил за частые запросы к нему.

Либо зарядите хорошие прокси, либо парсите в 1 поток и подберите паузу для GETMORECONTENT.

 

Не могу сказать точно, что и нас забанил. Мы заходим туда и с браузера. И сейчас раз пять сделали тестирование, при котором парсинг идёт нормально после предпросмотра, и не идёт полностью без предпр-ра.

Могу я попросить удалить файлы, которые я сюда прикреплял?

 

Удалил сам.

 

Функция проверена неоднократно и используется многими людьми. Считаю, что проблемы, описанные вами тут вызваны либо не пониманием алгоритма работы (он не простой), либо банами сайта. Макрос еще раз проверил, проблем не обнаружил.

 

Счастью нет предела! Оно работает! Мало того, что я своими силами решил задачу разработки алгоритма парсинга. Так ещё и случилось чудо - утром оно не работало, а теперь заработало! Вдвойне радостно.

 

Теперь хотел бы спросить помощи на случай, если опять перестанет работать во время парсинга 50 тыс урл-ов. Можно ли какой-то функцией пометить документы, когда не спарсились именно дополнительные поля, но должны были?

 

Большое спасибо!