Повторные попытки загрузки WEB-документов

Добрый день , хотелось бы уточнить как именно работает
"повторно пытаться загружать документы"
Обнаружил и выделил пункты уже в процессе парсинга , будет ли оно в текущей сессии работать ?
На данный момент "не загруженные элементы" не добавились в конец очереди ссылок
Некоторые я добавил методом копирования в конец очереди
Если они добавятся в конце то они будут дублироваться с теми которые я уже добавил ?
Как отреагирует программа если в очереди две одинаковые ссылки ?
В общем основной вопрос как в текущей сессии сразу пытаться спарсить не загруженные или с ошибками элементы каруселью исключая дубли

 

Здравствуйте.

Сейчас появилась возможность указывать количество попыток загрузки документа (что делает опцию "повторно пытаться загружать документы" не актуальной).

 

При периодическом сбое интернета или иных причин этот метод к сожалению не помогает
Есть ли метод который добавляет не загруженные ссылки в конец очереди в этой же сессии
Если пытаться спарсить их в следующей сессии то сбиваются динамические поля

 

Тогда используйте опцию "повторно пытаться загружать документы". Она в вашем случае должна подойти.

Изменения настроек вступают в силу только при последующем запуске парсинга (настройки делать до запуска парсинга).

 

1) То есть она будет добавлять ссылки в конец очереди ?
2) В текущей сессии без этих настоек , скопировав из логов "не загруженные ссылки" и добавив их в очередь парсинга будет тот же результат ?

 

1) Да
2) Пополнение списка ссылок во время парсинга не желательно

 

2)Чем может грозить коли такое в данном случае пришлось использовать ?

 

Процесс парсинга будет остановлен раньше, чем список ссылок опустеет.

 

Есть ли какие методы в сложившейся ситуации как то принудительно пропарсить добавленные ?

 

Мы определились, что вам нужно использовать опцию "повторно пытаться загружать документы". Зачем вы вручную добавлять ссылки хотите - непонятно.

 

Именно в текущей сессии без этих предварительных настроек хотел добавить ...
Спасибо ! Буду в дальнейшем учитывать эту настройку.

 

Добрый день!
Перестали добавляться незагруженные ссылки в конец очереди. с чем это может быть связано? Настройка загружать повторно установлена для обоих случаем: если не загружен документ и обязательная граница пустая.

Ошибка: файл не сохранён: результирующий документ оказался пустым. При предпросмотре парсит

 

Здравствуйте.

У меня добавляются.