Парсинг товаров с сайта поставщика, слетает авторизация

Добрый день, у меня в принципе получилось настроить парсинг данных с сайта поставщика, единственный ньюанс, постоянни во время парсинга слетает авторизация. нашел 1 костыль, если в браузере(в лисе) постоянно щелкать по сайту, то авторизация не слетает и в программе парсинг проходит успешно. Может кто то помочь решить задачку?

 

Здравствуйте.

Настройте функцию автоматической авторизации при парсинге (когда это потребуется).

Делайте аналогично этому материалу Ссылки недоступны для гостей только вместо распознавания каптчи в проекте WBApp будет функция авторизации и передачи cookies в Content Downloader (событие [GETCOOKIES_EX]).

Если будут вопросы или останутся непонятные моменты, пишите, постараемся помочь.

PS: Если первый способ не подойдет, имейте ввиду, что с помощью макроса шаблона вывода [RUN] можно открывать любое приложение в Windows с передачей ему параметров запуска (например, для открытия указанного WEB-адреса)

 

к сожалению я не справился, это уже слишком сложно.
возможно ли чуть более пошагово расписать порядок действий? могу предоставить файл пректа, и доступ на сайт поставщика

 

Ничего сложного нет.

Вот, допустим ответ на ваш изначальный вопрос + файл проекта (открывать страницу в Firefox через указанное количество спарсенных документов):

 

Вообще я не генерирую ссылки, а использую сканер сайтов.
сколько потоков использовать?
Вот видеоо как я делаю

 

Попробуйте парсить в 1 поток, если авторизация не "слетит" увеличивайте количество потоков до максимально допустимого для данного сайта (определяется опытным путем).

 

Добавил видео в сообщение выше, как я делаю

 

Так же выкинуло на 19 отобранных ссылках

Даже после того как добавил 5000 мс

 

Тема куда-то не туда зашла. Ссылки недоступны для гостей я не понимаю, в чем проблема! Вам назвал способ автоматической авторизации, он вам из-за сложности не подошел. Я ответил на ваш изначальный вопрос (как периодически открывать сайт в Firefox) и, как понял, вы его не пробовали (тогда зачем я тут отвечаю вам?). Может быть вы все-таки вернетесь к использованию одного из этих способов...

 

Сделал по вашему способу, однако при сборе ссылок слетела авторизация на 79 ссылке

 

Получается сделать 3 проекта. 1 спарсить ссылки на категории(думал использовать num. однако у них категории дюже круто пронумерованы, есть коды боллее 3000). вторым парсить ссылки на товары со страниц категорий. а третьим уже парсить требуемые данные?

 

Сделал по вашему способу, все работает, ни одного слета от начала и до конца. Огромное Вам человеческое спасибо.