Ошибки при парсинге без DOM

Здравствуйте!
История такова:
есть ~67000 ссылок

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

Пробовал ставить cookie - не помогает


Вопрос: как парсить в 50 потоков? можно ли без DOM парсить?

 

Здравствуйте!

Компьютер от этого не умрет, а вот сайт "завалить" можно...

Для ускорения парсинга через IE (DOM) можно делать это:
Ссылки недоступны для гостей (Значительно ускоряем процесс парсинга и исключаем возможный пропуск данных (ожидание появления определенных элементов на WEB-страницах))
И парсить в 2-3 потока.

С уважением к вам, Сергей...

 

попробовал настроить как в видео "Значительно ускоряем процесс парсинга"

в 3 потока время совсем не приемлемое стало более 80 часов...
в 20 потоков порядка 15 часов

может я что-то не правильно делаю?
буду благодарен, если посмотрите настройки

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

 

Здравствуйте.

Дайте список ссылок, которые вы парсите. Тогда постараемся вам помочь.

Спасибо!

 

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

 

При таком списке событий:

В 10 потоков на парсинг 43000 ваших ссылок у меня показывает 15 часов (примерно 1 документ в секунду). Быстрее вам сейчас никак не сделаю. Как вариант - задействуйте большее количество компьютеров для парсинга.

С уважением к вам, Сергей.