Проблемы со скоростью парсинга

Здравствуйте! Попробуйте попарсить сайт

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 5 постов.**

У меня очень низкая скорость парсинга, посмотрите, пожалуйста, может с настройками что-то не так. Проект и ссылки даю:

 

Здравствуйте.

Сайт долго отвечает на запросы.

Попробуйте сделать такие настройки:

 

У меня так же вопрос в данную тему. Никак не могу подобрать настройки под сайт boohoo.com . Пока нужен просто сканер ссылок, но он работает крайне медленно (1 страница в несколько секунд). Так же удалось получить код страницы только через библиотеку WIIN. Может это так же влияет на скорость?

Соответственно есть 2 вопроса:
1. Можно ли как-то к этому сайту подключить библиотеку CIS? Пробовал разные комбинации сертификатов и присеты. Не помогло.
2. Можно ли как-то поднять скорость сканирования и парсинга для этого сайта?

Проект прилагаю.

 

Тут не в программе дело.

На сайте, который вы парсите коды большинства WEB-страниц более 1 миллиона символов. Это на порядок выше, чем обычно! Отсюда и время обработки кода.

Вы можете повырезать лишний код с помощью функции поиск-замены для исходного кода.

 

Обчекрыжил я код сверху и снизу, но проблема осталась. Может как-то можно этот сайт оптимизировать? Просто первый раз с таким сталкиваюсь, чтоб без WBA и такой вечный тормоз. Может это библиотека WIN не тянет? Его можно как-то через CIS открыть?

 

Библиотека тут не причем. Проблема в огромном коде WEB-страниц на этом сайте.

Например, длина кода этой WEB-страницы форума ~50 000, на том сайте большинство страниц содержат более миллиона символов.

Сколько кода в процентах вы вырезали?

 

Вот вам "подарочек"

Скрытое содержимое:

**Скрытое содержимое: доступно при наличии 1 постов.**

 

И систему помощи людям читать бы тоже не помешало, масса бы вопросов отпала.

 

Вот была мысль карту поискать, но до реализации дело не дошло. Думал, что так победю. А систему помощи читаю регулярно. Вообще настольная книга. Просто не всегда совпадает с ходом мысли. CD же творческий инструмент. Спасибо за помощь!

Карта конечно полезная вещь, но там еще 30К+ строк на парсинг с вложенными циклами. Пока рекорд 4 суток, но это c WBA.

 

Ссылки недоступны для гостей
Ссылки недоступны для гостей