Парсит не все ссылки

Тема в разделе "Решение проблем с использованием программы", создана пользователем Вячеслав, 6 мар 2014.

  1. Вячеслав

    Вячеслав New Member Пользователи

    Регистрация:
    6 мар 2014
    Сообщения:
    1
    Столкнулся с такой проблемой. Нужно парсить порядка 600 ссылок с товарами из каталога, в два захода с одними и теми же ссылками по 20 границ за заход. Первый заход проходит удачно, а вот далее парсит только около половины всех добавленных ссылок. ПРобовал и паузу большую ставить, и потоки уменьшать и через прокси, и модем перезагружать для смены IP - ничего не помогает. И сколько бы ни добавлял ссылок, парсит около половины. В чем трабл?
     
  2. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Здравствуйте.
    Смотрите лог парсинга ctrl+l =)
     
  3. Kreol

    Kreol Модератор Команда форума Модератор

    Регистрация:
    6 янв 2013
    Сообщения:
    2.666
    Используйте динамические границы чтоб не ходить 2 раза Ссылки недоступны для гостей
    Пробуйте в 1 поток с паузой 200-2000
     

Поделиться этой страницей