не все загруженные документы сохраняются в файле CSV

Тема в разделе "Решение различных задач по парсингу", создана пользователем yans01, 3 май 2018.

  1. yans01

    yans01 New Member Пользователи

    Регистрация:
    28 мар 2018
    Сообщения:
    29
    Город:
    Бишкек
    При парсинге выводится статистика количества загруженных документов, однако по факту сохраненных в файле CSV значительно меньше. Например за 10 часов парсинга загрузилось 30000 документов, а сохранилось в файле примерно 3000 документов. У меня включена опция для повторной загрузки документа. Пожалуйста подскажите как решить проблему с реальной загрузкой документов и сохранением их в файле.
     
  2. kagorec

    kagorec Администратор Команда форума Администратор

    Регистрация:
    3 янв 2011
    Сообщения:
    4.442
    Адрес:
    Latvia
    Предположить можно что документы при сохранении перезаписали друг друга из-за совпадении имен.
     
  3. yans01

    yans01 New Member Пользователи

    Регистрация:
    28 мар 2018
    Сообщения:
    29
    Город:
    Бишкек
    При парсинге, вижу что документы сохраняются в файл который программа создает для записи периодически его открываю и вижу, что документы сохраняются, но в гораздо меньшем количестве, чем это выводится на экран в статистике загруженных документов. Если останавливаю парсинг, потом запускаю его вновь, все происходит четко согласно настройкам, создается новый файл и туда сохраняются результаты парсинга. Так, что перезаписи не происходит.
     
  4. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Нажмите ctrl+l и посмотрите, сколько документов удачно спарсились.

    Нельзя открывать файлы, в которые программа парсит, в Excell (при открытии файла в Excell в него блокируется запись).
     
  5. yans01

    yans01 New Member Пользователи

    Регистрация:
    28 мар 2018
    Сообщения:
    29
    Город:
    Бишкек
    Файл в формате CSV, я смотрю в текстовом редакторе. Предварительный просмотр по любой из собранной ссылки, показывает документ верно. Вопрос в том, почему он не сохраняется в файл.
     
  6. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Еще раз говорю. Смотрите лог (ctrl+l). Пожалуйста, старайтесь понимать с первого раза.
     
  7. yans01

    yans01 New Member Пользователи

    Регистрация:
    28 мар 2018
    Сообщения:
    29
    Город:
    Бишкек
    Спасибо. Понял
     
  8. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Пожалуйста.
     
  9. Root

    Root Администратор Администратор

    Регистрация:
    10 мар 2010
    Сообщения:
    14.818
    Город:
    Барнаул
    Если будут вопросы - напишите, постараемся помочь.
     

Поделиться этой страницей