Я использую массовый загрузчик GAE для загрузки данных хранилища данных.
appcfg.py download_data --log_file=bulkloader.log --kind=MyKind --application=s~myappid --url=http://myappid.appspot.com/rmt_api --filename=data_downloaded.csv --db_filename=skip --config_file=bulkloader.yaml
Но через некоторое время я получаю OverQuotaError: The API call datastore_v3.RunQuery() required more quota than is available. Это примерно Datastore Read Operations. Похоже, я должен загрузить некоторые данные в день 1, что-то в день 2, день 3 и т. д.
Как мне это сделать?
Обновлено. В документе говорится
Если передача прервана, вы можете возобновить передачу с того места, где она была прервана, используя аргументы --db_filename=... и --result_db_filename=.... Эти аргументы являются именами файла хода выполнения и файла результатов, созданного инструментом, которые являются либо именами, которые вы предоставили с аргументами при запуске передачи, либо именами по умолчанию, которые включают метку времени. Это предполагает, что вы установили sqlite3 и не отключили файлы прогресса с --db_filename=skip.
Означает ли это, что я могу запускать appcfg.py download_data ... несколько раз, передавая одни и те же значения db_filename и result_db_filename, и он будет продолжать загружать оставшиеся записи каждый раз? Что произойдет с моим CSV-файлом? Будет ли он добавлять записи в конец файла?
