Я пробовал запросы, pydap, urllib и netcdf4 и продолжаю получать ошибки перенаправления или ошибки разрешения при попытке загрузить следующие данные НАСА:
GLDAS_NOAH025SUBP_3H: Модель земной поверхности GLDAS Noah L4 3 Часовой 0,25 x 0,25 градуса Подмножество V001 (http://disc.sci.gsfc.nasa.gov/uui/datasets/GLDAS_NOAH025SUBP_3H_V001/summary?keywords=Hydrology)
Я пытаюсь загрузить около 50 тыс. файлов, вот пример одного из них, который работает при вставке в браузер Google Chrome (если у вас есть правильное имя пользователя и пароль):
У кого-нибудь есть опыт получения данных OPeNDAP NASA из Интернета с использованием python? Я рад предоставить дополнительную информацию, если это необходимо.
Вот попытка запросов, которая дает ошибку 401:
import requests
def httpdownload():
'''loop through each line in the text file and open url'''
httpfile = open(pathlist[0]+"NASAdownloadSample.txt", "r")
for line in httpfile:
print line
outname = line[-134:-122]+".hdf"
print outname
username = ""
password = "*"
r = requests.get(line, auth=("username", "password"), stream=True)
print r.text
print r.status_code
with open(pathlist[0]+outname, 'wb') as out:
out.write(r.content)
print outname, "finished" # keep track of progress
А вот пример pydap, который выдает ошибку перенаправления:
import install_cas_client
from pydap.client import open_url
def httpdownload():
'''loop through each line in the text file and open url'''
username = ""
password = ""
httpfile = open(pathlist[0]+"NASAdownloadSample.txt", "r")
fileone = httpfile.readline()
filetot = fileone[:7]+username+":"+password+"@"+fileone[7:]
print filetot
dataset = open_url(filetot)
