Прочитать файл в буфере из FTP python

Обязательно сначала войдите на ftp-сервер. После этого используйте retrbinary, который извлекает файл в двоичном режиме. Он использует обратный вызов для каждого фрагмента файла. Вы можете использовать это, чтобы загрузить его в строку.

from ftplib import FTP
ftp = FTP('ftp.ncbi.nlm.nih.gov')
ftp.login() # Username: anonymous password: anonymous@

# Setup a cheap way to catch the data (could use StringIO too)
data = []
def handle_binary(more_data):
    data.append(more_data)

resp = ftp.retrbinary("RETR pub/pmc/PMC-ids.csv.gz", callback=handle_binary)
data = "".join(data)

Бонусные баллы: как насчет того, чтобы распаковать строку, пока мы на ней?

Простой режим, используя строку данных выше

import gzip
import StringIO
zippy = gzip.GzipFile(fileobj=StringIO.StringIO(data))
uncompressed_data = zippy.read()

Немного лучше, полное решение:

from ftplib import FTP
import gzip
import StringIO

ftp = FTP('ftp.ncbi.nlm.nih.gov')
ftp.login() # Username: anonymous password: anonymous@

sio = StringIO.StringIO()
def handle_binary(more_data):
    sio.write(more_data)

resp = ftp.retrbinary("RETR pub/pmc/PMC-ids.csv.gz", callback=handle_binary)
sio.seek(0) # Go back to the start
zippy = gzip.GzipFile(fileobj=sio)

uncompressed = zippy.read()

На самом деле, было бы намного лучше распаковывать на лету, но я не вижу способа сделать это с помощью встроенных библиотек (по крайней мере, не легко).

Я могу придумать два простых способа загрузить файл с помощью FTP и сохранить его локально:

1. Использование ftplib:

   from ftplib import FTP
   
   ftp = FTP('ftp.ncbi.nlm.nih.gov')
   ftp.login()
   ftp.cwd('pub/pmc')
   ftp.retrbinary('RETR PMC-ids.csv.gz', open('PMC-ids.csv.gz', 'wb').write)
   ftp.quit()
   

2. Использование urllib

   from urllib import urlretrieve
   
   urlretrieve("ftp://ftp.ncbi.nlm.nih.gov/pub/pmc/PMC-ids.csv.gz", "PMC-ids.csv.gz")
   

Если вы не хотите загружать и сохранять его в файл, но хотите обрабатывать его постепенно по мере поступления, я предлагаю использовать urllib2:

from urllib2 import urlopen

u = urlopen("ftp://ftp.ncbi.nlm.nih.gov/pub/pmc/readme.txt")

for line in u:
   print line

который печатает ваш файл построчно.

Это невозможно. Чтобы обрабатывать данные на сервере, вам необходимо иметь какие-то разрешения на выполнение, будь то сценарий оболочки, который вы отправляете, или доступ к SQL.

FTP - это чистая передача файлов, выполнение не разрешено. Вам нужно будет либо включить доступ по SSH, либо загрузить данные в базу данных и получить доступ к ней с помощью запросов, либо загрузить файл с помощью urllib, а затем обработать его локально, например:

import urllib
handle = urllib.urlopen('ftp://ftp.ncbi.nlm.nih.gov/pub/pmc/PMC-ids.csv.gz')
# Use data, maybe: buffer = handle.read()

В частности, я думаю, что третье решение - единственное решение, не требующее усилий.