Python - механизм для определения типа сжатого файла и распаковки

На этой странице есть список «волшебных» подписей файлов. Возьмите те, которые вам нужны, и поместите их в диктатор, как показано ниже. Затем нам нужна функция, которая сопоставляет ключи dict с началом файла. Я написал предложение, хотя его можно оптимизировать, предварительно обработав magic_dict, например, в одно гигантское скомпилированное регулярное выражение.

magic_dict = {
    "\x1f\x8b\x08": "gz",
    "\x42\x5a\x68": "bz2",
    "\x50\x4b\x03\x04": "zip"
    }

max_len = max(len(x) for x in magic_dict)

def file_type(filename):
    with open(filename) as f:
        file_start = f.read(max_len)
    for magic, filetype in magic_dict.items():
        if file_start.startswith(magic):
            return filetype
    return "no match"

Это решение должно быть кроссплатформенным и, конечно, не зависит от расширения имени файла, но оно может давать ложные срабатывания для файлов со случайным содержимым, которые начинаются с определенных магических байтов.

Основываясь на ответе lazyr и моем комментарии, я имею в виду следующее:

class CompressedFile (object):
    magic = None
    file_type = None
    mime_type = None
    proper_extension = None

    def __init__(self, f):
        # f is an open file or file like object
        self.f = f
        self.accessor = self.open()

    @classmethod
    def is_magic(self, data):
        return data.startswith(self.magic)

    def open(self):
        return None

import zipfile

class ZIPFile (CompressedFile):
    magic = '\x50\x4b\x03\x04'
    file_type = 'zip'
    mime_type = 'compressed/zip'

    def open(self):
        return zipfile.ZipFile(self.f)

import bz2

class BZ2File (CompressedFile):
    magic = '\x42\x5a\x68'
    file_type = 'bz2'
    mime_type = 'compressed/bz2'

    def open(self):
        return bz2.BZ2File(self.f)

import gzip

class GZFile (CompressedFile):
    magic = '\x1f\x8b\x08'
    file_type = 'gz'
    mime_type = 'compressed/gz'

    def open(self):
        return gzip.GzipFile(self.f)


# factory function to create a suitable instance for accessing files
def get_compressed_file(filename):
    with file(filename, 'rb') as f:
        start_of_file = f.read(1024)
        f.seek(0)
        for cls in (ZIPFile, BZ2File, GZFile):
            if cls.is_magic(start_of_file):
                return cls(f)

        return None

filename='test.zip'
cf = get_compressed_file(filename)
if cf is not None:
    print filename, 'is a', cf.mime_type, 'file'
    print cf.accessor

Теперь можно получить доступ к сжатым данным с помощью cf.accessor. Все модули предоставляют для этого похожие методы, такие как read (), write () и т. Д.

Это сложный вопрос, который зависит от ряда факторов: самый важный из них - насколько портативным должно быть ваше решение.

Основы поиска типа файла для данного файла - это найти в файле идентифицирующий заголовок, обычно называемый " магическая последовательность "или заголовок подписи, который определяет, что файл относится к определенному типу. Его имя или расширение обычно не используется, если его можно избежать. Для некоторых файлов он встроен в Python. Например, для работы с .tar файлами вы можете использовать модуль tarfile, который имеет удобный метод is_tarfile. Есть аналогичный модуль под названием zipfile. Эти модули также позволят вам извлекать файлы на чистом Python.

Например:

f = file('myfile','r')
if zipfile.is_zipfile(f):
    zip = zipfile.ZipFile(f)
    zip.extractall('/dest/dir')
elif tarfile.is_tarfile(f):
    ...

Если ваше решение - только Linux или OSX, есть также команда file, которая сделает за вас большую часть работы. Вы также можете использовать встроенные инструменты для распаковки файлов. Если вы просто выполняете простой сценарий, этот метод проще и даст вам лучшую производительность.

Принятое решение выглядит великолепно, но оно не работает с python-3, вот модификации, которые заставили его работать - с использованием двоичного ввода-вывода вместо строк:

magic_dict = {
    b"\x1f\x8b\x08": "gz",
    b"\x42\x5a\x68": "bz2",
    b"\x50\x4b\x03\x04": "zip"
    }
''' SKIP '''
    with open(filename, "rb") as f:
''' The rest is the same '''

«а» полностью ложно.

"b" можно легко интерпретировать неправильно, поскольку ".zip" не означает, что файл на самом деле является zip-файлом. Это может быть JPEG с расширением zip (если хотите, для запутывания).

На самом деле вам нужно проверить, соответствуют ли данные внутри файла данным, ожидаемым по его расширению. Также ознакомьтесь с магическим байтом.

Если упражнение состоит в том, чтобы идентифицировать его, просто чтобы пометить файлы, у вас есть множество ответов. Если вы хотите распаковать архив, почему бы вам просто не попытаться поймать выполнение / ошибки? Например:

>>> tarfile.is_tarfile('lala.txt')
False
>>> zipfile.is_zipfile('lala.txt')
False
>>> with bz2.BZ2File('startup.bat','r') as f:
...    f.read()
...
Traceback (most recent call last):
  File "<stdin>", line 2, in <module>
IOError: invalid data stream

Обновление 2019:
Я искал решение, чтобы определить, был ли файл .csv заархивирован или нет. Ответ, который дал @Lauritz, вызывал у меня ошибки, я полагаю, это просто потому, что способ чтения файлов изменился за последние 7 лет.

Эта библиотека у меня отлично сработала! https://pypi.org/project/filetype/