Как получить имена листов из файлов XLS, не загружая файл целиком?

В настоящее время я использую pandas для чтения файла Excel и представления его имен листов пользователю, чтобы он мог выбрать, какой лист он хотел бы использовать. Проблема в том, что файлы действительно большие (70 столбцов x 65 тыс. Строк), загрузка на ноутбук занимает до 14 секунд (те же данные в файле CSV занимают 3 секунды).

Мой код в панде выглядит так:

xls = pandas.ExcelFile(path)
sheets = xls.sheet_names

Раньше я пробовал xlrd, но получил аналогичные результаты. Это был мой код с xlrd:

xls = xlrd.open_workbook(path)
sheets = xls.sheet_names

Итак, может ли кто-нибудь предложить более быстрый способ получить имена листов из файла Excel, чем чтение всего файла?


person pcarvalho    schedule 03.09.2012    source источник
comment
Сколько времени нужно, чтобы открыть такой файл напрямую в Excel?   -  person Doc Brown    schedule 03.09.2012
comment
@DocBrown Около 4 секунд, если Excel уже открыт (Excel Starter 2010)   -  person pcarvalho    schedule 03.09.2012


Ответы (6)


вы можете использовать библиотеку xlrd и открыть книгу с флагом «on_demand = True», чтобы листы не загружаться автоматически.

Тогда вы можете получить имена листов аналогично пандам:

import xlrd
xls = xlrd.open_workbook(r'<path_to_your_excel_file>', on_demand=True)
print xls.sheet_names() # <- remeber: xlrd sheet_names is a function, not a property
person Colin O'Coal    schedule 03.09.2012
comment
в документации xlrd сказано, что это работает только с BIFF ›= 5.0. У меня это не работает, и если я спрошу xls.biff_version, он скажет 0, что кажется странным (невозможно?). Есть идеи, что может происходить? - person famargar; 20.01.2017
comment
Вы также можете передать результат от xlrd.open_workbook к pandas.ExcelFile и взаимодействовать с объектом, как вы привыкли: xls = pandas.ExcelFile(xlrd.open_workbook(path, on_demand=True)) - person hugovdberg; 10.05.2019
comment
Это слишком медленно только для имен листов. - person MehmedB; 16.07.2019
comment
он потратил 11 секунд на файл размером 5 МБ. Кажется, он загружает весь файл - person rluts; 12.05.2020
comment
@rluts Я согласен, этот подход все еще очень медленный. Есть ли лучшее решение? - person Boosted_d16; 09.06.2020

Я пробовал xlrd, pandas, openpyxl и другие подобные библиотеки, и все они, похоже, занимают экспоненциальное время по мере увеличения размера файла при чтении всего файла. Другие решения, упомянутые выше, где они использовали on_demand, у меня не работали. Следующая функция работает для файлов xlsx.

def get_sheet_details(file_path):
    sheets = []
    file_name = os.path.splitext(os.path.split(file_path)[-1])[0]
    # Make a temporary directory with the file name
    directory_to_extract_to = os.path.join(settings.MEDIA_ROOT, file_name)
    os.mkdir(directory_to_extract_to)

    # Extract the xlsx file as it is just a zip file
    zip_ref = zipfile.ZipFile(file_path, 'r')
    zip_ref.extractall(directory_to_extract_to)
    zip_ref.close()

    # Open the workbook.xml which is very light and only has meta data, get sheets from it
    path_to_workbook = os.path.join(directory_to_extract_to, 'xl', 'workbook.xml')
    with open(path_to_workbook, 'r') as f:
        xml = f.read()
        dictionary = xmltodict.parse(xml)
        for sheet in dictionary['workbook']['sheets']['sheet']:
            sheet_details = {
                'id': sheet['sheetId'], # can be @sheetId for some versions
                'name': sheet['name'] # can be @name
            }
            sheets.append(sheet_details)

    # Delete the extracted files directory
    shutil.rmtree(directory_to_extract_to)
    return sheets

Поскольку все xlsx в основном представляют собой заархивированные файлы, мы извлекаем базовые данные xml и считываем имена листов непосредственно из книги, что занимает долю секунды по сравнению с функциями библиотеки.

Тестирование: (в файле xlsx размером 6 МБ с 4 листами)
Pandas, xlrd: 12 секунд
openpyxl: 24 секунды
Предлагаемый метод: 0,4 ​​секунды

person Dhwanil shah    schedule 27.05.2019
comment
Чтобы использовать это, вам нужно настроить несколько параметров Django. Подскажите, как это сделать? - person Corey Levinson; 28.05.2019
comment
Обходя требования Django, я также сталкивался с этой ошибкой: File is not a zip file Мой файл представляет собой рабочий лист Microsoft Excel 97-2003 (.xls). Возможно, он не работает в старых версиях Excel. - person Corey Levinson; 28.05.2019
comment
@CoreyLevinson, как упоминалось в сообщении, это работает только для файлов xlsx, поскольку файлы .xlsx используют Office Open XML, который представляет собой сжатый формат XML. Файлы .xls используют формат BIFF. Я еще не сталкивался с требованием к файлу xls. Но если вы можете найти обходной путь для распаковки и чтения внутреннего содержимого, я думаю, что этот подход сработает и для вас. Кроме того, нет необходимости изменять настройки django. Я использую только media_cdn или BASE_DIR и для всего этого создаю временный каталог где-нибудь относительно него. - person Dhwanil shah; 29.05.2019
comment
Ваш код сэкономил часы усилий, у этого кода есть одна загвоздка, которую мне пришлось исправить: в основном, если в Excel есть только один лист, он выдает ошибку, которую я исправил с помощью этих однострочных sheets1 = dictionary['workbook']['sheets']['sheet'] if not(isinstance(sheets1, list)): sheets1 =[sheets1] - person piyushmandovra; 24.08.2020
comment
@piyushmandovra Я сделал то же самое и вернулся сюда, чтобы добавить комментарий об этом, только чтобы найти ваш комментарий здесь, lol. - person Diptangsu Goswami; 04.02.2021

Судя по моим исследованиям со стандартными / популярными библиотеками, это не было реализовано с 2020 года для xlsx / xls, но вы можете сделать это для xlsb. В любом случае эти решения должны значительно улучшить производительность. для xls, xlsx, xlsb.

Ниже был протестирован файл размером ~ 10 МБ xlsx, xlsb.

xlsx, xls

from openpyxl import load_workbook

def get_sheetnames_xlsx(filepath):
    wb = load_workbook(filepath, read_only=True, keep_links=False)
    return wb.sheetnames

Тесты: ~ 14-кратное увеличение скорости

# get_sheetnames_xlsx vs pd.read_excel
225 ms ± 6.21 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
3.25 s ± 140 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

xlsb

from pyxlsb import open_workbook

def get_sheetnames_xlsb(filepath):
  with open_workbook(filepath) as wb:
     return wb.sheets

Тесты: ~ увеличение скорости в 56 раз

# get_sheetnames_xlsb vs pd.read_excel
96.4 ms ± 1.61 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)
5.36 s ± 162 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

Примечания:

person Glen Thompson    schedule 09.11.2020
comment
Отличный ответ Глен! Спасибо - person Hari Prasad; 22.11.2020

Объединив ответ @Dhwanil shah с ответом здесь, я написал код, который также совместим с файлами xlsx, имеющими только один лист:

def get_sheet_ids(file_path):
sheet_names = []
with zipfile.ZipFile(file_path, 'r') as zip_ref:
    xml = zip_ref.open(r'xl/workbook.xml').read()
    dictionary = xmltodict.parse(xml)

    if not isinstance(dictionary['workbook']['sheets']['sheet'], list):
        sheet_names.append(dictionary['workbook']['sheets']['sheet']['@name'])
    else:
        for sheet in dictionary['workbook']['sheets']['sheet']:
            sheet_names.append(sheet['@name'])
return sheet_names
person JvdB    schedule 02.03.2020

Адаптация кода Python с переданным полным путем к pathlib имени файла (например, ('c: \ xml \ file.xlsx')). Из ответа Дхванила шаха без метода Django, используемого для создания временного каталога.

import xmltodict
import shutil
import zipfile


def get_sheet_details(filename):
    sheets = []
    # Make a temporary directory with the file name
    directory_to_extract_to = (filename.with_suffix(''))
    directory_to_extract_to.mkdir(parents=True, exist_ok=True)
    # Extract the xlsx file as it is just a zip file
    zip_ref = zipfile.ZipFile(filename, 'r')
    zip_ref.extractall(directory_to_extract_to)
    zip_ref.close()
    # Open the workbook.xml which is very light and only has meta data, get sheets from it
    path_to_workbook = directory_to_extract_to / 'xl' / 'workbook.xml'
    with open(path_to_workbook, 'r') as f:
        xml = f.read()
        dictionary = xmltodict.parse(xml)
        for sheet in dictionary['workbook']['sheets']['sheet']:
            sheet_details = {
                'id': sheet['@sheetId'],  # can be sheetId for some versions
                'name': sheet['@name']  # can be name
            }
            sheets.append(sheet_details)
    # Delete the extracted files directory
    shutil.rmtree(directory_to_extract_to)
    return sheets
person GERMAN RODRIGUEZ    schedule 21.08.2020

вы также можете использовать

data=pd.read_excel('demanddata.xlsx',sheet_name='oil&gas')
print(data)   

Здесь requiredata - это имя вашего файла. Нефть и газ - это одно из имен вашего листа. Пусть на вашем листе может быть n листов. Просто укажите имя листа, который вы хотите получить, в Sheet_name = "Name of your required sheet"

person HemanthReddy    schedule 08.10.2019
comment
Я бы порекомендовал объяснить, почему этот метод будет быстрее, чем его нынешний подход, или показать, что в некоторых случаях он быстрее. (Предоставьте больше доказательств в целом). Это может быть отличным ответом, но предоставление дополнительных оснований для объяснения того, почему он хорош, поможет читателям оценить его. - person Xgongiveittoya; 08.10.2019
comment
Спасибо @Xgongiveittoya. Это хорошее предложение, и я сделаю это. - person HemanthReddy; 17.10.2019
comment
Это не делает то, что запросил OP, а именно извлекает имена листов из книги (изначально неизвестно). Вместо этого данные извлекаются из уже известного листа. - person Diomedea; 07.09.2020