Распределение памяти MatLab, когда максимальный размер неизвестен

Что я рекомендую сделать, если вы знаете количество строк и можете просто угадать достаточно большое количество допустимых столбцов, используйте sparse matrix.

% create a sparse matrix
mat = sparse(numRows,numCols)

Разреженная матрица не будет хранить все нулевые элементы, она хранит только указатели на ненулевые индексы. Это может помочь сэкономить много места. Они используются и доступны так же, как и любая другая матрица. Это только в том случае, если вам это действительно нужно в матричном формате с самого начала.

Если нет, вы можете просто сделать все как cell. Предварительно выделите cell array столько элементов, сколько строк в вашем файле.

data = cell(1,numLines);
% get matrix from line
for i = 1:numLines
    % get matrix from line
    data{i} = lineData;
end
data = cell2mat(data);

Этот метод помещает все в массив ячеек, который может храниться «динамически», а затем преобразовываться в обычную матрицу.

Дополнение

Если вы используете метод разреженной матрицы, чтобы обрезать свою матрицу после того, как вы закончите, потому что ваша матрица, вероятно, будет больше, чем необходимо, вы можете легко обрезать ее, а затем преобразовать ее в обычную матрицу.

[val,~] = max(sum(mat ~= 0,2));
mat(:,val:size(mat,2)) = [];
mat = full(mat); % use this only if you really need the full matrix

Это удалит все ненужные столбцы, а затем приведет их к полной матрице, включающей 0 элементов. Я бы не рекомендовал приводить его к полной матрице, так как для этого требуется намного больше места, но если вам это действительно нужно, используйте его.

ОБНОВЛЕНИЕ

Чтобы легко получить количество строк в файле, используйте интерпретатор Perl MATLAB.

создайте файл с именем countlines.pl и вставьте две строки ниже

while (<>) {};
print $.,"\n";

Затем вы можете запустить этот скрипт в своем файле следующим образом

numLines = str2double(perl('countlines.pl','data.csv'));

Проблема решена.

Из ветки форума MATLAB здесь

помните, что всегда лучше предварительно выделить все заранее, потому что технически при использовании метода shai вы много перераспределяете большие суммы, особенно если это большой файл.

Чтобы решить вашу ошибку, просто используйте этот синтаксис при распределении

data = [data; zeroes(1000, size(data,2))];

Возможно, вы захотите прочитать первую строку вне цикла, чтобы узнать количество столбцов и сделать первое выделение для data.

Если вы хотите придерживаться своего кода, как написано, я бы заменил вашу инициализацию данных, data = [] на

data = zeros(1,1000); 

Имейте в виду, что предупреждение от @MZimmerman6: zeros(1000) генерирует массив 1000 x 1000. Вы можете изменить все свои операторы zeros на zeros( ... ,Nc), где Nc = длина строки в символах.