Как нормализовать список из более чем 25 миллионов записей с помощью fit_transform из MinMaxScaler

У меня есть список из более чем 25 миллионов записей (1D Array). Я хочу нормализовать значения от 0 до 5.

Для этого я использую MinMaxScaler от scikit-learn. Эта штука отлично работает с записями размером до 20 Мбайт, но по мере увеличения размера на это уходит много времени.

Любые предложения, как сделать это оптимальным образом.


person YogenderPurohit    schedule 19.02.2020    source источник
comment
Вы проверили partial_fit scikit- learn.org/stable/modules/generated/   -  person ManojK    schedule 19.02.2020
comment
Отвечает ли это на ваш вопрос? Как последовательно масштабировать фреймы данных MinMaxScaler () sklearn   -  person PV8    schedule 19.02.2020
comment
stackoverflow.com/questions/47732108 /   -  person PV8    schedule 19.02.2020