Можно ли сохранить обученную модель Spark ML или кроссвалидатор в базе данных postgree? Я мог бы найти способы сохранить его на диск или в HDFS, но можем ли мы сохранить его в таблице RDBMS (например, Postgree)?
Можно ли сохранить обученную модель Spark ML или кроссвалидатор в базу данных postgree?
Ответы (1)
В целом это не так. Модели ML используют определенную структуру с файлами Parquet, в которых хранятся модель, метаданные и, возможно, данные. Можно создавать обертки, которые могли бы хранить те же данные в реляционной базе данных, но на данный момент в Spark такой функциональности нет.
Для некоторых подмножеств моделей вы можете:
- Сериализуйте модель, используя сериализацию Java.
- Сохраните сохраненную модель как большой объект.
Это ограничено нераспределенными моделями.
person
Alper t. Turker
schedule
21.08.2017
