Создание и отключение модулей Kubeflow

Я изучаю Kubernetes и Kubeflow, и есть кое-что, что я хочу сделать, но я не нахожу в Интернете четкого ответа, возможно ли это или какой путь мне следует выбрать.

При обучении моей модели машинного обучения я хочу использовать большую машину для обучения своих моделей в облаке, но после этого я хочу обслуживать модель только на небольшом экземпляре. Я хочу, чтобы большая машина использовалась только на этапе обучения, а после этого была выключена. Возможно ли это сделать с помощью Kubeflow? И если да, то как бы я это сделал?

Извините за вопрос новичка, я все еще изучаю эту платформу.


person João Areias    schedule 02.02.2021    source источник


Ответы (1)


Один из способов сделать это - создать два отдельных кластера. Один большой кластер для обучения и другой меньший кластер для обслуживания. Вы можете использовать Kubeflow Pipelines в более крупном кластере, обучить модель, а затем поместить файл модели в распределенное хранилище. В меньшем кластере вы можете просто запустить автономный KFServing и загрузить двоичный файл модели из распределенное хранилище в вашу службу вывода.

person accraze    schedule 04.02.2021
comment
У вас также может быть один кластер с разными группами узлов с разными возможностями и недостатками, например, ваши учебные задания должны идти в группу узлов экземпляров графического процессора, а ваши обслуживающие модули - в группу узлов только для ЦП. - person theofpa; 07.02.2021