Я читал несколько статей по этой теме и у меня есть предварительные соображения относительно того, что мне с этим делать, но все же хочу узнать, может ли кто-нибудь поделиться комментариями, если у вас больше опыта работы с машинным обучением на AWS. Я делал проект для профессора в школе, и мы решили использовать AWS. Мне нужно найти рентабельный и действенный способ развернуть на нем модель прогнозирования.
Мы хотим достичь:
- читать данные из корзины S3 ежемесячно (новые данные будут поступать каждый месяц),
- запустите несколько файлов Python (.py) для пользовательских пакетов и установите зависимости (включая файлы, не более 30 КБ),
- создавать прогнозируемые результаты в файле обратно в S3 (работает JSON или CSV) или передавать на другие конечные точки (скорее всего, это будут некоторые инструменты бизнес-аналитики - таблица и т. д.) - но на самом деле этот шаг может быть гибким (не обязательно в Интернете)
Первая мысль, которая у меня возникла, - это AWS sagemaker. Однако мы будем использовать модель «fb prophet» для прогнозирования результатов, и мы создали специальный пакет для использования в модели, поэтому я не думаю, что экземпляр notebook нам поможет. (Пожалуйста, поправьте меня, если я ошибаюсь) Я понимаю, что sagemaker - это среда для построения и обучения модели, но мы уже построили и обучили модель. Кроме того, мы в любом случае не будем использовать готовые модели AWS.
Другое дело, если мы хотим использовать специально созданный пакет, нам нужно будет создать образ контейнера, и я никогда не делал этого раньше, не зная, как это сделать.
Второй вариант - создать несколько лямбда-функций
тот, который запускает скрипты python из корзины S3 (2-3 файла .py) каждый раз, когда новый файл импортируется в корзину S3, что будет происходить ежемесячно.
тот, который запускается после того, как скрипты python будут запущены и выдают результаты и сохраняются в корзине S3.
Третий вариант объединит оба варианта: - Использование лямбда-функции для запуска реализации сценариев python в корзине S3 при поступлении нового файла. - Отправка результата с помощью конечной точки sagemaker, что означает, что мы размещаем модель на sagemaker и развертываем оттуда.
Я до сих пор не совсем уверен, как разместить готовую модель и скрипты Python на экземпляре и хосте sagemaker оттуда.
Я надеюсь, что тот, у кого больше опыта работы с сервисом AWS, может помочь мне дать некоторые рекомендации с точки зрения более экономичного и эффективного способа запуска модели.
Спасибо!!
