Сложность облачных затрат
Счета поставщиков облачных услуг, как правило, длинные, сложные и трудные для понимания. Каждая облачная служба, как правило, имеет свои собственные показатели выставления счетов, что затрудняет понимание исторического использования и уверенное прогнозирование будущего использования службы. Когда компании используют десятки или даже сотни облачных сервисов, проблема умножается.
Еще одним аспектом сложности является то, что несколько команд или отделов могут вносить свой вклад в счет и совместно использовать облачные сервисы. Организация должна определить, кто несет ответственность за какие затраты и какой отдел использует какие ресурсы. Распределение затрат — непростая задача, особенно в динамической инфраструктуре, такой как Kubernetes.
Еще одним источником сложности является многооблачная среда. Большинство организаций используют более одного облачного провайдера, а поскольку у каждого облачного провайдера есть собственная модель ценообразования и параметры, это еще больше усложняет контроль затрат и прогнозирование.
Сложность прогнозирования
Для оценки будущего использования облачных ресурсов требуется несколько точек данных, которые могут быть недоступны. Для точного прогнозирования облачных затрат необходимо:
- Получите четкое представление о текущем использовании и структуре расходов
- Проанализируйте историческое использование и поймите причину пиков или изменений в использовании.
- Определите сезонные модели спроса и их влияние на использование облака
- Настройте оповещения об аномальном использовании или расходах в облаке
- Создайте план затрат для каждого приложения или рабочей нагрузки
- Рассчитайте общую стоимость владения для каждой рабочей нагрузки и для всей облачной среды.
- Анализ моделей ценообразования в облаке для планирования требований к емкости с течением времени
Многие из вышеперечисленных задач — это не разовые задачи, а задачи, которые необходимо выполнять регулярно. Выполнять их вручную на регулярной основе невозможно даже для облачных развертываний среднего размера, не говоря уже о крупномасштабных корпоративных развертываниях.
Избегайте проблем роста на раннем этапе, внедрив лучшие практики MLOps уже сегодня. Узнайте, на что обращать внимание в наших заметках с полей.
Выбор типов и размеров экземпляров
Крупные облачные провайдеры имеют сотни размеров вычислительных экземпляров. Например, вот полный список размеров инстансов, доступных на AWS. Выбор правильного размера экземпляра для каждой рабочей нагрузки имеет решающее значение, поскольку он напрямую влияет на стоимость, производительность и экономическую эффективность. Инстансы с избыточным выделением ресурсов — одна из наиболее распространенных причин напрасных затрат на облако.
Для выбора наиболее оптимального размера инстанса необходимо:
- Определите минимальные требования для каждой рабочей нагрузки с точки зрения ЦП, памяти, хранилища и сетевого подключения.
- Определите минимальный размер экземпляра, соответствующий этим требованиям.
- Выберите наиболее оптимальную модель ценообразования — например, длительные рабочие нагрузки могут воспользоваться скидками зарезервированных инстансов, а отказоустойчивые рабочие нагрузки могут выполняться на более дешевых спотовых инстансах.
Выбор экземпляра будет иметь огромное влияние на стоимость облака. При наличии нескольких рабочих нагрузок, которые могут иметь разные требования к вычислительным ресурсам с течением времени, это становится серьезной проблемой.
Как использовать ИИ для сокращения затрат на облако
Вот несколько методов, которые помогут снизить стоимость запуска приложений в облаке.
Прогнозирование затрат
Калькуляторы затрат на основе ИИ могут помочь организациям спрогнозировать будущие расходы на облачные услуги. Они помогают планировать расходы на облачные технологии и управлять ими, анализируя факторы, влияющие на затраты, и предлагая рекомендации. Прогнозирование затрат на основе ИИ позволяет организациям оптимизировать использование облака и выбирать более экономичные услуги. Spot.io Cloud Analyzer — это пример решения для прогнозирования и оптимизации облачных затрат на основе искусственного интеллекта.
Поставщики облачных услуг часто предлагают функции по запросу, позволяющие клиентам резервировать хранилище и другие ресурсы. Планирование важно для снижения затрат в долгосрочной перспективе, гарантируя, что организация платит только за то, что ей нужно.
Прогнозы затрат показывают ожидаемую общую стоимость облачной службы и разбивают затраты на каждую службу, чтобы определить, сколько ресурсов она потребляет в данном месяце. Алгоритм ИИ может основывать прогнозы на исторических моделях использования, позволяя организациям предвидеть будущие колебания более точно, чем команда людей.
Организации также могут использовать прогнозы затрат, чтобы отслеживать их использование и следить за тем, чтобы их расходы соответствовали плану. Они могут выявить и остановить неправильное или неэффективное использование на ранней стадии, избегая непредвиденных расходов.
Взрыв облаков
Разрыв в облаке предполагает развертывание приложения в центре обработки данных или частном облаке, из которого оно может вырваться в общедоступную облачную инфраструктуру во время всплесков спроса. Этот подход к развертыванию позволяет организациям получать доступ к дополнительным вычислительным ресурсам по мере необходимости без обслуживания более крупной инфраструктуры в нерабочее время.
Пакетное развертывание в облаке обеспечивает гибкость для локальных или частных приложений, размещенных в облаке, позволяя организациям высвободить свои локальные ресурсы и справляться с изменяющимися потребностями в вычислительных ресурсах. Алгоритмы искусственного интеллекта могут помочь проанализировать локально размещенные приложения и определить порог емкости, указав, когда рабочие нагрузки должны быть перенесены в общедоступное облако. Например, Alluxio предлагает решение для автоматизированного облачного разрыва.
Выявление ошибок конфигурации
Вычислительные всплески часто являются результатом неправильной конфигурации облака или неправильного использования облачных ресурсов. Например, сотрудник может использовать ресурс чаще, чем требуется. Организации могут помочь сократить расточительное потребление облачных ресурсов, выявив его причину. ИТ-компоненты часто масштабируются в облачных развертываниях, используя больше сетевого трафика, облачных служб, серверов или запросов и быстро увеличивая затраты на облако.
Многие организации тратят до 50 % больше средств на свои облачные развертывания, потому что не знают об ошибках конфигурации. Количество запросов, отправленных в облачную службу, существенно влияет на стоимость этой службы. Организации могут использовать решение ИИ, чтобы управлять расходами и избегать перерасхода средств за счет оптимизации использования и выявления аномалий.
Автоматизированный облачный мониторинг также помогает уменьшить ручное бремя проверки и анализа поведения. Он также повышает точность, используя базовые поведенческие показатели для определения нормальных и ненормальных моделей использования.
Прогнозирование шаблонов масштабирования
Автоматическое масштабирование обеспечивает динамический доступ к вычислительным ресурсам. Количество активных серверов для данной службы может автоматически колебаться в соответствии со спросом. Автоматическое масштабирование похоже на балансировку нагрузки, которая включает масштабирование приложения в соответствии с пропускной способностью балансировщика нагрузки. Балансировщик нагрузки распределяет вычислительную активность по ресурсам для поддержания производительности, которая определяет автоматическое масштабирование.
Организации часто включают показатели балансировки нагрузки в свои политики автомасштабирования. Они могут использовать методы прогностического масштабирования для оценки будущих требований к емкости на основе исторических моделей. Алгоритм ИИ использует исторические данные для расчета соответствующей емкости облачной службы, используя машинное обучение для постоянного улучшения своих прогнозирующих возможностей и включения новых данных в прогнозы масштабирования.
Например, у приложения может быть высокий спрос на использование в рабочее время, но низкий спрос в другое время. Автоматическое масштабирование каждое утро предвидит всплеск спроса, добавляя необходимую емкость для обработки притока трафика. Прогностическое масштабирование обеспечивает высокую доступность приложения и минимизирует проблемы с производительностью при переходе от низкой к высокой нагрузке.
Заключение
В этой статье я объяснил, как ИИ неразрывно связан со сложным искусством оптимизации затрат на облако, и представил несколько способов использования ИИ для задач оптимизации облака, в том числе:
- Разрыв в облаке. ИИ используется для обнаружения чрезмерной нагрузки в локальных средах и перенаправления части рабочей нагрузки в облако.
- Выявление ошибок конфигурации. ИИ может помочь выявить аномальные конфигурации облака, которые приводят к высоким затратам на облако. Это может предотвратить увеличение затрат на облако из-за человеческих ошибок или ошибок программирования.
- Прогнозирование затрат. Прогнозирующие модели машинного обучения могут использоваться для прогнозирования будущей стоимости облачных услуг на основе исторических моделей использования.
- Прогнозирование шаблонов масштабирования. ИИ можно использовать для автоматического масштабирования приложений вверх и вниз для достижения наиболее эффективного баланса ресурсов и фактического спроса.
Я надеюсь, что это будет полезно, когда вы исследуете мир облачной оптимизации с использованием искусственного интеллекта.
Примечание редактора. Heartbeat — это интернет-издание и сообщество, созданное участниками и посвященное предоставлению лучших образовательных ресурсов для специалистов по науке о данных, машинному обучению и глубокому обучению. Мы стремимся поддерживать и вдохновлять разработчиков и инженеров из всех слоев общества.
Независимая от редакции, Heartbeat спонсируется и публикуется Comet, платформой MLOps, которая позволяет специалистам по данным и командам машинного обучения отслеживать, сравнивать, объяснять и оптимизировать свои эксперименты. Мы платим нашим авторам и не продаем рекламу.
Если вы хотите внести свой вклад, перейдите к нашему призыву к участию. Вы также можете подписаться на получение наших еженедельных информационных бюллетеней (Еженедельник глубокого обучения и Информационный бюллетень Comet), присоединиться к нам в Slack и следить за Comet в Twitter и LinkedIn, чтобы получать ресурсы, события и многое другое, что поможет вам быстрее создавать лучшие модели машинного обучения.
