Как магазин функций может помочь в ускорении внедрения данных и ИИ на предприятиях?

Магазин функций - ускоритель внедрения ИИ

Наука о данных и ИИ - отличные силы для преобразования вашего бизнеса и всего, что вы делаете, однако есть огромная возможность оптимизировать и автоматизировать науку о данных и ИИ, чтобы максимально использовать их потенциал и возможности. Когда организация начинает свой путь ИИ, она сталкивается с множеством проблем, и зачастую это необходимо, но трудно ускорить его внедрение.

Хотя для этого есть много причин, но одна, на которой мы остановимся, в этом блоге - это специалисты по данным, которым необходимо дублировать свою работу, отсутствие централизованного репозитория и т. Д. Это влечет за собой расходы для бизнеса и специалистов по данным, таких как много повторяющейся работы, увеличенное время производства и возникновение несовместимых артефактов.

В этом блоге мы обсудим, что такое магазин функций, как он помогает внедрению искусственного интеллекта и какие преимущества он может предложить вашему бизнесу. Далее мы обсудим, как магазин функций может быть решением вышеупомянутых проблем и действовать как инструмент и ускоритель внедрения ИИ. Мы обсудим, как он может сократить время вывода на рынок (производство) моделей машинного обучения и как он решает указанные выше вопросы.

Что такое магазин функций?

Мы, как специалисты по обработке данных, часто дублируем работу из-за отсутствия централизованного репозитория, и это происходит за счет увеличения времени производства, большого количества работы, повторяющейся с несогласованностью, без возможности поделиться артефактами и повторно использовать их. В этом блоге мы расскажем, как можно сократить время вывода на рынок (производство) моделей машинного обучения и как это решить вышеупомянутые вопросы.

Бизнес-пользователи все чаще пользуются спросом и признанием использования науки о данных и искусственного интеллекта на своих предприятиях для достижения следующих целей:

  1. Оптимизировать процесс принятия решений
  2. Оптимизировать бизнес-операции
  3. Создавать новые возможности для бизнеса

С одной стороны, это заинтересованные стороны бизнеса, а с другой стороны - технические специалисты, профессионалы в области данных (науки) (я использовал этот термин для обозначения всех работников, работающих с данными, включая специалистов по данным, инженеров данных, экспертов по визуализации данных, архитекторов данных и т. Д.) ). Владельцы бизнеса принимают решения и управляют бизнесом, они следят за окупаемостью инвестиций (ROI), в то время как работники данных следят за своими техническими артефактами, работающими и работающими. В этой гонке специалисты по обработке данных создают разные модели машинного обучения (ML) и глубокого обучения (DL) с разными наборами данных, которые они или другие обработчики данных получают из разных источников. Чаще всего процесс подготовки данных схож для разных моделей, и большая часть этих усилий может быть оптимизирована и повторно использована в различных проектах ИИ.

Следовательно, чтобы сделать этот процесс построения моделей ИИ более эффективным, многократно используемым и масштабируемым, предприятия должны создавать или использовать общеорганизационные платформы ИИ, которые могут сократить время производственного цикла на большой процент в дополнение к сокращению затрат на разработка, развертывание и совместное использование моделей искусственного интеллекта на предприятии.

Типичный поток машинного обучения выглядит следующим образом

Специалисты по данным тратят большую часть своего времени на подготовку данных, извлечение функций, прежде чем они достигнут точки, где у них есть что-то готовое для приготовления (как модель машинного обучения). Эту трату времени, усилий и ресурсов можно сэкономить и потратить на получение ценной информации гораздо быстрее, если превратить эти данные в конвейер как что-то легко повторно используемое и масштабируемое.

Когда речь идет об инициативах ИИ между организациями и между отделами, функции, извлеченные на этапе подготовки данных, могут использоваться в нескольких проектах. Хранение и совместное использование извлеченных функций, других данных и артефактов (или активов) ИИ может значительно помочь в ускорении работы ИИ и подтверждения концепции (POC). Кроме того, предприятия получат более масштабируемые способы управления данными и активами ИИ.

Магазин функций:

Вышеупомянутые обсуждения достижения предполагаемых преимуществ в отношении масштабируемости, возможности повторного использования и т. Д. Являются мотивирующими факторами, которые побудили нас создать такую ​​платформу (которую мы называем магазином функций), которая может помочь организациям обмениваться данными и артефактами ИИ между различными усилиями и командами. Это помогло бы ускорить запуск и развертывание моделей, поскольку недостатки в конвейере машинного обучения, которые занимают большую часть времени, теперь каким-то образом уменьшены в большей степени за счет использования / повторного использования существующих артефактов.

«Хранилище функций - это хранилище, которое позволяет командам обмениваться, обнаруживать и использовать тщательно подобранный набор функций для решения их задач машинного обучения».

Мы можем определить это как следующее

Это централизованный репозиторий программного обеспечения (библиотека), который содержит множество функций (артефактов), где каждая из них создает функцию из входных данных. Вы можете расширить это определение на хранение, создание и совместное использование любых других данных и артефактов ИИ (модели, записные книжки, файлы кода и т. Д.) В дополнение к функциям.

Он может служить мостом для разных команд и помочь им уменьшить разрозненность в вашей организации. В хранилище функций можно хранить большое количество данных и артефактов AI. они могут быть обновлены, версированы и каталогизированы для различных целей. Это может помочь специалистам по обработке данных при построении новых моделей или улучшении существующих, они могут использовать легкодоступные артефакты и добавлять к ним новые функции (артефакты).

Вы можете использовать магазин функций как для онлайн, так и для автономного обучения моделей. В первом случае вы можете вычислить необходимые функции (предварительное вычисление в реальном времени или пакетное вычисление) и сохранить их в хранилище функций. В последнем сценарии у вас есть все типы данных, а также другие характеристики, связанные с ними, которые вы можете использовать для обучения моделей машинного обучения.

Таким образом, специалисты по обработке данных получают выгоду от автоматизации этапов подготовки данных, которые в противном случае вычисляются многократно. Стандартизация обработки данных и управление версиями функций обеспечивают согласованность между различными моделями, в то же время давая возможность специалистам по обработке данных настраивать их по мере необходимости. Это упрощает обмен знаниями, моделями и другими артефактами в рамках всего бизнеса.

Какие преимущества вы получите как организация после внедрения магазина функций?

Добавление хранилища функций к вашим данным и стратегии ИИ может принести вам следующие преимущества:

Масштабируемость. Магазин функций может расти вместе с темпами реализации проектов машинного обучения. Вы можете использовать существующие функции и, возможно, другие данные и артефакты ИИ для совместного использования и начальной загрузки проектов ИИ вместо того, чтобы каждый раз изобретать колесо.

Экономия за счет масштаба. Организациям становится проще и быстрее разрабатывать модели искусственного интеллекта. Для создания новых моделей потребуется меньше ресурсов, поскольку новые модели могут повторно использовать функции, существующие в магазине функций. Таким образом, использование общего хранилища функций может позволить организациям добиться экономии от масштаба.

Меньше времени на производство: требуется меньше времени на получение ценной информации за счет экономии времени, усилий и ресурсов на подготовке данных и разработке функций, каждый раз изобретая колесо. Это не значит, что вам не нужно ничего этого делать, скорее масштаб и интенсивность будут намного меньше. Это потребует от вас очень небольшой работы, поскольку вы можете повторно использовать и изменять функции по мере необходимости.

Согласованность и стандартизация: Feature Store решает проблему неэффективности в конвейере проекта машинного обучения. Он приносит пользу специалистам по данным, автоматизируя многократно проводимую работу по подготовке данных и стандартизируя обработку данных, чтобы функции были согласованы в разных моделях.

© 2020, Чан Насиб. Все права защищены.

Первоначально опубликовано на https://www.community.ibm.com.

Спасибо за прочтение!

Если вам нравится моя работа и вы хотите оставаться на связи…

  1. Лучший способ сделать это - подписаться на меня на Medium.
  2. Если вы хотите написать на носителе и отправить его в публикацию. Отметьте здесь Данные и AI, а для более общих и разнообразных тем вы можете отправить свои статьи в Разнообразные знания
  3. Следуйте за мной в Twitter здесь. Я буду публиковать там много новостей и интересного!
  4. Также подписывайтесь на мой канал на YouTube здесь!
  5. Следуйте за мной в LinkedIn здесь.
  6. Загляните на мой сайт.