По мере того, как компании используют ИИ в своем бизнесе, они сталкиваются с масштабными технологиями систем глубокого обучения. Это похоже на вход в темную массивную пещеру - изумление и волнение вместе со страхом, что вы понятия не имеете, во что ввязываетесь!

В основном невежественный в IT

Коллеге я порекомендовал блог Пако Натана [1], в котором резюмируются последние исследования Strata. Коллега - уважаемый эксперт в области бизнес-аналитики и хранилищ данных.

Его реакция была: «Сколько вещей изменилось, а сколько мы не знаем!»
… имея в виду ИТ-специалистов, противостоящих возникающим системам глубокого обучения.

По-моему, ИТ-специалисты в большинстве своем ничего не знают о последствиях, связанных с системами искусственного интеллекта, построенными на существующих инфраструктурах. Кроме того, между корпоративными группами возникают критические культурные разногласия, которые должны сотрудничать, чтобы организация и ее заинтересованные стороны осознавали ценность систем искусственного интеллекта.

Хотя это тревожный комментарий, я был рад услышать такую ​​реакцию. Я потратил последний год, пытаясь убедить других коллег в области BI / DW в том, что корпоративные ИТ-службы ждут нерешенных проблем. Обычной реакцией был пустой взгляд… как будто они сомневались в моем здравом уме!

ТЕРМИНОЛОГИЯ: Глубокое обучение (DL) с использованием искусственных нейронных сетей (ANN) - это подмножество машинного обучения (ML). В этой статье освещаются различия между обычным машинным обучением (без ИНС) и глубоким обучением (с использованием ИНС) в корпоративных системах.

Итак, о чем идет речь?

TL; DR - Не входите в пещеру (систем ИИ), пока у вас нет карты!

Pacoid снова наносит удар!

Пако Натан (или Пакоид в твиттере) самопровозглашается «злым безумным ученым» и «игроком / тренером». Мой опыт в значительной степени склоняется к последнему. Он - выдающаяся личность в сообществе AI / ML / DS, обладающая всеми связями, блестящая, красноречивая и гуманная.

Натан сотрудничает с Беном Лорикой, главным специалистом по обработке данных в O’Reilly Media, Inc. и программным директором Strata Data Conference и Artificial Intelligence Conference. Они изучили отношение и действия этих сообществ, которые первыми приняли решение, преодолев (или пытаясь преодолеть) пропасть, чтобы охватить системы ИИ в своих организациях.

Итак, суета заключается в том, чтобы обратить внимание на то, что эти ранние последователи говорят нам о существующих системах искусственного интеллекта, являются ли они успешными, неудачными, катастрофическими, этически вредными, политически наивными и всем остальным.

Опрос основан на 1300 ответах, полученных в середине ноября 2018 года, и хорошо представлены глобальными предприятиями. Следовательно, к этой информации следует относиться серьезно. И вот как это сделать…

Для начала рекомендую прочитать Блог Пакоида. [1] Во-вторых, просмотрите детали опроса в этих трех отчетах, написанных в соавторстве с Лорикой:

Если вы принимаете (или планируете использовать) системы искусственного интеллекта в своей организации, вы найдете несколько отрезвляющих наблюдений. … Кусочки пещерной карты.

Ниже приведены некоторые из моих выводов. Поделитесь своими наблюдениями в комментариях ниже.

Вывод: глубокое обучение имеет успех

Многие ИТ-специалисты, с которыми я разговаривал, придерживаются мнения, что нейронные сети интересны, но обычного машинного обучения более чем достаточно для бизнес-приложений на многие годы вперед.

Однако эти опросы показывают, что технология глубокого обучения пользуется большой популярностью в корпоративных системах. Это больше не является любимцем только исследователей; эта технология работает!

Данные опроса показывают, что более половины используют глубокое обучение (55%), а также обучение с подкреплением (22%) и трансферное обучение (16%), как показано на этом рисунке.

Сторона ... Также интересно, что респонденты представляли, когда проверяли: активное обучение, графики знаний, планирование и рассуждения. Здесь нужны личные интервью!

Как и ожидалось, более половины (53%) используют нейронные сети для обработки изображений. Однако сюрпризом стало то, что значительно больше нейронных сетей используют для структурированных данных (86%) и текста (69%), как показано ниже.

Когда его спросили об используемых инструментах искусственного интеллекта, удивительное количество людей касалось в первую очередь нейронных сетей, таких как TensorFlow (55%), Keras (34%) и PyTorch (29%). Это значительно больше, чем инструменты для обычного машинного обучения, такие как scikit-Learn.

Наконец, последующие цифры в отчете о внедрении искусственного интеллекта [4] показывают, что внедрение глубокого обучения широко распространено во всех отраслях и ускоряется в компаниях, использующих зрелые методы искусственного интеллекта.

Вывод: не отставать от ИИ зрелых людей - НЕ

Классическая стратегия ИТ-специалистов «ждать, пока другие поймут» может обернуться для некоторых компаний катастрофой. Эта стратегия упускает из виду быстрый сдвиг в основных парадигмах, которым движут новые системы искусственного интеллекта. Такие сдвиги требуют медленных культурных изменений, позволяющих успешно внедрять технологические изменения. Разберем этот вопрос подробнее.

Лорика и Натан часто проводят различие между тремя стадиями зрелости внедрения ИИ: Еще нет (19%), Оценка (54%) и В производстве или AI-Mature (27%). [4] Это различие используется в отчетах для понимания нескольких факторов.

Хотя эти категории нечеткие, обратите внимание на эти важные аспекты. Компании AI-Mature (In-Production) постоянно используют ВСЕ три из этих категорий. Компании с развитым ИИ могут быть Еще не с определенным методом ИИ (например, обучением с подкреплением), но они назначили какого-то эксперта для отслеживания еженедельно новых исследований по этому методу. Компании с развитым искусственным интеллектом часто оценивают многие прототипы, но они постоянно используют их в соревнованиях претендентов и чемпионов с их серийными моделями. Это постоянные инновации на всех уровнях, поэтому…

Ключевой вывод заключается в том, что организации, находящиеся в стадии развития ИИ, быстро увеличивают разрыв с организациями, которые еще не завершили оценку, и тем самым усложняют задачу наверстать упущенное, как показано ниже. Обратите внимание, что узкие места (выделены желтым цветом) - культура, не признающая необходимости, и не выявленные варианты использования - становятся менее значительными для компаний со зрелым искусственным интеллектом. Напротив, нехватка качественных данных и нехватка квалифицированных специалистов более значительны для компаний с развитым ИИ.

Технологии искусственного интеллекта для компаний с развитым искусственным интеллектом больше опираются на глубокое обучение (выделено желтым), которое требует больших инвестиций, как показано ниже.

Причина увеличивающегося разрыва в том, что препятствия на пути внедрения ИИ в основном являются культурными, а не технологическими. В этой ситуации для лагеров нет никаких «серебряных пуль», по крайней мере, на горизонте!

Вывод: зоопарк обучения искусственному интеллекту

За последний год одним из интересных аспектов глубокого обучения стал постоянно расширяющийся зоопарк подходов, методов, перспектив и практик глубокого обучения. КАЖДУЮ НЕДЕЛЮ на arXiv, PapersWithCode, DataElixir или TwoMinutePapers я часто реагирую ДЕЙСТВИТЕЛЬНО! … Или УДИВИТЕЛЬНО!

В опросе вы увидите новые термины для этого зоопарка, такие как трансферное обучение, обучение с подкреплением, генеративное состязательное обучение и т. Д. Одна из частей этого зоопарка - это категория под названием метаобучение, которая обозначает алгоритм, который изучает, как он учится, и как улучшить его. Это похоже на роль человеческого наставника, который направляет и побуждает ученика учиться больше и лучше.

См. Выше рис. 1–17, посвященный технологиям искусственного интеллекта по стадиям зрелости. Обратите внимание, что компании с зрелой практикой в ​​3 раза используют трансферное обучение по сравнению с компаниями, находящимися на стадии оценки. Лорика и Натан комментируют…

Трансферное обучение предоставляет интересный нюанс, учитывая, что
его использование в производстве требует более опытных специалистов-практиков. Мы
видим, что зрелые практики, использующие трансфертное обучение, почти в три
раза чаще, чем компании, находящиеся на стадии оценки. В приложениях
есть ценность трансферного обучения, хотя эти [ценности], возможно, не так очевидны
для непосвященных. [4]

Пока компании не исследуют более высокие уровни зрелости ИИ, они не знают того, чего они не знают, и могут извлечь пользу.

В другом месте Лорика и Натан замечают обучение с подкреплением…

Респонденты, которые уже используют обучение с подкреплением, начинают
создавать системы искусственного интеллекта в некоторых областях
обучения с подкреплением, которые мы перечислили в 2017 году: обслуживание клиентов;
операции, оборудование и управление парком транспортных средств; финансы; и маркетинг,
реклама и PR. [4]

Наконец, неконтролируемое глубокое обучение - это ГОРЯЧАЯ область исследований с автокодировщиками, многомерными пространствами встраивания и тому подобным. Многие четкие отличия от машинного обучения становятся нечеткими, например, значение наборов данных для обучения / тестирования. Следовательно, принять этот еще один сдвиг парадигмы будет непросто!

Вывод: оптимизация для бизнес-показателей - ДА

Неотъемлемой частью изменения культуры для успешных систем искусственного интеллекта является умение правильно определять бизнес-сценарии использования для глубокого обучения на основе показателей, нацеленных на конкретные бизнес-цели. Этот навык требует переосмысления основных парадигм, большого воображения и хорошей деловой смекалки. Отсутствие этого навыка во всех функциях (специалисты по обработке данных, инженерия данных, специалисты по DevOp, руководители бизнес-подразделений и т. Д.) Является серьезным препятствием.

На рисунке ниже самый большой разрыв в навыках (57%) связан с очевидной потребностью в «разработчиках моделей машинного обучения и исследователях данных». Однако почти половина (47%) указывает на потребность в людях, которые могут «понимать и поддерживать набор бизнес-сценариев использования».

Натан особо отмечает…

Проверенных рецептов для «управления продуктами для искусственного интеллекта» пока не хватает, и потребуется время, чтобы нарастить этот опыт на организационном уровне. [1]

Вывод: не только о бизнес-показателях

Еще один освежающий аспект - акцент на показателях, относящихся не только к бизнесу. Каждая организация существует в большом обществе, которому она должна способствовать, а не только принимать. Следовательно, признание респондентами важности «прозрачности, интерпретируемости, справедливости, предвзятости, этики, конфиденциальности, безопасности, надежности и соответствия» было поразительным.

На рисунке ниже перечислены вопросы из опроса, разделенные по степени зрелости принятия ИИ.

Обратите внимание, что по мере того, как компания становится более зрелой в использовании искусственного интеллекта, их озабоченность этими проблемами возрастает. Я обнаружил, что среди профессионалов в области науки о данных растет консенсус в отношении того, что эти проблемы представляют собой реальный риск для их компании и будут определять долгосрочный успех применения технологии искусственного интеллекта. Чтобы это стало реальностью, предстоит проделать тяжелую техническую работу. Думайте об этом, как о том, как установить механизмы безопасности на ядерные бомбы, которые вы производите. Это заставляет вас прийти в правильное настроение!

Вывод: еще одно

Ближе к концу блога Пакоида есть параграф, который начинается со слов «еще кое-что», как будто Натан делает паузу, размышляет и разделяет последнюю глубокую озабоченность ...

Я все время слышу проповедь о том, что между специалистами по обработке данных и инженерами надвигается разрыв. Вместо этого надвигающийся разрыв, о котором вам нужно не ложиться спать допоздна, беспокоиться, связан с разрывом между инженерным развертыванием машинного обучения и последней милей бизнес-вариантов использования. Spark, Kafka, TensorFlow, Snowflake и т.д. там вас не спасут. AutoML не спасет вас от этого. Это тот момент, когда модели деградируют после того, как подвергаются действию данных о клиентах, и где требуется значительный статистический опыт, чтобы ответить даже на простой вопрос Почему? вопрос от заинтересованных сторон. Это момент, когда большая поверхность атак подвергается атакам безопасности в отношении входных данных - с почти невообразимыми в настоящее время масштабами последствий. Именно здесь возникают сложные проблемы этики и соблюдения, которые заставляют раздражаться регуляторов. Это деловые вопросы. Прекратите раздувать команды инженеров данных как панацею, когда в конечном итоге проблемы бизнеса - это то, что доставит вашей организации больше всего проблем. У нас еще недостаточно лет для внедрения ИИ на предприятиях, чтобы тематические исследования по этим вопросам стали стандартными лекциями HBS, но они будут. Скоро. [1]

Этот абзац мне очень понравился! Я могу ясно представить себе, как крупная компания с энтузиазмом запускает инновационную систему искусственного интеллекта для решения серьезной бизнес-проблемы, только чтобы рухнуть и сгореть в реальности, описанной в предыдущем абзаце.

Мыслить новые парадигмы и новые ценности

Один из полезных способов понять вышеперечисленные выводы - это осознать, что МЫ ВСЕ должны иначе думать об основных парадигмах и ценностях, которые привели к технологическому прогрессу корпоративных систем за последние десятилетия. Это непросто! Потому что…

Это новый взгляд на информацию и на то, как эффективно использовать информацию для улучшения бизнес-процессов. Уже недостаточно только генерировать аналитические данные для менеджеров, что сегодня угрожает большей части существующей инфраструктуры Business Intelligence. Понимание не должно томиться на заседаниях комитетов, а должно быть немедленно преобразовано в руководство для проведения сегодняшних деловых операций.

Это новый способ мышления о программном обеспечении, которое сегодня, по сути, представляет собой произведения искусства талантливых программистов… как картины в музее, изображающие резкие элементы статической логики. Мир не статичен. Каждая часть статической логики устаревает с того дня, как попадает в производство, требуя постоянных взломов и исправлений для отслеживания каждого меняющегося мира. Сегодняшнее программное обеспечение не может отслеживать эти ежечасные зигзаги мира.

Это новый взгляд на обучение, который сегодня ограничивается интеграцией данных информационной экосистемы организации, что отражено в архитектурах хранилища данных + озера данных. Эта парадигма должна перейти к моделям управления, которые обобщают эти данные в постоянный процесс обучения. Программное обеспечение должно отслеживать каждый зигзаг мира, постоянно развивая логику этих моделей. Итак, та система искусственного интеллекта, которую вы установили на прошлой неделе, теперь ведет себя совершенно иначе в поведении на этой неделе. Сможете ли вы справиться с этим?

Это новый взгляд на человеческий интеллект и его роль в управлении организацией. Становится все легче думать, что замена человеческого интеллекта искусственным интеллектом более рентабельна, следовательно, это, естественно, ведет к сокращению рабочих мест. Следует смириться с таким исходом и открыть для себя новое призвание. Становится все труднее думать, что расширение человеческого интеллекта с помощью искусственного интеллекта (например, человека в цикле) дает уникальные преимущества, которые следует интегрировать в системы искусственного интеллекта. Это кажется все более сложной задачей без очевидных выгод для организации. Итак, это конечный результат для человеческого интеллекта в будущем обществе?

К сожалению, многие организации никогда не смогут трансформировать свою культуру, теряя тем самым свое конкурентное преимущество - цель существования бизнеса - и терпя затяжную кончину.

Это не обязательно! Как ИТ-профессионалы, мы живем в интересное время. Кашель! С ростом доступности технологий искусственного интеллекта у нас открываются захватывающие благоприятные возможности для трансформации бизнеса во всем мире способами, которые сейчас невозможно представить. Есть надежда, что мы, как общество, поступаем так во благо всех. Однако печальная реальность такова ... Если мы ленивы, эгоистичны или даже злонамеренны, те же самые возможности доступны для неправильного использования.

Plug для BizSmartAnalytics

Я хотел бы сотрудничать с другими, кого беспокоят вышеупомянутые проблемы. Сначала поделитесь своими мыслями в комментариях ниже. Во-вторых, поделитесь своими отзывами о связанных статьях, перечисленных на BizSmartAnalytics.com. В-третьих, поддержите Patreon в качестве наставника группы ИТ-специалистов, занимающихся системами ИИ, на странице https://www.patreon.com/BizSmartAnalytics.

Совет Лону Рисбергу, редактору Data Elixir, который я рекомендую. Каждую неделю я нахожу по крайней мере один или два отличных ресурса об этой стремительно развивающейся области науки о данных. И именно здесь я обнаружил блог Pacoid. Подпишитесь бесплатно на https://DataElixir.com /.

использованная литература

[1] Натан, Пако. Темы и конференции на Pacoid, эпизод 7. Блог по науке о данных, Domino Data Lab. 3 марта 2019 г.
https://blog.dominodatalab.com/themes-and-conferences-per-pacoid-episode-7/

[2] Лорика и Натан. Состояние внедрения машинного обучения на предприятии. Август 2018 г.
https://www.oreilly.com/data/free/state-of-machine-learning-adoption-in -the-enterprise.csp (требуется бесплатная регистрация без блокировки рекламы)

[3] Лорика и Натан. Развитие инфраструктуры данных: инструменты и передовые методы для расширенной аналитики и искусственного интеллекта. Январь 2019 г.
https://www.oreilly.com/data/free/evolving-data-infrastructure.csp (Требуется бесплатная регистрация без блокировки рекламы)

[4] Лорика и Натан. Принятие ИИ на предприятии: как компании на практике планируют и определяют приоритеты проектов ИИ. Февраль 2019 г.
https://www.oreilly.com/data/free/ai-adoption- in-the-enterprise.csp (требуется бесплатная регистрация без блокировки рекламы)

[5] Лорика. Три перспективных направления развития навыков искусственного интеллекта. Август 2018.
https://www.oreilly.com/ideas/3-promising-areas-for-ai-skills-development

[6] Лорика и Лукидес. Как компании используют ИИ с помощью глубокого обучения. Апрель 2018.
https://www.oreilly.com/data/free/how-companies-are-putting-aI-to-work-through-deep-learning.csp