ИИ может сокрушить мошенничество и трансформировать торговлю, но лучше дать ему правильные ограждения, чтобы он не сошел с рельсов

Искусственный интеллект имеет долгую историю в сфере финансов и банковского дела.

Когда дело доходит до обнаружения мошенничества, в крупных финансовых домах были специалисты по данным до того, как их стали называть аналитиками данных. Задолго до того, как кто-либо услышал слово «глубокое обучение», экспертные системы, основанные на правилах, часто составляли основу систем обнаружения мошенничества и торговли.

Сегодня, когда искусственный интеллект и машинное обучение (ML) становятся все более и более продвинутыми, он готов прорваться в другие области финансовой индустрии, такие как обслуживание клиентов, обработка кредитов, анализ рисков, распределение портфелей, роботы-консультанты и многое другое.

Но внедрение машинного обучения в ваш бизнес требует глубокого переосмысления по нескольким направлениям. Недостаточно перенести старый рабочий процесс MATLAB, который использовали ваши статистики. Чтобы действительно создавать и запускать модели машинного обучения в масштабе финансовых услуг, вам понадобится прочный фундамент. Вам понадобится технологический стек, который будет расти вместе с вашей командой, а существующая среда DevOps не будет перенесена на машинное обучение. В машинном обучении слишком много шагов, которые отличаются от традиционного кодирования, таких как обучение и эксперименты.

Это работа Альянса инфраструктуры искусственного интеллекта, который объединил более 45 компаний для создания всеобъемлющего и глубоко взаимодействующего стека, который будет обеспечивать ваше машинное обучение сегодня и завтра.

Но даже этого недостаточно. Вам понадобится больше, чем просто программное обеспечение. Вам тоже понадобятся люди.

Несмотря на все обещания машинного обучения по обеспечению более гибкого реагирования на меняющиеся потребности клиентов, борьбы с мошенничеством и адаптации к быстро меняющимся рынкам, машинное обучение все еще находится в зачаточном состоянии. Он может быть сверхчеловеческим, а затем совершить ошибку, которую не совершил бы даже ребенок. Вот почему ваши системы нуждаются в постоянном участии человека.

Создание комплексной системы человек в петле - это то, что мы называем AI Red Team. Это команда быстрого реагирования, когда что-то идет не так, и они всегда ищут мух в бочке меда с вашими алгоритмами, чтобы остановить проблемы до того, как они начнутся.

Давайте посмотрим, где был ИИ в финансовых компаниях и куда он идет, а затем погрузимся в создание современного стека AI / ML и команды AI Red, чтобы убедиться, что ваши конвейеры работают быстро, гибко и безопасно.

Сокрушительное мошенничество

Мошенничество повсюду продолжает отнимать прибыль банков и финансовых учреждений. Где деньги, там и преступление.

В 2019 году финансовые компании потеряли 28,65 миллиарда долларов из-за мошенничества, что составляет 6,8 цента на каждые 100 долларов от общего объема. Это больше, чем годом ранее 27 миллиардов убытков. Ожидается, что к 2025 году он вырастет до 35 миллиардов.

Закодированные вручную логические правила по-прежнему составляют основу систем защиты от мошенничества. Это правила, которые борцы с мошенничеством кодифицируют в алгоритмическую мудрость на основе своего опыта. Они работают, но со временем становятся очень хрупкими. Они не адаптируются к меняющимся угрозам.

Если вы установите для атаки порог в 500 долларов, злоумышленники все чаще находят способы совершить мошенничество ниже этого уровня, например кражу тысяч кредитных карт и выполнение более мелких транзакций по всем из них. Если вы переместите порог до 100 долларов, вы получите слишком много ложных срабатываний. Подобно тому, как правила, созданные вручную, не смогли остановить поток спама в 1990-х годах, сообразительные финансовые преступники находят способы нарушить правила и ускользнуть в ночь с большими деньгами.

По мере того как все больше и больше наших транзакций переводятся в онлайн, ситуация становится только хуже, а злоумышленники становятся все более изощренными. Эра вооруженных людей в лыжных масках подходит к концу. Вооруженное ограбление банков продолжает сокращаться.

Сегодняшняя банковская работа - цифровая.

Скиммеры помещают устройство для чтения карт и камеру в банкомат, захватывают карту, клонируют ее, и обычные люди, такие как вы и я, просыпаются и обнаруживают, что наши счета опустошены, а мы даже не знаем почему.

Зачем рисковать перестрелкой, если можно заставить банкоматы выплевывать наличные, даже не касаясь их?

Так происходило годами, когда банда Carbanak поражала банкоматы по всему миру. Они взломали банки, заставили банкоматы извергать наличные. Все, что им нужно было сделать, чтобы собрать деньги, - это послать нескольких парней с сумками и масками, чтобы забрать их. Лидер банды Carbanak находится под стражей, но его вредоносная программа продолжает жить, а 1,2 миллиарда долларов по-прежнему пропали. Вредоносная программа Carbanak все еще жива и здорова, трансформируется в дикой природе в темной сети и продается по самой высокой цене.

Но это не обязательно должны быть высокотехнологичные атаки, которые проходят через традиционные системы финансовых учреждений, основанные на правилах. Кража личных данных, кредитные карты, которые продаются миллионами в даркнете, и мелкие кражи затмевают более изощренные атаки, такие как Carbanak, которые привлекали собак в Интерполе. Именно эти преступления в основном остаются незамеченными и остаются незамеченными. Мелкий преступник, крадущий 50 кредитных карт и покупающий бензин и газировку в Local 7'11, не вызывает международного расследования, но пострадают маленькие люди, и финансовое учреждение обычно просто съедает убытки.

Торговля на грани

Алгоритмическая торговля распространилась на финансовые рынки в 1980-х годах с появлением персональных компьютеров. До этого вся торговля была дискреционной. По данным исследовательской компании Mordor Intelligence, в 2020 году на алгоритмическую торговлю приходилось около 60–73% от общего объема торговли акциями США.

Всего за 40 лет алгоритмическая торговля перешла с нуля на большую часть рынка.

Хотя в игру вошли более мелкие трейдеры и программисты, в торговле по-прежнему доминируют крупные хедж-фонды, инвестиционные банки и собственные торговые фирмы. У них есть размер, масштабы и желание создавать собственное собственное программное обеспечение для торговли с помощью специализированных аналитических групп, центров обработки данных и персонала.

Ранние торговые системы были в основном «экспертными системами», иначе говоря, человеческими знаниями, закодированными в правилах. Опытные трейдеры помогли программистам превратить мудрость своего трейдера в эвристику. Но, как и обнаружение мошенничества с ручным кодированием, эти системы со временем могут столкнуться с проблемами. Они не всегда адаптируются к событиям, связанным с черным лебедем, таким как COVID или изменениям в динамике рынка. Хуже того, механическая система может работать годами, а затем выходить из строя по причинам, которые не могут быть понятны позже.

Вот что случилось с Knight Capital в 2012 году, ведущим игроком на финансовых рынках:

«Knight первоначально получила 212 небольших заказов от розничных клиентов, а затем по ошибке перенаправила тысячи заказов в секунду на рынок NYSE в течение 45 минут; он провел более 4 миллионов сделок по 154 акциям на общую сумму более 397 миллионов акций и принял чистую длинную позицию по 80 акциям на сумму примерно 3,5 миллиарда долларов, а также чистую короткую позицию по 74 акциям на сумму примерно 3,15 миллиарда долларов. Knight потеряла более 460 миллионов долларов на этих нежелательных позициях, а к следующему дню цена ее собственных акций упала на 75% ».

Есть и другие примеры: сбой торговой системы поразил Марстена Паркера, одного из легендарных трейдеров, о которых рассказывается в последней книге Market Wizards. Одна из его систем проработала 7 лет, а потом начала катастрофически выходить из строя. Это было никогда снова, и ему пришлось сменить систему. Это был 2013 год, и он заметил, что его короткие сделки ужасно приносят прибыль. Оглядываясь назад, он понял:

«Это был период, когда люди ввели термин BTFD (покупать гребаный провал). Произошло то, что те же сигналы, которые использовались для моих коротких сделок, стали популярными сигналами на покупку ».

Если традиционные системы мошенничества и торговли нас подвели, что даст финансовым домам необходимое преимущество для борьбы с мошенничеством и более быстрой адаптации к рынкам?

Машинное обучение.

Алгоритмы машинного обучения (ML) отличаются от эвристики с ручным кодированием. В ML алгоритмы изучают свои собственные правила. Они изучают глубокие закономерности, обнаруженные в данных.

Старые подходы к машинному обучению, такие как машины опорных векторов (SVM), дерево решений (DT) и логистическая регрессия (LR), уже используются в системах обнаружения мошенничества с кредитными картами. Но они не годятся для больших наборов данных и не очень адаптируемы. Все чаще они уступают место современным достижениям в области машинного обучения, таким как долгосрочная краткосрочная память (LSTM), сверточные нейронные сети (CNN) и трансформаторы, которые учатся на гораздо более крупных наборах данных и становятся все более адаптируемыми к меняющимся угрозам. ML - это естественная эволюция выявления мошенничества.

Это также естественная эволюция алгоритмической торговли. Машинное обучение может сделать торговые системы более гибкими и адаптируемыми к меняющейся рыночной динамике и условиям, особенно если системы постоянно обучаются.

Как писала Айви Шмеркен для FinExtra:

«Машинное обучение ... [] следующий шаг алгоритмической торговли, потому что машинное обучение выявляет закономерности и поведение в исторических данных и учится на них», - сказал Роберт Хегарти, управляющий партнер Hegarty Group, консалтинговой компании, специализирующейся на финансовых услугах, технологиях, данных, и искусственный интеллект / машинное обучение. Хотя традиционные алгоритмы создаются программистами и количественными стратегами, эти алгоритмы, основанные на правилах «если / то», не обучаются сами по себе; они нуждаются в обновлении. «С машинным обучением вы переключаете его на машину, чтобы изучать лучшие торговые модели и автоматически обновлять алгоритмы без вмешательства человека», - сказал Хегарти. "Это большой дифференциал".

ИИ уже здесь

Машинное обучение приходит не только в финансовые дома, оно уже здесь.

По версии Forbes:

  1. «70% всех компаний, оказывающих финансовые услуги, используют машинное обучение для прогнозирования денежных потоков, точной настройки кредитных рейтингов и обнаружения мошенничества, согласно недавнему опросу Deloitte Insights.
  2. Согласно последнему исследованию внедрения Economist Intelligence Unit, 54% финансовых организаций с более чем 5000 сотрудников приняли ИИ ».

По мере того, как финансовые компании привыкают к машинному обучению в своих самых продвинутых отделах, они начнут адаптировать его в других областях, чтобы иметь дело с огромным сокровищем структурированных и неструктурированных данных, попадающих в их озера данных.

Будь то попытка дать клиентам лучшие ответы, когда они звонят с вопросами, или быстрое выяснение, подходит ли кто-то для получения кредита, машинное обучение проникает во все аспекты финансового предприятия. Он также произведет революцию в тех сферах, в которых он уже доминирует, - в торговле и мошенничестве.

Однако все это не обходится без риска. Системы баз правил по крайней мере легче понять. Люди могут проверять и интерпретировать составленные вручную правила, но с машинным обучением системы становятся более непрозрачными, и мы не всегда знаем, почему машина приняла это решение.

Хуже того, когда правительства предпринимают первые шаги по регулированию, из ранних проектов законопроектов в ЕС ясно, что регулирующие органы не полностью понимают, как работают модели машинного обучения, и они разработали расплывчато сформулированные законопроекты, которые будут открыты для интерпретации и создают дополнительную сложность соответствия.

Значит ли это, что отделы торговли и борьбы с мошенничеством не должны активно переходить на машинное обучение? Абсолютно нет, но это означает, что они должны перейти к ИИ с четким видением и пониманием того, как снизить эти риски.

Управление рисками машинного обучения сегодня и завтра

Машинное обучение открывает огромные перспективы для финансового мира. Но по мере того, как машинное обучение проникает во все больше и больше аспектов ландшафта финансовых услуг, оно несет с собой повышенные риски и неопределенность. Есть четыре способа снизить эти риски:

  1. Управление данными - контроль, кто и к каким данным имеет доступ.
  2. Происхождение данных / управление версиями данных - отслеживание изменений и зависимостей между наборами данных по мере их прохождения через ваши системы.
  3. Масштабируемые платформы - динамическое взаимодействие лучших в своем классе инструментов для машинного обучения с чистыми абстракциями и API.
  4. AI Red Teams - группа контроля качества, тестирования и быстрого реагирования для вашей производственной практики машинного обучения.

Единственное преимущество финансовых компаний перед злоумышленниками - это огромная сокровищница данных. Как новаторский эксперт в области ИИ, Эндрю Нг сказал: Данные - это пища для ИИ. Ключ в том, чтобы использовать эти данные с умом.

Обеспечение чистых, тщательно отобранных источников данных - ключ к успешному поведению моделей машинного обучения. Знание того, откуда пришли эти данные, кто их коснулся и почему, дает вам четкий путь к отслеживанию проблем. Без этого вы можете обнаружить, что простая ошибка в ваших данных, такая как искаженный день или неделя торговых сигналов, может привести к тому, что ваша модель узнает что-то совершенно неправильное о мире. Чтобы отследить это, вы должны уметь вернуться в прошлое и понять, что и когда произошло.

Короче говоря, управление данными - это политика и процедуры. Разработайте хороший метод, чтобы узнать, откуда берутся ваши данные и как они туда попали. Как пишет Tech Target:

«Управление данными (DG) - это процесс управления доступностью, удобством использования, целостностью и безопасностью данных в корпоративных системах на основе внутренних стандартов и политик данных, которые также контролируют использование данных. Эффективное управление данными гарантирует, что данные непротиворечивы и заслуживают доверия ».

Машина времени данных

Помимо управления данными, вам нужны данные о происхождении и управлении версиями. Управление версиями данных - это создание моментальных снимков данных в определенные моменты времени, а происхождение данных - это отслеживание того, как эти данные меняются с течением времени.

Управление версиями данных существует уже много лет с файловыми системами, такими как ZFS, но люди были ограничены их локальным физическим хранилищем. Вы могли сделать только так много снимков, и у вас не было большого контекста того, что было на этих снимках. Теперь облачные провайдеры, такие как AWS, Azure и GCP, фактически предоставили нам бесконечное хранилище объектов. Платформа машинного обучения, такая как Pachyderm, использует файловую систему копирования при записи поверх этого объектного хранилища, чтобы сохранять постоянные снимки каждого изменения ваших данных с практически бесконечным количеством снимков.

Копирование при записи не необязательно.

Возможно, вы слышали о хранилищах метаданных, но их ждет катастрофа, поскольку неизменяемость их поддерживает. Без файловой системы копирования при записи эти метаданные могут указывать на состояние ваших данных, которое больше не существует.

Если у вас есть 50000 неструктурированных файлов размером 10 КБ в каталоге, закодированных с помощью Word2Vec, и вы проводите с ними 50 экспериментов, а затем кто-то приходит и перекодирует их как Glove и перезаписывает исходные файлы, все эти 50 экспериментов теперь бесполезны, потому что вы не можете их воссоздать.

Снимков тоже недостаточно. Это похоже на резервную копию этих данных, но вы не обязательно знаете, что в ней. Вам нужен контекст. Это линия передачи данных, которая обеспечивает контекст с Git-подобными коммитами для отслеживания каждого шага данных, поскольку они меняются одновременно с моделями и кодом. Теперь вы можете перемещаться вперед и назад с помощью своей машины времени линии передачи данных, чтобы точно определить, когда данные были повреждены или когда что-то изменилось таким образом, что нарушила вашу модель.

В сочетании со своей стратегией управления данными вы можете провести глубокую экспертизу, чтобы быстро разобраться в том, что пошло не так. Это дает вам преимущество в области аудита и соблюдения нормативных требований, которые быстро приходят в мир ИИ. Это дает вам возможность воссоздать любой шаг в конвейере и при необходимости перестроить модель. Наконец, он позволяет исправлять такие ошибки, как неверно маркированные данные, а также поврежденные или отсутствующие данные.

Масштабируемость и канонический стек

Помимо этого, вам нужна масштабируемость и технологический стек, который масштабируется вместе с вашей командой. Слишком часто организации привлекают специалистов по обработке данных и ожидают, что они раскрутят свои собственные инструменты. В конечном итоге они работают на своем ноутбуке с блокнотом Jupyter, некоторыми Python и Pytorch и ожидают, что это будет масштабироваться для поддержки целой команды специалистов по данным.

AI Infrastructure Alliance стремится обеспечить бесперебойную совместную работу разнообразного набора узкоспециализированных инструментов. Прямо сейчас мы наблюдаем кембрийский взрыв новой энергии в области ИИ, и в ближайшие несколько лет мы увидим появление стека LAMP для ИИ, типичного набора инструментов, который упрощает создание сложных алгоритмов на и доставлять их от данных к решениям.

Если все они загружают терабайты данных на свои ноутбуки и эти данные теряют синхронизацию, у вас неисправная система, которая не может масштабироваться, чтобы обеспечить необходимое преимущество для сокращения расходов и увеличения доходов. Если ваш стек не работает для команды, состоящей из десятков или сотен специалистов по обработке данных и инженеров, работающих вместе, он не продержится долго.

Ваш стек AI / ML должен подключаться к существующему контролю доступа на основе ролей и сплетать вместе сложный набор инструментов, каждый из которых выполняет разные части рабочего процесса машинного обучения. Он должен переносить алгоритмы от концепции к производству, и вашим специалистам по данным не обязательно быть ИТ-инженерами, которые пишут собственный ETL и строят свои собственные сложные архитектуры. Это позволяет специалистам по обработке данных сосредоточиться на ИИ, а не на ИТ.

AI Red Team

Думайте о AI Red Team как о версии машинного обучения красной команды сетевой безопасности.

Идея красной команды стара, как XI век, когда Ватикан назначил адвоката дьявола, задача которого заключалась в дискредитации кандидатов в святые. Сегодня компании используют красные команды для всего: от моделирования мышления конкурирующих компаний до стратегий стресс-тестирования и защиты своих сетей от угроз безопасности.

Работа AI Red Team - продумать все, что может пойти не так с моделями AI. Они отвечают за Закон Мерфи для машинного обучения. У него три основных должности:

  1. Краткосрочные проблемы сортировки
  2. Найдите решения для долгосрочных проблем, таких как дрейф и скрытая предвзятость
  3. Создавайте модульные тесты и разрабатывайте сквозные конвейеры машинного обучения, которые гарантируют, что каждая модель проходит эти тесты на пути к производству.

Инвестирование в AI Red Team сейчас, прежде чем вам придется отвечать на вопросы регулирующих органов о том, почему ваш алгоритм обработки ссуд не относится к защищенной группе, будет означать, что вы готовы ответить на эти вопросы твердым и четким голосом.

Обеспечение финансовых центров завтрашнего дня

Сегодня машинное обучение может все чаще разрабатывать собственные правила, которые намного более гибкие, чем традиционные экспертные системы. Вместо того, чтобы следовать набору логики, разработанной человеком, системы машинного обучения пишут свои собственные правила, изучая гораздо более широкий спектр точек данных, моделей поведения и информации об учетной записи, чтобы выявить мошенничество в шуме повседневных финансовых транзакций.

Так же, как байесовские фильтры помогали подавлять спам в 2000-х годах, машинное обучение может обнаруживать более сложные схемы мошенничества по мере их возникновения. Торговые системы станут более адаптируемыми и гибкими, смогут бороться с черными лебедями, такими как COVID, и будут действовать для защиты благосостояния людей. Это также поможет финансовым домам ответить на 70% вопросов, прежде чем клиенту понадобится поговорить с кем-нибудь по телефону.

Все эти обещания и потенциал невероятно соблазнительны, и их легко сначала зарядить, не понимая четко всех рисков. Если финансовые команды не вкладывают средства в правильные инструменты и людей с самого начала, машинное обучение может оказаться опасным миражом. Они рискуют попасть в ловушку регулирующих органов или разъяренной толпы в Твиттере, когда их модели идут наперекосяк. Либо это, либо они рискуют системой, которая тает под давлением, или делает странные вещи, которых они никогда не ожидали.

Но если финансовые дома инвестируют в управление, управление версиями / происхождением данных, надежный технологический стек и сразу же сформируют сильную команду AI Red Team, у них будет прочный фундамент, чтобы использовать всю мощь и потенциал машинного обучения сегодня и завтра.

###########################################

Я автор, инженер, про-блоггер, подкастер, публичный спикер и главный технический евангелист в Pachyderm, передовой платформе передачи данных и конвейера искусственного интеллекта. Я также являюсь управляющим директором быстрорастущего AI Infrastructure Alliance, который помогает сделать канонический стек для машинного обучения реальностью.