Укрепление доверия к выводам ML

Абстрактный

На командах машинного обучения Workday лежит огромная ответственность за разработку надежных систем искусственного интеллекта и машинного обучения. Создание еще более надежных выводов ML — это путь либо к повышению ценности наших продуктов (т. е. повышению доверия к результатам), либо к участию в диалоге с клиентами. В этой статье мы исследуем динамику доверия между поставщиком услуг (Workday/Trustor) и пользователями услуг (клиентами/доверенными лицами). Доверительные лица должны быть доверяющими и заслуживающими доверия, тогда как доверенные лица не обязательно должны быть ни доверяющими, ни заслуживающими доверия. Задача доверителей состоит в том, чтобы предоставить услуги, которые достаточно хороши, чтобы заставить доверительного управляющего повысить уровень доверия выше минимального порога для: 1- ведения совместного бизнеса; 2- продолжение службы.

Введение

Парадигма, рассматриваемая в этой статье, предполагает, что доверие строится за счет первоначального альтруистического действия доверителя, сигнализирующего о том, что актор заслуживает доверия. Говоря более конкретно, альтруистическим поступком Workday было бы инвестирование в создание продукта и предложение его клиентам с обещанием, что он принесет им пользу; большую ценность, чем то, что выплачивается в обмен на услугу. Доверитель решает, сколько инвестировать, а доверительный управляющий решает, отвечать ли взаимностью и обеспечивать непрерывность деловых отношений.

Цель состоит в том, чтобы вызвать у них [клиентов] доверие (выше минимального порога T) для участия в игре на доверие [1]. Эти игры представляют собой расширения, основанные на теории игр [2]. Более того, доверие имеет временной элемент. После создания нет никаких гарантий, что будет продолжение; следовательно, это обширная форма взаимодействий, при которой оба актора сотрудничают и наблюдают друг за другом, реагируя друг на друга на исторические действия.

Доверительные игры

Движение игры на доверие разворачивается вокруг двух действующих лиц: доверителя (Workday) и доверенного лица (клиент Workday). У доверителя есть ценная услуга V, которую он может предложить доверительному управляющему. Ценность, о которой идет речь, — это качественные выводы машинного обучения. Машинное обучение реализовано как программная услуга, и по своей природе программное обеспечение может быть реплицировано любому количеству n клиентов без физических ограничений, таким образом, V может предлагаться независимо и одновременно. всем клиентам.

Обратите внимание, что природа параллелизма позволяет независимым участникам (доверенным лицам) наблюдать и реагировать на действия других участников.

Значение V выводов ML может быть использовано доверенным лицом лишь частично. Ограниченное, порционное потребление может быть вызвано множеством причин, включая, помимо прочего: право/возможность использовать все функции (т. е. удовлетворяет всем требованиям), уровни подписки на услуги, пользователи, которые еще не прошли обучение, и так далее.

Чтобы учесть такие сценарии, доверитель может передать все значение V или меньшую его часть p, где {p ∈ ℝ | 0 ≤ p ≤ 1}.

Первоначальный денежный перевод, отправленный доверенным лицом u, составляет:

В зависимости от качества результатов, полученных доверителем, восприятие ценности доверительными управляющими может увеличиваться или уменьшаться на коэффициент K, где {K ∈ ℝ}. Для K › 1 это означает, что доверитель повысил эффективность операций доверительного управляющего (они работают лучше, чем действуют самостоятельно). При K = 1 доверенное лицо работает примерно с одинаковой эффективностью, а при K ‹ 1 (возможны также отрицательные значения) доверенное лицо менее эффективно, чем до того, как оно начало использовать обслуживание.

Первоначальная предполагаемая выгода G, полученная доверенным лицом v, составляет:

Доверенное лицо волен ответить взаимностью или нет. В течение пробного периода они могут отказаться от дальнейшего обслуживания. Даже если у них есть контракт, они могут отказаться от продления. С другой стороны, если предположить, что ценность, полученная от выводов ОД, повысила их эффективность, стимулом является продолжение взаимодействия. В любом случае доверительный управляющий вернет часть q полученной прибыли, где {q ∈ ℝ | 0 ≤ q ‹ 1}. Возвращаемая стоимость может принимать форму денежной оплаты за услугу, фокус-группы, интервью, отзывов об удобстве использования, маркировки транзакций или их комбинации. Таким образом, выплата B, ожидаемая доверителем u, составит:

Можно было бы предложить ввести повышающий коэффициент при погашении долга от доверительного управляющего v. Однако в рамках данной статьи это не является необходимым, поскольку доверительные управляющие не обязательно должны быть заслуживающими доверия; Доверитель u не оценивает, доверять им или нет.

На рис. 1 показан ход начального шага в этой игре на доверие. Сегмент синей линии представляет собой диапазон возможных ценностей, предоставляемых доверительному управляющему, большой синий круг — это коэффициент увеличения, применяемый к доставленной стоимости, а оранжевый сегмент представляет диапазон возможных ценностей, которые доверительный управляющий отвечает взаимностью доверительному управляющему.

Что касается коэффициента увеличения, то для случаев, когда K › 1, значение, полученное обратно доверенным лицом u, является положительным и обеспечивает необходимые условия для расширенной формы игры на доверие ( долгосрочное сотрудничество). Это становится убедительным индикатором того, что доверие доверенного лица v к доверенному лицу u равно или превышает минимальный порог T, где {T ∈ ℝ | 0 ≤ T ≤ 1}.

Когда 0 ≤ K ‹ 1, служба вызывает у доверенного лица некоторую форму сбоя (в том смысле, что эффективность упала ниже уровня, существовавшего до использования службы). Это было бы приемлемо на этапе разработки продукта, когда доверительный управляющий принимает участие в программе бета-тестирования. В такой ситуации доверительный управляющий видит выгоду от участия, предполагая будущую ценность внедрения услуги и возможность получить выгоду на раннем этапе.

Наихудший сценарий наступает, когда K ‹ 0. Это может привести к быстрому снижению доверия к доверителям, оттоку клиентов и другим негативным последствиям.

Количественная оценка доверия

Целью этой доверительной игры является создание условий, необходимых для непрерывного и повторяющегося взаимодействия между доверителем и доверительным управляющим, которое происходит в течение длительных периодов времени, без определенного временного верхнего предела.

После первоначального перевода Ru (eq. 1) на стороне доверительного управляющего может остаться остаточная стоимость r, которой доверительный управляющий не воспользовался. . Например, возможно, не все функции продукта используются, вывод происходит в пакетном режиме, а данные еще не отправлены через конвейер, или по какой-либо другой причине. Эта остаточная стоимость — это то, что осталось от V:

Накопленное значение A для доверенного лица u после завершения первого цикла представляет собой остаточную стоимость ru (уравнение 4) плюс погашение Bu (eq. 3), полученное от доверительного управляющего:

Со стороны доверительного управляющего они получат значение Gv (eq. 2) и вернут часть его q. Чистая прибыль N для доверенного лица v в конце первого цикла равна:

Обобщая выигрыши доверителя и доверительного управляющего за n циклов игры на доверие, мы имеем уравнения для доверителя:

и попечитель:

Цель состоит в том, чтобы максимизировать выгоду для доверительного управляющего и доверителя, создавая регион, где обмен ценностями считается справедливой торговлей. Таким образом, доверие должно быть оплачено [3] (т. е. q › 0). Учредитель получает выгоду от эффекта масштаба за счет совокупности выплат от всех доверительных собственников.

Порог

Чтобы доверительный управляющий повысил свою надежность (Wu) в глазах доверительного управляющего, прибыль, предоставляемая услугой, должна быть выше, чем если бы доверительный управляющий действовал самостоятельно. Такому условию удовлетворяет следующая система неравенств:

Это происходит, когда стоимость денежного перевода Ru равна или превышает пороговое значение T (отправленная сумма как минимум равна воспринимаемой полученной стоимости), а увеличение коэффициент K больше или равен единице.

Будучи системой неравенств, денежный перевод также может быть ниже (pV ‹ T ), если коэффициент увеличения достаточно велик (K ≫ 1) восполнить нехватку. Хотя возможно, это будет редкостью.

Моделирование экспериментов

Ниже приведена серия из четырех экспериментов, которые моделируют сценарии от укрепления до подрыва доверия в результате качества выводов ML. Во всех случаях игра в доверие начинается с того, что доверитель имеет первоначальный произвольный баланс, скажем, один миллион баллов (1 000 000), который он может предложить доверительным управляющим в качестве добавленной стоимости.

Ожидается, что, предоставив хорошие выводы по ОД, доверительный управляющий повысит уровень своего доверия по отношению к доверительному лицу. И что менее чем достаточно хорошие результаты будут иметь противоположный эффект (т. е. подорвут доверие).

В каждом из результатов обратите внимание не только на форму кривых усиления, но и на масштаб, поскольку они будут существенно различаться. Позже мы построим все четыре эксперимента рядом друг с другом, используя один и тот же масштаб.

Случай 1. Выводы ML повышают ценность

Для этого первого эксперимента давайте пройдемся шаг за шагом по первому взаимодействию. Для последующих экспериментов будут показаны только окончательные графики. Независимо от эксперимента, все они могут быть воспроизведены с помощью исходного кода в приложении А к этой статье.

В случае 1 предполагается, что выводы МО увеличивают ценность продукта (K › 1).

Предположим, что в первом цикле доверитель начал V = 1 000 000 баллов и смог отправить денежный перевод в размере 65 % (Ru = 0,65 × 1 000 000) суммы выводов ML на доверенное лицо. Коэффициент увеличения, воспринимаемый доверительным управляющим, составил K = 2, таким образом, выигрыш составляет 1 300 000 (Gv = 2 × 650 000) пунктов.

Доверенное лицо отправило обратно часть (q = 0,14) стоимости, взаимодействуя с пользовательским интерфейсом, предоставляя метку обратной связи и оплачивая услугу. Возврат, полученный доверителем, составил 182 000 (Bu = 0,14 × 1 300 000) баллов.

Прибавляя скидку к остаточной стоимости (ru = 0,35 × 1 000 000), накопленная прибыль доверителя равна 532 000 (Au = 350 000 + 182 000) баллов. А выигрыш доверительного управляющего составляет 1 118 000 (Nv = 0,86 × 1 300 000) баллов.

Доверительный управляющий почувствовал большую ценность, чем то, что мог предложить доверитель (победа), доверитель получил скидку в виде обратной связи, добавив ценность, которой раньше не было (победа). Наконец, после суммирования всех доверенных лиц доверитель накопит больше, чем предложенная первоначальная стоимость (выигрыш). Беспроигрышный вариант.

На рисунке 2 показан график накопленной прибыли за оставшиеся циклы.

Случай 2: выводы ОД нейтральны

Во втором эксперименте моделируется нейтральный коэффициент увеличения (K = 1) — отправленное и полученное значение воспринимаются одинаково.

На протяжении всех четырех экспериментов все параметры остаются неизменными, изменяясь только K.

На рисунке 3 показан график накопленной прибыли. Доверительный управляющий получает растущую стоимость, но доверительный управляющий видит небольшое снижение. Это было бы приемлемо, поскольку окончательная прибыль доверителя представляет собой совокупную прибыль всех доверительных собственников.

Случай 3: выводы ML приводят к снижению эффективности

Третий эксперимент демонстрирует сценарий (рис. 4), в котором доверенное лицо страдает от неэффективности (0 ≤ K ‹ 1). Их прибыль в лучшем случае незначительна, и в то же время наблюдается значительное падение прибыли доверителя.

Такая ситуация была бы правдоподобной и приемлемой на этапе разработки продукта, и доверительный управляющий согласился стать ранним пользователем услуги.

Случай 4. Выводы, сделанные в результате ОД, приводят к быстрому подрыву доверия

Последний эксперимент демонстрирует наихудший сценарий (рис. 5), когда выводы МО подрывают надежность доверительного лица (K ‹ 0), тем самым снижая способность доверительного управляющего проявлять доверие.

Выигрыши доверительного управляющего отрицательны, а это означает, что при использовании услуги им будет хуже, чем при работе без нее.

Параллельное сравнение

Здесь вы можете увидеть все четыре варианта использования в одном масштабе на графике. Единственная ситуация, приносящая выгоду как доверителю, так и доверительному управляющему, — это когда коэффициент увеличения K превышает 1.

Заключение

Эта статья продемонстрировала, что хорошие результаты вывода ML удовлетворяют действительным критериям для повышения надежности доверителя, что позволяет доверительным управляющим проявлять больше доверия.

Согласно тому, что мы показали здесь, существует сильная мотивация продуктов ML Workday предоставлять выводы ML только тогда, когда достигнут минимальный уровень достоверности. Лучше не дать результат, чем предоставить ошибочный. Когда ничего не предоставляется, клиент все равно может работать с номинальным уровнем производительности.

Приложение

Ниже приведен блокнот Jupyter, используемый для реализации показанной здесь структуры. Вам очень легко воспроизвести результаты, а также адаптировать их для запуска альтернативных сценариев.