Роботизированное правосудие
За последние несколько недель я использовал статью Wired под названием Суды используют ИИ для вынесения приговоров преступникам. Это должно прекратиться сейчас », чтобы вызвать обсуждение на некоторых из моих занятий и конференций: использование алгоритмов в судебных процессах в Соединенных Штатах для определения, например, вероятности рецидива обвиняемого, а также их использования в личных целях. вниз предложение.
Вчера New York Times прокомментировала ту же проблему, что и описанная в Wired, в отношении Эрика Лумиса, преступника, отправленного в тюрьму в марте прошлого года судьей, который использовал, по просьбе прокурора, результаты КОМПАС. », Алгоритм, созданный Equivant, и изложенный в резюме:
«По результатам оценки COMPAS вы идентифицированы как человек, представляющий высокий риск для общества».
Защита Лумиса утверждала, что использование отчета, созданного алгоритмом, нарушает права ответчика, поскольку это секретный алгоритм, который нельзя проверить или изучить, что не позволяет эффективно обсуждать или ставить под сомнение его.
Дело не только в том, что алгоритм является секретным из-за интереса его создателя, но, как мы сказали некоторое время назад, процессы машинного обучения порождают черные ящики, которые человеческий интеллект не может контролировать, и которые можно оценить только на основе качества его продукции, что порождает вопросы прозрачности.
Процесс достаточно ясен: банк, например, мог бы легко начать снабжать алгоритм машинного обучения всеми своими ссудными и ипотечными файлами и его результатами, касающимися погашения или невозврата, и, вполне возможно, обнаружил, что со временем результаты алгоритм может улучшить решения комитета по рискам, состоящего из людей с большим опытом работы в банковской сфере. Если бы это было так, банк мог бы решить избавиться от своего комитета по рискам и заменить его автоматизированным процессом не только для снижения затрат, но и для повышения эффективности. Однако это решение, которое будет определять, будет ли банк решать, предоставлять ли ипотеку или нет на основе алгоритма, могло иметь две проблемы:
- Отсутствие прозрачности: хорошо, вы отказали мне в ипотеке ... но что мне делать, если я все еще хочу ее получить? Из-за каких факторов вы мне отказали и как мне работать, чтобы улучшить свое право на получение этой ипотеки в дальнейшем? Как вы объясните решение, которое вы сами не понимаете и которое знаете только и которое увеличивает ваши шансы на возврат ссуды?
- Предубеждения: вопреки тому, что некоторые люди могут подумать, использование алгоритма не гарантирует большей объективности, а просто отражает предубеждения, которые могут существовать в исходных данных. Например, если данные, которыми банк питал свой алгоритм, отражали какую-то историческую тенденцию, при которой он обычно отклонял, например, кандидатов из определенной группы на основании таких критериев, как пол, этническая принадлежность, религия и т. Д., Эти предубеждения могут быть объединены в алгоритм, полученный из них, но их трудно идентифицировать человеческим интеллектом.
В американском правосудии процессы все чаще колонизируются алгоритмами: многие юристы начинают использовать алгоритмы, подобные Россу, основанному на Ватсоне IBM, не только для определения того, какая юриспруденция наиболее актуальна для дела, которое они готовят, но и для изучить возможные предубеждения судей, которым поручено рассмотрение их дел, на основе всех их предыдущих решений по возможным аналогичным делам со всем, что влечет за собой, чтобы оптимизировать используемые аргументы. По мере консолидации этих типов рабочих методологий процессы машинного обучения, которые их поддерживают, становятся все более и более сложными черными ящиками с процессами, которые человек все больше не может воспроизвести или понять.
Роботизация или алгоритмизация правосудия могла бы, с одной стороны, стать способом работы с переполненными судами: любое дело, достаточно ясное, простое или очевидное, больше не будет занимать ценные ресурсы судьи или присяжных, а вместо этого будет определяться алгоритмом. , как это уже происходит со многими нарушениями правил дорожного движения, в которых алгоритм, на самом деле, не особенно интеллектуален: для получения результата достаточно выполнения определенного требования. По мере увеличения сложности дела мы находим случаи, подобные описанному выше, которые могут привести к беззащитности: как я могу защитить себя от приговора, основанного на черном ящике, который работает на основе ряда введенных переменных и потом штампует результат? Должны ли мы требовать, чтобы факторы, использованные для вынесения вердикта на основе алгоритмов, были объяснены понятным людям способом?
Несколько дней назад в Netexplo у меня была возможность взять интервью на сцене с основателем компании по медицинской диагностической визуализации Qure.ai. В ходе беседы возникло несколько очень интересных вопросов: со временем, как только врачи начнут использовать свою технологию для определения, показывает ли рентген, сканер или компьютерная томография опухоль, способность врача вручную исследовать изображение может быть утрачена из-за недостаток практики, и хотя машина, улучшая свой алгоритм, сможет предложить гораздо лучшие результаты, чем люди-врачи, тогда мы начнем видеть, как люди теряют навыки, которые они развили. Это аналогичный аргумент, который использовал Николас Карр в Отмели: до появления мобильных телефонов мы могли запоминать больше телефонных номеров из памяти: Интернет делает нас глупыми, потому что заменяет навыки, которые у нас были раньше, делая их ненужными. Можно также возразить, что сегодня никто не сможет писать на камне, потому что новые технологии и средства массовой информации сделали это ненужным… что мы просто принимаем. В данном случае искусственный интеллект переопределяет человеческий интеллект. Но что происходит, когда эта потеря человеческих способностей становится предметом решений черного ящика, который мы не можем интерпретировать?
(En español, вода)
