Доктор Саймон Бертон
Восприятие: узкое место безопасности автоматизированного вождения
Автономные транспортные средства работают в сложной и постоянно развивающейся среде.
Чтобы доказать безопасность таких систем, нам нужно продемонстрировать, что система всегда имеет адекватный уровень понимания своего текущего контекста и принимает правильные решения, чтобы гарантировать, что транспортное средство безопасно достигнет пункта назначения.
Для автономных транспортных средств функции восприятия, то есть понимание окружения на основе зашумленных и неполных данных датчиков, кажутся узким местом в аргументе безопасности.
Учитывайте сложность обнаружения пешеходов при всех возможных дорожных и погодных условиях. Откуда система знает, как безопасно реагировать, если она даже не «увидела» препятствий на своем пути?
Машинное обучение поможет?
Вокруг машинного обучения для автономного вождения много шумихи.
Похоже, что такие алгоритмы, как глубокие нейронные сети, способны анализировать неструктурированные данные, используя эффективные вычисления в режиме реального времени. Предоставляя достаточное количество помеченных изображений, алгоритмы учатся классифицировать такие объекты, как транспортные средства и пешеходы, с точностью, которая может превзойти человеческие способности.
Однако есть одна загвоздка.
Эти алгоритмы не дают четких ответов. Для данного видеокадра они могут классифицировать вероятность присутствия пешехода в определенной части изображения как 83%. Но уже в следующем кадре, незаметно отличающемся от предыдущего, они могут «перепутать» тот же объект только с 26% пешеходом и 67% дорожным знаком.
Отдельные решения, принимаемые алгоритмами на основе миллионов различных весов в нейронной сети, трудно расшифровать. Это приводит к нечеткому пониманию их работы.
Итак, как мы можем утверждать, что наши системы безопасны при применении машинного обучения для задач восприятия?
Вы сильны, когда знаете свои слабости
Стандарты для разработки безопасных функций машинного обучения еще не определены. Традиционные подходы к демонстрации безопасности программного обеспечения плохо переносятся.
Для машинного обучения нам нужно отказаться от многих наших нынешних подходов и аргументировать безопасность из первых принципов.
Одна из стратегий, которой я придерживаюсь в настоящее время, заключается в выявлении возможных причин проблем с производительностью в алгоритмах, а затем в определении мер по снижению риска того, что такие недостатки приведут к опасным событиям.
К таким причинам относятся:
- неполное представление об окружающем мире
- тонкие различия между средой обучения и выполнения
- отсутствие доступных обучающих данных для критических ситуаций
- проблемы с надежностью из-за присущей сложности входного пространства
Появляющиеся исследования, направленные на изучение и количественную оценку этих причин недостаточности, можно рассматривать как путь к просветлению. Это выводит нас из неизбежного разочарования, вызванного осознанием ограничений машинного обучения для критически важных с точки зрения безопасности функций.
Вы прекрасны, когда цените свои недостатки
Одним из путей к безопасности на системном уровне, несмотря на недостатки, присущие восприятию, основанному на машинном обучении, является применение гетерогенной избыточности на пути восприятия, т.е. за счет параллельного развертывания датчиков радара и камеры с использованием как машинного обучения, так и стандартных алгоритмов.
Чтобы этот подход работал, требуется глубокое понимание ограничений каждого пути зондирования и алгоритмов (машинного обучения). Затем может быть выдвинут аргумент, что недостатки одного пути компенсируются либо другим, либо дополнительными проверками правдоподобия, например. пешеход, появляющийся в центре изображения, не должен исчезать из поля зрения на изображении, сделанном всего через несколько миллисекунд.
Вы мудры, когда учитесь на своих ошибках
Разрабатываются новые методы тестирования и аналитические подходы для выявления проблем с производительностью функций машинного обучения. Они будут включать моделирование и синтетические данные для имитации ситуаций, которые слишком критичны или редки, чтобы их можно было охватить традиционными испытаниями транспортных средств.
Однако аргумент абсолютной уверенности никогда не будет возможен во время разработки. Поэтому нам необходим постоянный мониторинг производительности на местах. Это позволит обнаружить ранее не обнаруженные слабые места в обученной функции, а также несоответствия в предположениях, сделанных о самой среде.
В идеале этот мониторинг повысит требования безопасности, предъявляемые к функции, в соответствии с качеством собранных доказательств. Такой уровень ретроспекции также укрепит уверенность в том, что гарантийный случай действительно является точным индикатором фактической работы в данной области.
При таком подходе машинное обучение все еще может соответствовать статусу супергероя, который ему придает технологический ажиотаж.
Д-р Саймон Бертон
Главный эксперт по безопасности, надежности и доступности
Robert Bosch GmbH
Саймон также является научным сотрудником Международной программы обеспечения автономии. Внести вклад в стратегическое развитие Программы в качестве научного сотрудника.
