Новая порода А.И. атаки могут иметь реальные последствия.
В предыдущем посте я говорил о том, что атаки с использованием ИИ представляют собой новый тип угроз, которые в настоящее время остаются незамеченными для большинства команд по кибербезопасности.
Учитывая критический характер большинства ИИ. системы, эти атаки могут иметь последствия, которые могут изменить жизнь людей, поэтому так важно понять и смягчить эти угрозы.
Сегодня я хочу сосредоточиться на том, как системы ИИ потенциально могут быть скомпрометированы, и на ущербе, который могут нанести киберпреступники, на примере автономных или беспилотных транспортных средств.
Автономные транспортные средства
Самоуправляемые автомобили или автономные транспортные средства являются одним из самых больших применений ИИ и рекламируются для постепенного удаления людей с водительского места в течение определенного периода времени.
«Беспилотный автомобиль (иногда называемый автономным автомобилем или беспилотным автомобилем) — это транспортное средство, использующее комбинацию датчиков, камер, радара и искусственного интеллекта (ИИ) для путешествовать между пунктами назначения без человека-оператора» —
TechTarget на https://www.techtarget.com/searchenterpriseai/definition/driverless-car
Эти автомобили будут спроектированы так, чтобы делать все, что может делать человек, ощущая окружающую среду и принимая разумные решения с помощью ИИ.
Транспортные средства на основе искусственного интеллекта работают на основе машинного обучения, которое повышает их способность принимать решения на основе данных, которые им передаются. Точно так же, как человек учится водить машину и со временем становится лучше, алгоритм машинного обучения становится лучше, чем больше данных он получает.
Алгоритм обучен распознавать знаки остановки, автомобили, пешеходов, дорожную разметку и т. д., на основании чего предпринимает действия при движении к месту назначения.
Ожидается, что эти автомобили будут иметь более низкий уровень отказов, чем ручное вождение, но, как и в любой технологической системе с приводом, существуют риски кибербезопасности, которые могут оказаться даже более смертоносными, чем получение штрафа за вождение!
Атаки на автономные транспортные средства
Как упоминалось ранее, беспилотные автомобили приводятся в действие искусственным интеллектом. системы, которые постоянно работают над оценкой окружающей среды, распознаванием препятствий и людей и планированием наиболее оптимального пути к месту назначения.
Помимо существующих стандартных угроз, таких как небезопасные операционные системы, инфраструктура, компоненты и т. д., существуют определенные атаки на основе ИИ, которые могут вмешиваться в работу этих автомобилей.
В недавнем отчете Агентства Европейского Союза по кибербезопасности (ENISA) рассматриваются риски кибербезопасности автономных транспортных средств и то, что можно сделать для их снижения.
1 – Компрометация цепочки поставок ИИ
А.И. модель и набор данных, которые используются для обучения самостоятельному вождению, могут быть заражены или «отравлены» киберпреступниками, подобно атакам на цепочку поставок. Многие модели ИИ проходят предварительную подготовку, а затем импортируются в среду организации, и злоумышленники потенциально могут заразить их как черный ход на будущее.
Путем отравления данных, на которых обучается модель машинного обучения; автомобиль может неправильно классифицировать объекты в своем окружении, что приводит к авариям и серьезному ущербу для жизни и имущества
2 — уклонение от модели с помощью враждебных входных данных:
Немного изменив среду, киберпреступники потенциально могут «обмануть» модель. Например, закрашивание знака остановки и добавление граффити на дорогу может привести к тому, что система на основе ИИ будет принимать неверные решения. «Противоположные входы» — это метод, который злоумышленники используют для уклонения от моделей машинного обучения, особенно в тех случаях, когда задействовано компьютерное зрение. Незначительно манипулируя вводом в систему ИИ, злоумышленник может получить совершенно другой результат.
Этот тщательно созданный «шум» для изображения, который будет незаметен для людей, может привести к тому, что ИИ полностью реклассифицирует конкретный ввод как разные объекты, что может вызвать серьезные проблемы.
Ниже приведен пример, когда система распознавания изображений может неправильно классифицировать знак «Стоп» из-за небольшого незаметного изменения цвета.
Как бороться с этими угрозами
В отчете подробно рассказывается о мерах по смягчению последствий, которые могут быть реализованы, и многие из них могут быть применены практически к любому ИИ. система. Существует стандарт надлежащей гигиены кибербезопасности, например, проведение оценки рисков и обеспечение того, чтобы безопасность по замыслу была неотъемлемой частью системы и т. д.
Другие уникальны для систем ИИ, например:
- Периодическая оценка моделей ИИ и данных, которые вводятся в модель, чтобы убедиться, что она не была изменена или изменена.
- Тщательная проверка цепочки поставок, включая сторонних поставщиков, чтобы убедиться в отсутствии слабых звеньев в цепочке.
- Тестирование безопасности и тестирование на проникновение предназначены для ИИ. системы и атаки. Об этом подробнее здесь"
- Расширение знаний о кибербезопасности ИИ среди разработчиков и профессионалов является серьезным препятствием и причиной появления рисков. Ранее я уже писал о том, как создавать модели угроз для систем ИИ, которые вы можете прочитать ниже.
Вышеизложенное — это лишь краткое изложение положений отчета, которое определенно стоит прочитать, если вы хотите увидеть некоторые реальные последствия отсутствия защиты ИИ.
Удачи в вашем путешествии с ИИ!
Надеюсь, вам понравилось это читать. Если вам интересна эта тема, ознакомьтесь с моим курсом со скидкой A.I. управление и кибербезопасность, в которой рассматриваются новые типы рисков ИИ и способы их снижения.
