- Непонимание технологий в отрасли и правительстве вызывает тревогу, и знания об автомобилях с ИИ необходимо широко распространять.
- Режимы отказа ИИ трудно предсказать, и никто не может гарантировать, что такая машина никогда не ошибётся.
- У хакеров много способов устроить аварию: атаки вредоносного ПО, атаки «человек посередине», атаки типа «отказ в обслуживании», атаки программ-вымогателей.
- Регулирование искусственного интеллекта в автомобилях ещё не началось, и автомобилям с ИИ предстоит долгий путь.
Технологии ИИ сегодня широко применяются в беспилотных автомобилях: вместе с датчиками, камерами, радарами и другим оборудованием они позволяют машине добираться до места назначения без участия человека. Среди компаний, которые разрабатывают и/или испытывают беспилотники, — Audi, BMW, Ford, Google, General Motors, Tesla, Volkswagen и Volvo. Здорово! Водитель может убрать руки с руля и просто довериться машине. Но так ли это на самом деле?
Спор о том, что ИИ может быть одновременно и риском, и благом, идёт давно. Думаю, это особенно верно в отношении автомобилей и других транспортных средств.
До определённой степени ИИ даёт серьёзные преимущества, убирая человеческий фактор из уравнения вождения. Но что происходит, когда что-то идёт не так?
Вот четыре причины, по которым, на мой взгляд, ИИ не стоит того:
- Ложное чувство безопасности отвлекает водителей.
- Ошибочные суждения ИИ
- Хакерские атаки
- Отсутствие правил признания аварий
Пристегните ремни: автомобиль без ИИ отправляется в путь!
Проблема № 1: ложное чувство безопасности
Mary (Missy) L. Cummings, старший феллоу IEEE и профессор Института Duke по наукам о мозге (DIBS) при Университете Duke, в 2016 году просила Комитет Сената США по торговле, науке и транспорту отрегулировать использование искусственного интеллекта в автомобилях. Но ни призывы Mary (Missy) L. Cummings, ни гибель Brown не заставили правительство действовать. Непонимание технологий в отрасли и правительстве вызывает тревогу.
Теперь вопрос, над которым стоит задуматься: если беспилотные автомобили получат широкое распространение, человеческая ошибка в управлении сменится человеческой ошибкой в коде. Разве это спасение от «дорожного убийцы»?
Сторонники беспилотников часто утверждают, что чем быстрее мы избавимся от водителей, тем безопаснее будет на дорогах. Ссылаясь на статистику NHTSA, они заявляют, что 94 % аварий происходит по вине водителей-людей. Но эта статистика вырвана из контекста и неточна. Кроме того, утверждения о том, что беспилотные автомобили безопаснее машин с водителем, игнорируют то, что хорошо известно каждому, кто работал в разработке ПО: программный код очень подвержен ошибкам, и с усложнением систем проблема будет только усугубляться.
В октябре 2021 года беспилотный автомобильPonyврезался в знак; в апреле 2022 года грузовикTuSimpleврезался в бетонное ограждение; в июне 2022 года роботаксиCruise внезапно остановилосьпри левом повороте; в марте 2023 года другой автомобиль Cruise врезался сзади в автобус.
Читайте также: водители Volkswagen скоро присоединятся к разговору с ChatGPT
Проблема № 2: система ИИ срабатывает, когда не должна
Сценарий, который стоит рассмотреть: система ИИ срабатывает, когда не должна (например, резко тормозит, заметив «тень» препятствия впереди), или не реагирует, когда должна. В какой ситуации вы бы оказались?
Действительно, режимы отказа ИИ трудно предсказать, и никто не может гарантировать, что такая машина никогда не ошибётся.
LLM угадывает, какие слова и фразы появятся дальше, обращаясь к массиву данных, собранных во время обучения. Модуль автономного вождения интерпретирует сцену на основе базы размеченных изображений (это автомобиль, это пешеход, это дерево) и строит похожие догадки, чтобы решить, как объехать препятствия. Эти размеченные изображения также загружались при обучении. Но смоделировать все возможные ситуации нельзя, поэтому многие режимы отказа предсказать крайне сложно.
Одним из не предвиденных ранее режимов отказа стало «призрачное торможение». Без видимой причины беспилотный автомобиль внезапно тормозит, что может привести к столкновению с едущим сзади автомобилем и со всеми, кто за ним. В мае 2022 года NHTSA направила письмо Tesla о том, что агентство получило 758 жалоб на «призрачное торможение» у Model 3 и Model Y. В мае немецкая газета Handelsblatt сообщила о 1 500 жалобах на проблемы с торможением у Tesla и 2 400 — на внезапное ускорение. Сейчас похоже, что частота столкновений сзади у беспилотных автомобилей примерно вдвое выше, чем у автомобилей, которыми управляют люди.
IBM Watson на основе ИИ — предшественник современных LLM — хорошо угадывал, но не обладал настоящими знаниями, особенно при принятии решений в условиях неопределённости и при выборе действий на основе неполной информации. Современные LLM не исключение: лежащие в их основе модели просто не справляются с нехваткой информации и не могут оценить, насколько их оценки достаточны в данном контексте.
Такие проблемы обычны для сферы автономного вождения. В аварии в июне 2022 года роботакси Cruise решило совершить большой левый поворот между двумя автомобилями. Как подробно описано в отчёте об аварии эксперта по автомобильной безопасности Michael Woon, автомобиль правильно выбрал возможную траекторию, но в середине поворота резко затормозил и остановился посреди перекрёстка. Он предположил, что приближающийся по правой полосе автомобиль повернёт, хотя на той скорости поворот был физически невозможен. Эта неопределённость сбила с толку Cruise и привела к худшему из возможных решений.
Приближавшийся Prius не повернул и врезался прямо в Cruise, ранив пассажиров обеих машин.
Читайте также: Apple отказывается от своего десятилетнего проекта по разработке электромобилей
Быстрый тест
Для литиевых аккумуляторов какая температура эксплуатации наилучшая?
A. 30 градусов по Цельсию
B. 50 градусов по Цельсию
C. 60 градусов по Цельсию
D. 70 градусов по Цельсию
Ответ — в конце этой статьи.
Проблема № 3: хакерские атаки
В эпоху инноваций, движимых ИИ, появление беспилотных автомобилей несёт не только обещания улучшенной мобильности, но и вызывает серьёзные этические опасения.
Ratan Bajaj, основатель и генеральный директор MindWell AI
Ещё в 2019 году новые Tesla Model 3 были взломаны всего за несколько минут. Хакеры Amat Cama и Richard Zhu использовали уязвимости в информационно-развлекательной системе, чтобы получить доступ к одному из компьютеров автомобиля (физическому миру).
После успешного взлома Amat Cama и Richard Zhu смогли выполнить собственный код. Вы можете увидеть, как они демонстрируют атаку,на видео.
Вот несколько более ранних примеров— я не говорю ерунды.
Атака вредоносного ПО
В 2011 году Chevrolet Malibu стал первым автомобилем с удалённым вторжением, которым атакующие могли управлять. Хакеры «использовали уязвимость в Bluetooth-стеке, чтобы управлять радиосистемой автомобиля и внедрить вредоносный код при синхронизации телефона с радио» (Атаки на беспилотные автомобили и меры противодействия: исследование). После успешного внедрения код может отправить сообщение в ECU автомобиля и заблокировать тормоза.
Атака «человек посередине» (MiTM)
При атаке «человек посередине» хакер может вмешиваться в связь между двумя сторонами и получить контроль над ECU или придорожным блоком инфраструктуры (RSU) путём перехвата, воспроизведения и изменения сообщений, которыми обмениваются стороны.
Атака типа «отказ в обслуживании» (DoS)
DoS — одна из самых опасных атак на беспилотные автомобили; она может привести к серьёзным авариям или гибели людей. Злоумышленники могут использовать DoS-атаки, чтобы «не дать камерам, LiDAR и радару обнаруживать объекты, дорогу и дорожные знаки» (Атаки на беспилотные автомобили и меры противодействия: исследование). DoS-атака может также затронуть тормозную систему: автомобиль может внезапно остановиться или, наоборот, не остановиться вовсе, и тормоза перестанут работать должным образом.
Атака программы-вымогателя
Такой тип атак может быть очень опасен для коммерческого транспорта. В 2017 году Honda Motor Company пострадала от крупной атаки программы-вымогателя WannaCry: злоумышленники «требовали крупные суммы в криптовалюте в обмен на ключи дешифрования» («Атаки на беспилотные автомобили и меры противодействия: исследование»).
Хотя атака не была нацелена на беспилотные автомобили, она затронула многие беспилотники Honda, которые во время атаки не могли получить обновления ПО. Вероятно, такие атаки встречаются чаще других, потому что хакерам очень успешно удаётся проводить атаки с помощью программ-вымогателей.
Что делает беспилотные автомобили уязвимыми?
Беспилотные автомобили — заманчивая цель для киберпреступников, которые могут «пытаться похитить финансовые данные водителя или устраивать изощрённые террористические атаки, превращая автомобиль в оружие».
Помимо непреднамеренных угроз, таких как внезапный отказ систем ИИ, существуют и целенаправленные атаки, призванные вывести из строя критически важные для безопасности функции систем ИИ. Например, разметка дорог, обманывающая навигационные системы, или наклейки на знаках STOP, мешающие их распознаванию.
LiDAR (Light Detection and Ranging) — система из камеры и лазерных импульсов, которая служит «глазами» беспилотного автомобиля, передавая информацию о дорожной сцене и окружении в нейросеть CNN для принятия решений — корректировки скорости и направления. К сожалению, CNN легко взломать, «добавляя в исходные изображения небольшие попиксельные изменения, незаметные человеческому глазу». Эта уязвимость может позволить злоумышленникам атаковать беспилотные автомобили (The Lighthouse).
Бортовая диагностика (OBD) — одна из самых уязвимых частей беспилотных автомобилей: вредоносный код может быть внедрён в электронный блок управления (ECU) через OBD. Внедрённое ПО может изменять и перепрограммировать ECU. Заражённые ECU могут потерять связь с другими компонентами бортового оборудования (OBU) — LiDAR, камерами и радаром, что ставит под угрозу безопасность беспилотных автомобилей.
Вывод: несколько способов получить контроль над автомобилем
- Удалённый доступ через интернет
- Удалённый доступ через Bluetooth
- Внедрение бэкдора в беспилотный автомобиль через производителя (цепочку поставок)
- Специальные устройства, установленные в автомобиль
- Воздействие на сенсоры автомобиля
Пожалуйста, задумайтесь:
Сценарии взлома и непредвиденные последствия: что если беспилотные автомобили взломают, и они потеряют управление или, хуже того, попадут в аварию?
Моральные дилеммы: кто несёт ответственность? Вопрос ответственности огромен, когда беспилотные автомобили оказываются скомпрометированы.
Обеспечение будущего автономного вождения: рассматривая этические требования, мы изучаем меры, необходимые для защиты беспилотных автомобилей от хакерских угроз. Какую роль должны играть регуляции во внедрении строгих стандартов кибербезопасности?
Человеческая жизнь и моральный риск: когда мы передаём руль ИИ, ставки высоки, особенно когда речь идёт о жизни и безопасности. Как общество может гарантировать, что этические соображения будут направлять развитие технологий беспилотных автомобилей, чтобы предотвратить аварии, связанные со взломами?
Проблема № 4: отсутствие регулирования
ИИ имеет системные последствия, которые нельзя игнорировать.
Беспилотные автомобили полагаются на беспроводную связь, чтобы оставаться в курсе дорожной обстановки, но что происходит, когда связь теряется? Один водитель оказался в ловушке среди 20 автомобилей Cruise, потерявших связь с удалённым операционным центром, что вызвало огромную пробку.
Читайте также: Cruise выпустит первый автомобиль, доступный для инвалидных колясок
Отношение к беспилотным автомобилям в технологически продвинутом Сан-Франциско, когда-то оптимистичное, стало негативным: город сталкивается с множеством проблем. Если из-за взломанного беспилотного автомобиля кто-то погибнет, не успев вовремя добраться до больницы, это может в конечном счёте заставить общественность отвергнуть технологию.
Итак, что опыт беспилотных автомобилей значит для регулирования ИИ в более широком смысле? Компании должны не только понимать системные последствия ИИ, но и нуждаются в надзоре; им нельзя позволять регулировать себя самостоятельно.
ИИ в легковых и грузовых автомобилях ещё ждёт долгий путь. Я не призываю запрещать беспилотные автомобили. У использования ИИ есть явные преимущества, и просить о запрете или даже моратории безответственно. Но нам нужен более жёсткий государственный надзор, чтобы не брать на себя лишние риски.
Однако регулирование ИИ в автомобилях ещё не началось. Это отчасти объясняется чрезмерными требованиями и давлением отрасли, а отчасти — нехваткой возможностей у регуляторов. Европейский союз проявляет большую активность в регулировании искусственного интеллекта, особенно в отношении беспилотных автомобилей.
Правильный ответ на быстрый тест — A. 30 градусов по Цельсию.