O caso contra os ‘carros inteligentes’: por que estamos melhores sem eles

• A falta de compreensão da tecnologia em toda a indústria e no governo é chocante, e o conhecimento sobre carros equipados com tecnologia de IA deve ser amplamente difundido.
• O modo de falha da IA é difícil de prever, e ninguém pode garantir que tal máquina nunca cometerá erros.
• Hackers têm várias maneiras de causar acidentes: ataques de malware, ataques man-in-the-middle, ataques de negação de serviço, ataques de ransomware.
• A regulamentação da inteligência artificial automotiva ainda não começou, e os carros com IA ainda têm um longo caminho a percorrer.

A tecnologia de IA agora é amplamente utilizada em carros autônomos, juntamente com sensores, câmeras, radar e muito mais para dirigir entre destinos sem operação humana. Empresas que desenvolvem e/ou testam veículos autônomos incluem Audi, BMW, Ford, Google, General Motors, Tesla, Volkswagen e Volvo. Ótimo! O motorista pode liberar as mãos e apenas aproveitar o passeio! Mas é isso mesmo?

A ideia de que a IA pode ser tanto um risco quanto um benefício é debatida há muito tempo. Acho que isso é especialmente verdadeiro em carros e veículos.

Até certo ponto, a IA oferece vantagens significativas, removendo o erro humano da equação de direção. Mas e quando algo dá errado?

Aqui estão 4 razões pelas quais acho que a IA não vale o incômodo:

• Uma falsa sensação de segurança distrai os motoristas.
• Julgamento ruim da IA
• Ataques de hackers
• Falta de regulamentação sobre o reconhecimento de acidentes

Aperte o cinto, o carro sem IA está prestes a partir!

Preocupação nº 1: Uma falsa sensação de segurança

Mary (Missy) L. Cummings, IEEE Senior Fellow e Professora do Duke Institute for Brain Sciences (DIBS) da Duke University, pediu ao U.S. Senate Committee on Commerce, Science, and Transportation em 2016 que regulamentasse o uso da inteligência artificial em automóveis. Mas nem os apelos de Mary (Missy) L. Cummings nem a morte de Brown conseguiram levar o governo a agir. A falta de compreensão da tecnologia em toda a indústria e no governo é chocante.

Agora a questão que devemos considerar é: se os carros autônomos se tornarem comuns, o erro humano na operação é substituído pelo erro humano na codificação. Isso é uma fuga do assassino nas estradas?

Os defensores dos carros autônomos frequentemente afirmam que quanto mais cedo nos livrarmos dos motoristas, mais seguros estaremos nas estradas. Citando estatísticas da National Highway Traffic Safety Administration, eles alegam que 94% dos acidentes são causados por motoristas humanos. Mas essa estatística foi tirada de contexto e é imprecisa.

Além disso, as alegações de que os carros autônomos serão mais seguros do que os carros dirigidos por humanos ignoram o que qualquer pessoa que já trabalhou com desenvolvimento de software sabe muito bem: o código de software é muito propenso a erros, e o problema só vai piorar à medida que os sistemas se tornam mais complexos.

Houve o acidente de outubro de 2021 de um carro autônomo daPonycontra uma placa, o acidente de abril de 2022 de um caminhão-trator daTuSimplecontra uma barreira de concreto, o acidente de junho de 2022 de um robotaxi daCruise que parou repentinamenteao fazer uma curva à esquerda e o acidente de março de 2023 de outro carro da Cruise que bateu na traseira de um ônibus.

Leia também: Motoristas da Volkswagen estão prestes a entrar na conversa do ChatGPT

Preocupação nº 2: O sistema de IA é ativado quando não deveria

Um cenário que devemos considerar é se o sistema de IA for ativado quando não deveria (para abruptamente ao detectar uma “sombra” de um obstáculo à frente), ou não responder quando deveria. Em que situação você estaria?

É certo que o modo de falha da IA é difícil de prever, e ninguém pode garantir que tal máquina nunca cometerá erros.

Um LLM adivinha quais palavras e frases aparecerão em seguida, referindo-se a um arquivo coletado de dados existentes durante o treinamento. O módulo de direção autônoma interpreta a cena com base em um banco de dados de imagens rotuladas (aqui está um carro, isto é um pedestre, isto é uma árvore) e faz suposições semelhantes para decidir como navegar ao redor dos obstáculos. Essas imagens rotuladas também foram fornecidas durante o treinamento. Mas nem todas as possibilidades podem ser modeladas, e por isso muitos modos de falha são muito difíceis de prever.

Um modo de falha que não havia sido antecipado anteriormente foi a frenagem fantasma. Sem motivo aparente, um veículo autônomo freia repentinamente, podendo causar uma colisão traseira com o veículo atrás e outros veículos atrás dele. Em maio de 2022, a NHTSA enviou uma carta à Tesla observando que a agência havia recebido 758 reclamações sobre frenagem fantasma nos veículos Model 3 e Y. Em maio, o jornal alemão Handelsblatt relatou 1.500 reclamações sobre problemas de frenagem em carros da Tesla e 2.400 sobre aceleração repentina.

Agora parece que a taxa de colisões traseiras de carros autônomos é cerca do dobro da de carros dirigidos por humanos. O IBM Watson baseado em IA, o precursor do LLM atual, era bom em adivinhar, mas não tinha conhecimento real, especialmente quando se tratava de fazer julgamentos sob incerteza e decidir ações com base em informações incompletas. Os LLMs de hoje não são exceção: os modelos subjacentes simplesmente não conseguem lidar com a falta de informações, nem têm capacidade para avaliar se suas estimativas são boas o suficiente nesse contexto.

Esses problemas são comuns no campo da direção autônoma. O acidente de junho de 2022 envolveu um robotaxi da Cruise quando decidiu fazer uma grande curva à esquerda entre dois veículos. Conforme detalhado em um relatório de acidente do especialista em segurança automotiva Michael Woon, o carro tomou corretamente um caminho viável, mas no meio da curva, freou bruscamente e parou no meio do cruzamento. Ele adivinhou que um carro que se aproximava na faixa da direita faria uma curva, embora fosse fisicamente impossível virar na velocidade em que o carro estava viajando. Essa incerteza confundiu o Cruise e o levou a tomar a pior decisão possível.

Um Prius que se aproximava não conseguiu virar e foi direto para o Cruise, ferindo os ocupantes dos dois veículos.

Leia também: Apple desiste de seu projeto de desenvolvimento de EVs de uma década

Leia também: Huawei em negociações com Audi e Mercedes para investir em empresa de carros inteligentes

Quiz rápido

Para baterias de lítio, qual a melhor temperatura de operação?

A. 30 graus Celsius

B. 50 graus Celsius

C. 60 graus Celsius

D. 70 graus Celsius

A resposta está no final deste artigo.

Preocupação nº 3: Ataques de hackers

Na era da inovação impulsionada pela IA, a chegada dos carros autônomos traz não apenas promessas de maior mobilidade, mas também levanta preocupações éticas críticas.

Sr. Ratan Bajaj, Fundador e CEO da MindWell Al

Já em 2019, o novo modelo Tesla Model 3 foi hackeado em apenas alguns minutos. Os hackers Amat Cama e Richard Zhu exploraram fraquezas no sistema de “infoentretenimento” para obter acesso a um dos computadores do carro (o mundo físico).

Uma vez bem-sucedidos, Amat Cama e Richard Zhu conseguiram executar suas próprias linhas de código. Você pode vê-los demonstrando o ataqueno vídeo.

Aqui estão alguns exemplos anteriores, não estou falando bobagem.

Ataque de malware

Em 2011, o Chevrolet Malibu se tornou o primeiro veículo com intrusão remota que os atacantes conseguiram controlar. Os hackers “exploraram uma fraqueza na pilha Bluetooth para manipular o rádio do veículo e inserir código de malware sincronizando o telefone com o rádio” (Ataques a carros autônomos e suas contramedidas: Investigação). Uma vez inserido com sucesso, o código pode enviar uma mensagem para a ECU do carro e travar os freios.

Ataques man-in-the-middle (MiTM)

Em um ataque man-in-the-middle, um hacker pode manipular as comunicações entre duas entidades e obter controle de uma ECU ou unidade de infraestrutura de beira de estrada (RSU) por meio de escuta, repetição e modificação de mensagens enviadas entre as entidades.

Ataque de negação de serviço (DoS)

O DoS é um dos ataques mais perigosos que podem acontecer em carros autônomos; eles podem resultar em acidentes graves ou morte. Os atacantes podem usar ataques DoS para “impedir que câmeras, LiDAR e radar detectem entidades, estradas e sinais de segurança” (Ataques a carros autônomos e suas contramedidas: Investigação). Um ataque DoS também pode afetar o sistema de frenagem, fazendo com que o carro pare repentinamente ou não pare de todo, resultando no mau funcionamento do sistema de frenagem.

Ataque de ransomware

Esse tipo de ataque pode ser muito perigoso para veículos comerciais. Em 2017, a Honda Motor Company foi atingida por um grande ataque de ransomware WannaCry, no qual os atacantes “exigiram grandes quantias de criptomoedas para fornecer chaves de descriptografia” (Ataques a carros autônomos e suas contramedidas: Investigação).

Embora o ataque não fosse direcionado a carros autônomos, ele ainda afetou muitos carros autônomos da Honda que estavam recebendo atualizações de software durante o ataque. Esse ataque provavelmente é mais comum do que outros porque os hackers têm muito sucesso na execução de ataques de ransomware.

O que torna os carros autônomos vulneráveis?

Os carros autônomos são alvos tentadores para cibercriminosos que podem “tentar roubar dados financeiros do motorista ou lançar ataques terroristas avançados transformando o veículo em uma arma.”
Além das ameaças não intencionais, como a falha repentina dos sistemas de IA, existem ataques intencionais projetados para comprometer especificamente as funções críticas de segurança dos sistemas de IA. Por exemplo, pintar estradas para enganar sistemas de navegação ou colocar adesivos em placas de pare para impedir que sejam identificadas.
O LiDAR (Light Detection and Ranging) é um sistema de câmera e pulso laser que constitui os “olhos” de um veículo autônomo, alimentando informações sobre a cena de condução e o ambiente em um modelo de computador CNN para tomar decisões como ajustes de velocidade e correções de direção. Infelizmente, as CNNs podem ser facilmente hackeadas “adicionando pequenas alterações no nível de pixel às imagens de entrada que não são visíveis a olho nu.” Infelizmente, essa vulnerabilidade pode permitir que agentes mal-intencionados ataquem carros autônomos (The Lighthouse).

O diagnóstico a bordo (OBD) é uma das partes mais vulneráveis dos veículos autônomos; o código de malware pode ser inserido em uma unidade de controle eletrônico (ECU) através do OBD. O malware inserido pode ajustar e reprogramar a ECU. ECUs infectadas podem não conseguir se comunicar com outros componentes da unidade de bordo (OBU), como LiDAR, câmeras e radar, o que pode comprometer a segurança dos veículos autônomos.

Conclusão: vários métodos para obter o controle automático de um carro

• Acesso remoto via Internet
• Acesso remoto via Bluetooth
• Inserir o backdoor no carro autônomo através do fabricante do veículo (cadeia de suprimentos)
• Dispositivos especiais são implantados no veículo
• Perturbar os sensores do veículo

Por favor, pense sobre isso:

Cenários de hacking e consequências não intencionais: e se os carros autônomos forem vítimas de um hack que os faça perder o controle ou, pior, causar um acidente?

Dilemas morais: quem assume a responsabilidade? A questão da responsabilidade é enorme quando os carros autônomos são comprometidos.

Garantindo o futuro da direção autônoma: examinando os requisitos éticos, mergulhamos nas medidas necessárias para proteger os veículos autônomos de ameaças de hacking. Que papel as regulamentações devem desempenhar na aplicação de padrões rigorosos de segurança cibernética?

Vida humana, risco moral: quando entregamos o volante à IA, os riscos são altos, especialmente quando se trata de questões de vida e segurança. Como a sociedade pode garantir que considerações éticas guiem o desenvolvimento da tecnologia de carros autônomos para evitar acidentes relacionados a hackers?

Preocupação nº 4: Falta de regulamentações

A IA tem implicações a nível de sistema que não podem ser ignoradas.
Os carros autônomos dependem de conectividade sem fio para se manterem cientes da estrada, mas o que acontece quando essa conexão cai? Um motorista se viu preso entre 20 veículos da Cruise que haviam perdido contato com o centro de operações remoto, causando um grande engarrafamento.

Leia também: Cruise lançará o primeiro carro acessível para cadeiras de rodas

As atitudes em relação aos carros autônomos na amigável San Francisco para a tecnologia, antes otimistas, tomaram um rumo negativo à medida que a cidade enfrenta uma infinidade de problemas. Se um carro autônomo interceptado resultar na morte de alguém que não consegue chegar ao hospital a tempo, esse sentimento pode eventualmente levar o público a rejeitar a tecnologia.

Então, o que a experiência dos carros autônomos significa para a regulamentação da IA de forma mais ampla? As empresas não precisam apenas garantir que entendam as implicações mais amplas da IA a nível de sistema, elas também precisam de supervisão – e não devem se autorregular.

A IA ainda tem um longo caminho a percorrer em carros e caminhões. Não estou pedindo a proibição dos carros autônomos. Há vantagens claras no uso da IA, e é irresponsável que as pessoas peçam uma proibição ou até mesmo uma moratória sobre seu uso. Mas precisamos de mais supervisão governamental para evitar a tomada de riscos desnecessários.

No entanto, a regulamentação da IA em carros ainda não começou. Isso pode ser atribuído em parte às demandas e pressões excessivas da indústria, mas também à falta de capacidade por parte dos reguladores. A União Europeia tem sido mais proativa na regulamentação da inteligência artificial, especialmente em carros autônomos.

A resposta correta para o quiz rápido é A. 30 graus Celsius.