Pesquisadores da Penn Engineering (EUA) teriam descoberto vulnerabilidades de segurança não identificadas anteriormente em diversas plataformas robóticas controladas por IA.
“ Nossa pesquisa mostra que, neste ponto, os grandes modelos de linguagem (LLMs) geralmente não são seguros o suficiente quando integrados a hardware físico complexo ”, disse George Pappas, professor de engenharia elétrica e de sistemas na UPS Foundation, em um comunicado.
Pappas e sua equipe desenvolveram um algoritmo chamado RoboPAIR, "o primeiro algoritmo projetado para quebrar robôs controlados por LLM". E, diferentemente dos atuais ataques técnicos rápidos direcionados a chatbots, o RoboPAIR foi criado especificamente para "induzir ações físicas prejudiciais" de robôs controlados por LLM, como a plataforma de robôs humanoides chamada Atlas, que a Boston Dynamics e o Toyota Research Institute (TRI) estão desenvolvendo.
A RoboPAIR supostamente atingiu uma taxa de sucesso de 100% ao quebrar três plataformas populares de pesquisa em robótica: o Unitree Go2 de quatro patas, o Clearpath Robotics Jackal de quatro rodas e o simulador Dolphins LLM para veículos autônomos. Levou apenas alguns dias para que o algoritmo obtivesse acesso total a esses sistemas e começasse a contornar as barreiras de segurança. Assim que os pesquisadores assumiram o controle, eles conseguiram direcionar as plataformas robóticas autônomas para executar uma variedade de ações perigosas, como dirigir em cruzamentos sem parar.
“ Os resultados da primeira avaliação mostram que os riscos de LLMs quebrados vão além da geração de texto, pois está claro que robôs quebrados podem causar danos físicos no mundo real .”

A equipe da Penn Engineering está trabalhando com desenvolvedores de plataformas para proteger seus sistemas contra novas intrusões, mas alerta que esses problemas de segurança são sistêmicos e difíceis de resolver completamente.
“ As descobertas deste artigo demonstram claramente que adotar uma abordagem de segurança é fundamental para desbloquear a inovação responsável. Precisamos abordar as vulnerabilidades inerentes antes de implementar robôs com IA no mundo real ”, afirmou a equipe.
Uma operação segura requer testes de sistemas de IA para potenciais ameaças e vulnerabilidades, o que é essencial para proteger os sistemas de IA que eles criam. Porque somente quando você identifica fraquezas você pode testar e até treinar sistemas para prevenir riscos.