Framework detecta injeção de prompt distribuída em enxames de drones controlados por LLM
Pesquisadores propõem um framework de verificação em tempo de execução, em três camadas, para detectar violações de missão em enxames de drones e robôs assistidos por LLM que emergem apenas da composição de ações individualmente aceitáveis em cada plataforma. Em simulação, o framework detectou uma injeção indireta de prompt que fez quatro plataformas dividirem entre si um objetivo proibido, algo invisível a monitores por plataforma. O design evita 'tudo limpo' falso quando falta evidência, em vez de assumir segurança por padrão.
Pesquisadores (Nikolaos Kekatos, Panagiotis Katsaros, Alexios Lekidis, Theodoros Nestoridis e Tom Nianios) propuseram um framework de verificação em tempo de execução para enxames de robôs autônomos assistidos por LLM em missões de inteligência, vigilância e reconhecimento em ambientes contestados, e o testaram contra um ataque de injeção indireta de prompt distribuído por múltiplas plataformas.
O problema central é que falhas de segurança em missão não aparecem necessariamente em nenhuma plataforma individual: um objetivo proibido pode ser dividido entre quatro veículos diferentes, cada um executando uma fração da tarefa que, isoladamente, parece dentro dos limites permitidos para aquela plataforma, evadindo assim qualquer guarda-corpo por plataforma. Os autores propõem uma verificação composicional em três camadas — plataforma, esquadrão e missão —, agregando vereditos individuais sobre um tecido de mensagens ciente da verificação, e fundindo tudo numa álgebra de duas dimensões, segurança e completude, que rebaixa explicitamente um veredito para 'desconhecido' quando falta evidência, por exemplo por perda de comunicação em ambiente contestado, em vez de assumir que está tudo certo por padrão.
Isso importa porque, em uma simulação de missão, uma injeção indireta de prompt real — afetando o planejador LLM de fato, não simulada por script — conseguiu fazer com que quatro plataformas dividissem entre si a coleta de um objetivo proibido, invisível para qualquer monitor individual por plataforma, mas detectado pela abordagem composicional com rastreamento completo de quais veículos contribuíram para a violação. Sob uma campanha de falhas injetadas, um monitor central de melhor esforço convencional chegou a emitir falsos 'tudo limpo' silenciosos, enquanto o tecido ciente de verificação nunca o fez, uma diferença crítica em contexto militar, onde um falso negativo pode significar uma violação de regra de engajamento não detectada.
À medida que LLMs entram em sistemas autônomos coordenados, não apenas chatbots individuais, a superfície de ataque de prompt injection se estende para o nível de coordenação entre agentes, e defesas pensadas para um único agente ou plataforma simplesmente não enxergam violações que emergem da composição de ações individualmente aceitáveis — um princípio que vale também fora do contexto militar, para qualquer sistema multiagente com políticas ou orçamentos coletivos.