Tese mapeia como LLMs falham sob variações adversárias de entrada — e propõe formas de medir e corrigir isso
Uma tese de doutorado propõe uma métrica formal de estabilidade para LLMs baseada em divergência de Jensen-Shannon e demonstra ataques práticos contra sistemas de LLM-as-a-Judge, detecção de trojans e agentes baseados em MCP. O destaque é um ataque evolutivo de caixa-preta contra juízes automáticos com taxa de sucesso de até 73,8%, além de defesas (comitês heterogêneos de modelos e atestação criptográfica de chamadas de ferramenta) que reduzem drasticamente esse número.
O trabalho parte de um problema concreto: sistemas de produção com LLMs são avaliados, filtrados e orquestrados por outros modelos — juízes automáticos, detectores de trojan, protocolos de ferramentas como o MCP — e cada uma dessas camadas pode ser manipulada por quem controla a entrada. Para formalizar isso, a tese propõe uma métrica generativa de robustez baseada na divergência de Jensen-Shannon entre distribuições de saída sob pequenas perturbações de entrada, com uma prova relacionando a estabilidade de decisões de classificadores a ataques localizados.
Na prática, o trabalho testa essa fragilidade em várias frentes. Contra sistemas de LLM-as-a-Judge, apresenta um ataque evolutivo adaptativo de caixa-preta que não precisa de acesso aos pesos do modelo e atinge até 73,8% de sucesso, com boa transferência entre modelos diferentes (62,6%). Contra detectores de trojan/backdoor, usando dados do Trojan Detection Challenge 2023, mostra que gatilhos substitutos conseguem recuperar o comportamento malicioso com alta taxa, mas com baixa precisão em identificar o gatilho real. Já contra defesas em camadas avaliadas no SaTML CTF 2024, a tese sistematiza quatro classes de bypass que ainda deixam alguma proteção residual, reduzindo a taxa de sucesso de ataque de 90% para 15-25%.
Do lado defensivo, dois resultados chamam atenção: comitês heterogêneos de 5 a 7 modelos reduzem a taxa de sucesso de ataque contra um modelo pequeno em 47 a 55 pontos percentuais, e um esquema de atestação de chamadas de ferramenta com HMAC e menos de 0,1 ms de overhead por chamada, combinado a um padrão de isolamento de contexto, reduz a taxa média de sucesso em um benchmark de 847 cenários agentic de 53,7% para 12,4%.
O valor prático aqui é que a tese não fica só na demonstração do ataque: entrega métricas calculáveis, ferramentas nomeadas e padrões de arquitetura reproduzíveis para quem opera pipelines de avaliação automática ou agentes com MCP. Para times de segurança de IA, o recado é que confiar em um único juiz-LLM ou em uma única camada de defesa é insuficiente — redundância heterogênea e atestação criptográfica de chamadas de ferramenta aparecem como mitigações com ganho mensurável, ainda que nenhuma delas elimine totalmente o risco.