ToolGuardian usa Answer Set Programming para decidir, de forma auditável, quais ferramentas um agente de IA pode usar

Agentes de LLM dependem cada vez mais de ferramentas externas para expandir sua capacidade — desde busca na web até execução de código e chamadas a APIs de terceiros, frequentemente por meio de protocolos como o MCP. O problema de segurança central identificado pelos autores é que uma ferramenta de terceiro pode parecer completamente benigna olhando apenas sua descrição de interface, enquanto esconde comportamento perigoso na implementação real — um problema estrutural quando defesas atuais se apoiam em metadados fracos, como a descrição textual que o próprio autor da ferramenta escreveu.

O ToolGuardian ataca isso separando o processo em duas fases. Na fase de pré-admissão, uma “caracterização progressiva” converte diferentes tipos de evidência em fatos estruturados: a descrição declarada da ferramenta captura a intenção alegada, traces de chamadas de sistema expõem comportamento observado em nível grosso, execução simulada (mock) revela efeitos reais sem rodar em produção, e análise do código-fonte identifica comportamento latente que só se manifestaria em condições específicas. Na fase de runtime, uma autorização sensível ao contexto da tarefa decide, a cada chamada, se aquela combinação específica de ferramenta e tarefa deve ser permitida.

A contribuição central é usar Answer Set Programming (ASP) como camada de política, em vez de regras heurísticas ou um LLM decidindo de forma opaca — o ASP permite raciocinar explicitamente sobre capacidades, efeitos, contexto da tarefa e composição de múltiplas ferramentas em sequência, produzindo uma decisão auditável e reproduzível em vez de um julgamento probabilístico. Os autores comparam essa abordagem lado a lado com realizações heurísticas e baseadas em LLM usando exatamente os mesmos insumos, mostrando que remover as regras de composição e conformidade do ASP degrada substancialmente o desempenho.

Com 16 ferramentas testadas, incluindo oito variantes maliciosas derivadas de ferramentas open source reais, e 20 cenários de runtime, o sistema atinge F1 de 0,86 para a classe de negação na fase de vetting e 88% de acurácia geral, chegando a classificar corretamente todos os cenários de autorização quando totalmente configurado. O valor prático está em oferecer um mecanismo determinístico e explicável para a decisão de “confiar ou não” em uma ferramenta de terceiro dentro de um agente — um ponto de controle que hoje, na maioria das implementações de agentes com MCP, simplesmente não existe de forma sistemática.