NOMOS compila politicas escritas em portoes deterministicos para conter agentes LLM que violam regras
Agentes LLM que usam ferramentas costumam violar silenciosamente as politicas que deveriam seguir, e as defesas existentes ou dependem de regras escritas a mao, ou de um verificador LLM por acao, ou de maquinaria formal pesada. O NOMOS compila uma politica em linguagem natural em um portao deterministico de chamadas de ferramenta usando apenas verificacao estatica baseada no esquema das ferramentas, reduzindo violacoes de 66,3% para 2,6% em um cenario de companhia aerea e chegando a zero por cento de sucesso de ataque no setor bancario.
Quando um agente LLM tem acesso a ferramentas reais (emitir reembolso, alterar uma reserva, mover fundos), a politica que define o que ele pode ou nao fazer normalmente existe apenas como texto em um documento ou no proprio prompt do sistema, e o agente pode violar essa politica sem que ninguem perceba, ja que nao ha imposicao (enforcement) independente da sua propria interpretacao das regras. Abordagens anteriores tentam compilar essas politicas em regras executaveis automaticamente, mas os autores mostram que a compilacao ingenua falha de forma caracteristica: regras extraidas literalmente do texto podem acabar bloqueando a propria ferramenta cuja precondicao elas deveriam satisfazer, ou tentar ler argumentos que a ferramenta nem possui.
O NOMOS e um compilador de quatro passagens que transforma a politica em linguagem natural em um portao deterministico de chamada de ferramenta, usando apenas verificacoes estaticas no nivel do esquema das ferramentas (schema), sem nenhum prover formal, solver ou chamada a um LLM no momento da decisao. Essa etapa de verificacao estatica sozinha ja corrige ou rejeita 37% das regras candidatas no cenario de companhia aerea e 13% no de varejo, sem o que a maioria das regras compiladas simplesmente nao funcionaria em producao.
Replaying as regras compiladas sobre transcricoes de agentes sem defesa, o portao reduz violacoes de clausulas de politica codificadas em chamadas que alteram estado de 66,3% para 2,6% no cenario de companhia aerea e de 30,8% para 6,9% no cenario de varejo, aumentando inclusive a taxa de sucesso em tarefas legitimas para certos niveis de dificuldade. No benchmark AgentDojo, ao contrario das defesas ja embutidas na ferramenta, o NOMOS atinge zero por cento de taxa de sucesso de ataque no dominio bancario, onde nove familias de ataque distintas colapsam em apenas tres regras estruturais, e no maximo 3,6% nos demais dominios.
O ponto mais relevante operacionalmente e que as decisoes do portao rodam em microssegundos, sem nenhuma chamada a um LLM, e a propria compilacao da politica pode rodar localmente usando um modelo aberto menor, sem depender de um modelo de fronteira proprietario. Isso torna a abordagem viavel como camada de imposicao independente e auditavel para agentes de IA que operam sobre ferramentas de producao, em vez de depender da boa vontade do proprio agente em seguir instrucoes textuais.