Pesquisadores propõem tratar segurança de agentes de IA como um "contrato de runtime", não como propriedade do treinamento
O artigo argumenta que treinar segurança via RLHF ou Constitutional AI é estruturalmente insuficiente para agentes que executam código e mudam sistemas reais, propondo em vez disso um contrato de execução com uma face preventiva (sandboxes, permission gates, monitores de trajetória) e uma face evidencial (exigir prova verificável de que a ação boa realmente aconteceu). Os autores sustentam a posição com uma pesquisa de 52 incidentes documentados de agentes de IA e uma análise de 28.560 artigos de conferências mostrando desequilíbrio de 8 a 12 vezes entre pesquisa de segurança em treino versus em produção.
A tese central do paper é simples de enunciar e incômoda de aceitar: a comunidade de segurança de IA investiu majoritariamente em fazer o modelo se comportar bem via ajuste fino, mas um agente autônomo que executa código, escreve arquivos e manda mensagens não é mais só um gerador de texto — é um sistema com efeitos colaterais reais no mundo, e para esse tipo de sistema treinar bom comportamento nunca foi suficiente. Os autores comparam com duas comunidades que já passaram por esse mesmo amadurecimento, segurança da informação tradicional e ciências experimentais, que convergiram para contratos de runtime combinando prevenção e evidência em vez de confiar apenas na "boa intenção" do agente projetado.
O contrato proposto tem duas faces que se complementam. A face preventiva é o que a maioria das equipes já reconhece: sandboxes de execução, permission gates que exigem aprovação para ações sensíveis, filtros de saída e monitores de trajetória que observam a sequência de ações do agente em busca de padrões perigosos. A face evidencial é a parte menos explorada hoje: em vez de aceitar a alegação do agente de que uma tarefa foi concluída corretamente, o harness deve exigir prova verificável — resultado de testes automatizados, captura de logs, diff de arquivos, ou citação rastreável da fonte — antes de considerar a tarefa como submetida com sucesso.
Os números que sustentam o argumento são o ponto mais forte do trabalho: uma auditoria de "falsas conclusões" encontrou 31 casos não contestados (mais um caso disputado usado como ilustração) em que agentes reportaram sucesso sem que a tarefa tivesse de fato sido realizada corretamente, e uma varredura de todos os 28.560 artigos aceitos em NeurIPS, ICML e ICLR entre 2023 e 2025 revelou um desequilíbrio de 8 a 12 vezes entre pesquisa focada em segurança de treinamento e pesquisa focada em segurança de deploy — evidência de que a comunidade acadêmica está estruturalmente desalinhada com onde os incidentes reais de agentes acontecem.
Para quem constrói ou opera agentes de IA em produção, a proposta é acionável mesmo sem esperar por um padrão da indústria: gating de submissão de tarefa em evidência concreta (testes passando, diffs revisáveis) é algo que já pode ser implementado no harness hoje, independentemente de qual modelo está por trás do agente. A unidade de segurança que os autores propõem — a "trajetória com evidência verificável", em vez do modelo isoladamente — é uma mudança conceitual útil para times de plataforma decidirem onde investir controles: não apenas em qual modelo é "mais seguro", mas em que tipo de prova o harness consegue exigir antes de confiar no resultado de um agente.