Ajar mede o 'privilegio aberto' que defesas de agentes de IA deixam sem uso mesmo quando bloqueiam ataques
Pesquisadores propuseram o Ajar, um metodo para medir quanto 'privilegio aberto' -- acesso que uma defesa de agente permite, mas que nenhuma tarefa legitima realmente precisava usar -- fica fora das metricas tradicionais de sucesso de ataque e utilidade benigna. Rodando sobre a infraestrutura existente do benchmark AgentDojo, o Ajar gera chamadas de ferramenta candidatas que a tarefa nao exige e verifica se cada defesa as permite em cada ponto de decisao do agente. Testado contra cinco defesas conhecidas (Progent, CaMeL, AC4A, Permission Assistant e o modo Auto do Claude Code), o trabalho mostra que a quantidade de privilegio deixado aberto varia muito entre defesas com pontuacoes de ataque e utilidade parecidas.
O problema conceitual que o trabalho ataca e o seguinte: benchmarks de seguranca de agentes hoje julgam uma defesa por dois eixos -- quanto ela reduz ataques bem sucedidos, geralmente prompt injection indireta via dados que o agente le durante a tarefa, e quanto preserva a utilidade da tarefa original. Uma defesa pode maximizar os dois numeros e ainda assim manter aberta uma transferencia de dinheiro, uma exclusao de dados ou uma leitura ampla que nenhuma tarefa daquele benchmark jamais precisou exercitar -- um risco que fica invisivel para quem le apenas as duas metricas tradicionais.
O Ajar mede isso reaproveitando as tarefas, esquemas de ferramenta, solucoes de referencia e estados de objetivo ja existentes no benchmark AgentDojo, em vez de criar um cenario de avaliacao do zero. Para cada tarefa benigna, o sistema constroi chamadas de ferramenta candidatas que a tarefa nao precisa executar, e as apresenta a defesa em cada ponto de decisao real do agente durante a execucao, registrando quais dessas chamadas desnecessarias a defesa efetivamente deixa passar.
Os resultados mostram variacao relevante entre as cinco defesas avaliadas: duas delas vazam privilegio em quantidade parecida, mas terminam quantidades bem diferentes de tarefas benignas -- ou seja, uma e mais permissiva sem ganhar nada em utilidade real -- e uma terceira defesa so alcanca um aperto de privilegio aparente recusando chamadas as quais a propria tarefa tinha direito legitimo de fazer, 'comprando' seguranca aparente as custas de funcionalidade que deveria funcionar.
Isso importa porque times que avaliam ferramentas de seguranca de agentes -- incluindo modos de execucao automatica de assistentes de codigo -- tendem a comparar apenas taxa de bloqueio de ataque e taxa de conclusao de tarefa. O Ajar demonstra que essas duas metricas escondem uma terceira dimensao de risco, o privilegio latente que nenhum teste do benchmark chegou a exercitar, que so aparece quando alguem procura ativamente por ela. Isso reforca que passar em um benchmark de ataque nao equivale a aplicar de fato o principio de menor privilegio.