CredLeakBench expoe que todos os agentes de LLM testados vazam credenciais sob ataques de phishing
Pesquisadores da University of Central Florida apresentaram o CredLeakBench, um benchmark que mede se agentes de LLM autonomos vazam informacoes sensiveis quando confrontados com tentativas de phishing, cobrindo tanto autenticacao solicitada pelo usuario quanto monitoramento autonomo de caixa de entrada sem pedido explicito de login. Todos os modelos avaliados se mostraram vulneraveis a algum grau de vazamento, inclusive revelando dados durante monitoramento passivo de e-mail, e as mitigacoes que reduzem o vazamento tendem a prejudicar a capacidade do agente de completar tarefas legitimas.
A motivacao do trabalho e um cenario cada vez mais comum: agentes baseados em LLM assumindo tarefas rotineiras como gerenciar e-mail, redes sociais e contas bancarias, operando sem supervisao constante do usuario. Isso cria uma superficie de ataque nova em relacao a phishing tradicional contra humanos, porque o agente precisa decidir, sem intervencao humana em tempo real, se uma solicitacao (por exemplo, 'confirme sua senha neste link para liberar o pagamento') e legitima ou uma tentativa de engano, e fazer isso sem simplesmente recusar toda e qualquer acao -- um agente que se recusa a agir por excesso de cautela perde a utilidade que justifica sua existencia.
O CredLeakBench estrutura essa avaliacao de forma sistematica, pareando cada cenario de phishing com uma contraparte legitima equivalente, de modo que e possivel medir simultaneamente dois eixos: quanto o agente vaza informacao quando enganado, e quanto ele ainda consegue completar a tarefa real quando a solicitacao e genuina. O benchmark cobre dois tipos de situacao: autenticacao dirigida pelo usuario, onde alguem pede explicitamente ao agente para fazer login em algum servico, e monitoramento autonomo de caixa de entrada, onde o agente le e-mails e toma decisoes sem ter sido instruido a autenticar em nada. Criticamente, a medicao de vazamento e feita observando submissoes reais de informacao dentro de um ambiente sandboxed, e nao o relato que o proprio agente faz sobre seu comportamento -- um detalhe metodologico importante, ja que autoavaliacao de modelos de linguagem sobre suas proprias acoes e conhecida por ser pouco confiavel.
O achado central -- todos os modelos testados vazam informacao sob certas condicoes -- e agravado pela descoberta de que o vazamento tambem ocorre no cenario de monitoramento autonomo, ou seja, phishing pode induzir divulgacao de dados sensiveis mesmo quando nenhum humano pediu ao agente para autenticar em lugar algum; basta o e-mail malicioso chegar a caixa de entrada monitorada pelo agente. Isso desloca o momento de risco de 'o usuario pediu para o agente fazer login em um site suspeito' para 'o agente, operando de forma totalmente autonoma, processou um e-mail malicioso e tomou uma acao indevida por conta propria', um cenario de ameaca mais dificil de mitigar porque nao ha um ponto de decisao humano explicito para interceptar.
O resultado mais preocupante do ponto de vista pratico de engenharia de defesas e o trade-off identificado entre seguranca e utilidade: a maioria das mitigacoes testadas que reduzem vazamento tambem reduzem a capacidade do agente de completar tarefas genuinas, sugerindo que abordagens simples de 'ser mais cauteloso' ou 'recusar com mais frequencia' nao resolvem o problema -- apenas trocam um tipo de falha por outro. Os autores argumentam que isso exige defesas mais sofisticadas, capazes de diferenciar contexto maliciosos de legitimos sem sacrificar desempenho, e disponibilizam o CredLeakBench como ferramenta padronizada para medir esse progresso, algo hoje ausente na avaliacao de agentes comerciais de IA.