ASPIRE automatiza red-teaming de prompt injection com memoria entre execucoes e grafo evolutivo de comportamentos de risco
Pesquisadores do Google apresentaram o ASPIRE, um motor de red-teaming que mantem um grafo de comportamentos de seguranca de agentes em constante evolucao e usa dois agentes complementares -- um de exploracao e outro de exploracao intensiva (exploit) -- para descobrir, verificar e generalizar testes de prompt injection indireto centrados em consequencias reais, em vez de cobrir apenas cenarios pre-definidos pelo pesquisador humano.
O problema que o ASPIRE ataca e uma limitacao estrutural do red-teaming automatizado tradicional contra agentes de LLM: a maioria das ferramentas existentes otimiza payloads de ataque para cenarios pre-especificados pelo pesquisador, o que significa que vulnerabilidades fora desse escopo inicial -- em outras combinacoes de ferramentas, ambientes ou caminhos de comportamento do agente -- permanecem invisiveis ao processo de teste. Isso e particularmente problematico para prompt injection indireto, onde um agente recupera conteudo nao confiavel (uma pagina web, um e-mail, um documento) e age sobre ele atraves de ferramentas externas, criando um espaco combinatorio de possiveis ataques muito maior do que qualquer lista fixa de cenarios conseguiria cobrir.
A arquitetura central do ASPIRE e o Agent Security Behavior Graph, uma estrutura de dados que registra e conecta comportamentos de risco observados ao longo de multiplas execucoes de teste, permitindo que o sistema identifique padroes e lacunas de cobertura que nao seriam visiveis em uma unica sessao isolada. Sobre esse grafo atuam dois tipos de agente com papeis complementares: um agente de 'Explore', cuja funcao e abrir novas areas do espaco de comportamento do agente-alvo ainda nao testadas, e um agente de 'Exploit', que aprofunda e tenta generalizar os vetores de ataque ja encontrados para maximizar sua eficacia e abrangencia. A evidencia de cada trajetoria de teste -- sucesso parcial, falha completa, sucesso total -- e usada para atualizar o grafo e diagnosticar por que uma tentativa funcionou ou nao, criando um ciclo de aprendizado continuo em vez de testes independentes e descartaveis.
Um elemento de design particularmente relevante e a memoria entre execucoes (cross-run memory): estrategias de red-team que se mostraram uteis em uma rodada de testes sao transferidas para rodadas futuras, inclusive contra cenarios ou agentes diferentes dos que originaram a estrategia. Isso aproxima o ASPIRE de como equipes humanas de red-team efetivamente operam -- acumulando conhecimento tacito sobre o que funciona -- mas de forma automatizada e escalavel. Os experimentos reportados em diversos benchmarks mostram que essa abordagem amplia substancialmente a cobertura em quatro dimensoes simultaneamente: tipos de consequencia do ataque, metodos de injecao usados, ambientes testados e caminhos de comportamento do agente explorados, mantendo ao mesmo tempo uma taxa de sucesso de ataque forte (ou seja, a maior cobertura nao veio ao custo de testes mais fracos).
Para equipes que avaliam a seguranca de agentes de LLM antes de colocá-los em producao, uma ferramenta como o ASPIRE endereça exatamente o tipo de lacuna que normalmente so e descoberta depois do fato -- quando um atacante real encontra um vetor de injecao fora do escopo testado manualmente. A natureza aberta e exploratoria do sistema, em vez de orientada a cenarios fixos, e o que permite essa cobertura mais ampla, ao custo de maior complexidade de implementacao e de necessidade de infraestrutura para rodar e manter o grafo de comportamento ao longo do tempo.