PoisonedEvolution: ataque envenena "habilidades" que agentes de IA aprendem sozinhos com a própria experiência

Sistemas de skills auto-evolutivas (SES) resolvem um problema real de agentes de IA de longa duração: em vez de repetir do zero um raciocínio complexo toda vez, o agente destila trajetórias bem-sucedidas em "habilidades" reutilizáveis, que passam a ser injetadas como instrução confiável em tarefas futuras. O problema, identificado pelos autores, é que esse processo transforma experiência não confiável em instrução confiável de forma automática: qualquer trajetória que pareça suficientemente útil e recorrente pode ser promovida a habilidade permanente, sem que exista necessariamente um humano validando o conteúdo daquilo que está sendo memorizado.

O PoisonedEvolution formaliza essa promoção em três exigências que o atacante precisa satisfazer para ter sucesso: inclusão (a trajetória maliciosa precisa entrar no pool considerado pelo sistema), atribuição de evolução (o comportamento-alvo precisa parecer causalmente útil, recorrente e generalizável antes de ser promovido) e realização (o comportamento efetivamente se manifesta depois de promovido). Os autores tratam a atribuição como o gargalo real do ataque — não basta inserir uma trajetória maliciosa uma vez, é preciso fazer o processo de evolução "acreditar" que aquele padrão é genuinamente valioso, algo que eles conseguiram fazer usando apenas evidência limitada e visível, sem qualquer acesso privilegiado ao pool de dados ou à lógica de evolução do sistema.

Os números são expressivos: com apenas 10% de participação do atacante entre as contribuições, o ataque embutiu o comportamento-alvo em 546 de 600 tentativas (91% de taxa de sucesso) no SkillClaw, testado contra seis LLMs evolutores diferentes. Mais relevante ainda, o mesmo ataque transferiu para o Trace2Skill, uma arquitetura de evolução estruturalmente distinta, com 61,5% de sucesso — evidência de que a vulnerabilidade não é peculiaridade de uma implementação específica, mas algo estrutural em como sistemas de skill auto-evolutiva decidem o que promover. Em um estudo controlado, três registros consistentes do atacante em um lote de trinta já bastaram para o ataque funcionar de forma confiável, enquanto um único registro isolado era muito mais fraco.

O risco prático é que isso abre uma nova superfície de cadeia de suprimentos para agentes de longa duração: à medida que produtos baseados em agentes adotam memória e skills que evoluem sozinhas a partir do uso — inclusive uso agregado de múltiplos usuários ou tenants — qualquer parte capaz de gerar interações plausíveis com o sistema ganha um caminho indireto para plantar comportamento persistente, sem nunca precisar de acesso de escrita direto ao banco de habilidades. Isso é conceitualmente parecido com envenenamento de dados de treinamento, mas ocorre numa camada mais rasa e contínua — a experiência operacional do agente em produção — que hoje recebe muito menos escrutínio de segurança do que o próprio treinamento do modelo.