PISmith usa aprendizado por reforço para automatizar red team contra defesas de injeção de prompt
O PISmith aplica aprendizado por reforço ao red teaming de defesas contra injeção de prompt: em vez de testar ataques fixos de catálogo, o sistema gera ataques adaptativos que aprendem a contornar os guardrails do alvo, expondo pontos cegos que o teste manual não alcança.
Avaliar uma defesa contra injeção de prompt testando ataques conhecidos é como testar um antivírus só com malware de museu: diz pouco sobre o adversário real. O PISmith, de Yin, Geng, Wang e Jia, ataca essa lacuna com aprendizado por reforço — o agente atacante recebe recompensa por burlar a defesa e itera até encontrar o que funciona contra aquele alvo específico.
A consequência metodológica é importante: defesas que pareciam sólidas contra suítes estáticas de ataques revelam pontos cegos quando o ataque aprende. É a mesma transição que o red team tradicional fez décadas atrás — do checklist para o adversário simulado — chegando agora à segurança de LLMs.
Para quem constrói ou compra guardrails, a régua de avaliação mudou: perguntar "contra quais ataques isso foi testado?" já não basta; a pergunta é se a defesa resistiu a um atacante adaptativo. Ferramentas como o PISmith tendem a virar etapa obrigatória de validação antes do deploy — do lado defensivo, antes que alguém as use do outro lado.