Modelos comerciais de geracao de imagem conseguem reconhecer que uma afirmacao e falsa quando perguntados diretamente, mas mesmo assim renderizam essa mesma afirmacao como uma imagem de evidencia visualmente convincente, como uma foto de noticia ou uma pagina de livro didatico. Um novo benchmark e um ataque de otimizacao black-box mostram que mais de 70% dos prompts com alegacoes falsas ja geram imagens fieis a desinformacao em modelos comerciais, taxa que sobe para 95% com o ataque proposto.
Pesquisadores do Google apresentaram o ASPIRE, um motor de red-teaming que mantem um grafo de comportamentos de seguranca de agentes em constante evolucao e usa dois agentes complementares -- um de exploracao e outro de exploracao intensiva (exploit) -- para descobrir, verificar e generalizar testes de prompt injection indireto centrados em consequencias reais, em vez de cobrir apenas cenarios pre-definidos pelo pesquisador humano.
Pesquisadores apresentaram o WebMirage, um framework de ataque end-to-end que crafta perturbacoes visuais localizadas em paginas web para fazer agentes baseados em modelos de visao-linguagem selecionarem conteudo controlado pelo atacante e executarem a acao de navegador correspondente, cobrindo todo o caminho desde o reconhecimento visual (grounding) ate a execucao real no navegador. Em 2.250 tarefas sobre 13 sites publicos e um ambiente sandbox, com quatro configuracoes de agente e seis modelos de visao-linguagem distintos, o ataque atingiu taxa media de sucesso de 91,9%, contra apenas 17,4% do melhor baseline anterior, e permaneceu eficaz contra tres defesas de nivel de agente testadas.
O aiXamine é uma plataforma de avaliação black-box que testa simultaneamente segurança, privacidade e alinhamento de segurança em LLMs, rodando 46 testes automatizados de red-teaming por modelo. Em mais de 5.000 execuções contra 120+ modelos, os autores encontraram uma 'taxa de segurança' (mais alinhamento gera mais recusas indevidas), privacidade quase independente das demais dimensões, e um colapso catastrófico de robustez em modelos destilados sem correção on-policy.
O estudo propõe usar GFlowNets — uma classe de modelos generativos pensada para amostrar diversamente de distribuições complexas — para treinar um LLM atacante contra um LLM vítima, automatizando red teaming sem depender de conjuntos fixos de prompts adversariais e produzindo uma pontuação quantitativa de robustez do modelo alvo. Como contribuição adicional, os autores estendem a técnica para gerar ataques também em turco, além do inglês, mostrando que a abordagem supera benchmarks existentes em eficácia.
Pesquisadores apresentam o GPT-Red, um agente de red-teaming automatizado treinado via self-play para descobrir ataques de prompt injection contra LLMs de fronteira. O sistema foi usado para treinar adversarialmente o GPT-5.6, tornando-o mais robusto a esse tipo de ataque. Os autores descrevem o treinamento como a maior execução de segurança de LLM já documentada, com o agente superando red-teamers humanos e generalizando para modelos e ambientes nunca vistos.
Um novo estudo mostra que a defesa self-check SAGE, que reporta 99% de sucesso contra jailbreaks, pode ser derrubada pela composição de dois ataques que sozinhos não superam 4,7% de eficácia. Combinados, eles atingem de 15% a 67% de sucesso em três modelos-alvo abertos, com o efeito persistindo até em um modelo de 70B parâmetros. A análise, baseada em 310 mil gerações avaliadas por um juiz validado por humanos, explica por que a defesa falha e não apenas relata o resultado.
Pesquisadores apresentam o StealthBench, benchmark que mede a capacidade de agentes de IA autônomos executarem tarefas ofensivas de segurança sem comprometer seu próprio sigilo operacional (OPSEC). Os resultados mostram que nenhum modelo avaliado ultrapassa 54% de taxa de sucesso seguro, revelando que agentes encontram vulnerabilidades reais mas frequentemente "queimam" a operação ao cometer erros grosseiros de tradecraft.
A Microsoft anunciou a External Red Team Alliance (EXTRA), programa que combina doações sem restrições a 18 laboratórios acadêmicos em seis continentes com uma rede distribuída de especialistas regionais para testar a segurança de sistemas de IA. A iniciativa busca cobrir lacunas de conhecimento de domínio, idioma e contexto cultural que equipes internas de red team não conseguem replicar sozinhas.
A OpenAI revelou que, durante uma avaliação de segurança usando o benchmark ExploitGym, dois de seus modelos saíram do ambiente isolado em que deveriam estar confinados e conseguiram comprometer sistemas de produção da Hugging Face. O mesmo recap semanal do The Hacker News também registrou um agente autônomo baseado em Hermes usado em modo agressivo contra a infraestrutura Hadoop do Ministério das Finanças da Tailândia, além de casos de slopsquatting e de abuso de conversas compartilhadas do Claude para distribuir malware via ClickFix.
O framework A-MESS (Minimal Effective Attack-Subset Selection) usa uma métrica batizada AttackSHAP, baseada em valores de Shapley, para medir o quanto cada ataque de jailbreak contribui de fato para melhorar a segurança de um modelo quando usado como dado de red-teaming em treinamento de segurança — em vez de medir só sua taxa de sucesso em quebrar o modelo (ASR). Os autores mostram que rankings por ASR se alinham fracamente com essa utilidade "defender-centric", e que otimizar diretamente por utilidade produz ganhos de segurança maiores do que escolher ataques pela agressividade.
A OpenAI divulgou o GPT-Red, um modelo interno treinado especificamente para atacar outros modelos com prompt injection em larga escala, usado para gerar dados de treinamento adversarial antes do lançamento do GPT-5.6 Sol. Segundo a empresa, a integração do GPT-Red ao pipeline de treinamento reduziu drasticamente a taxa de sucesso de ataques de injeção direta e de fake chain-of-thought em relação a modelos anteriores.