Um novo método de diagnóstico instrumenta tarefas de segurança executadas por agentes LLM com checkpoints, separando falhas que ocorrem antes de o agente sequer alcançar a capacidade necessária das falhas que ocorrem depois. Aplicado ao Gemini 2.5 e 3.7 Flash em tarefas de reutilização de estado observado, o estudo mostra que uma mesma intervenção de prompt que ajuda uma geração de modelo pode não ajudar, ou até atrapalhar, a geração seguinte.
Pesquisadores descrevem uma classe inédita de ataque contra sistemas de aprendizado contínuo (continual learning), em que dados manipulados não apenas apagam conhecimento prévio do modelo — como já fazia o esquecimento catastrófico induzido — mas também bloqueiam sua capacidade de aprender iterações futuras. O estudo formaliza seis estratégias de ataque e testa contra três algoritmos de defesa (DER, ER-ACE, iCaRL) em mais de 4.480 simulações, encontrando vulnerabilidade consistente em todos eles.
Pesquisa (atualização v4, aceita no IEEE ICDM 2026) apresenta um framework adaptativo que gera e refina automaticamente jailbreaks contra sistemas de LLM baseados em áudio, cobrindo tanto pipelines em cascata (que primeiro transcrevem a fala para texto) quanto modelos de áudio ponta a ponta que processam o sinal bruto diretamente. Um motor de mutação guiado por feedback ajusta tanto o texto do prompt quanto perturbações acústicas para maximizar a taxa de sucesso, e o método superou o estado da arte em seis sistemas de áudio representativos, evidenciando que ambos os paradigmas seguem substancialmente vulneráveis a esse tipo de ataque.
Reportagem do The Hacker News descreve a virada do phishing para uma fase orientada por agentes autônomos de IA generativa, que automatizam reconhecimento de alvos, redigem iscas personalizadas e produzem deepfakes de voz e vídeo em múltiplos canais simultâneos. O caso citado da engenharia Arup, em que um deepfake em videochamada convenceu um funcionário a autorizar US$ 25 milhões em transferências fraudulentas, ilustra o novo patamar de sofisticação do golpe. A tese central do texto é que SOCs que ainda dependem de triagem manual não conseguem acompanhar esse volume, e que a resposta viável é colocar agentes de IA também do lado da defesa.
ScopeJudge propõe um segundo modelo de IA mais barato que atua como 'juiz', avaliando cada chamada de ferramenta de um agente de pentest autônomo antes de ela ser executada, para impedir que ele saia do escopo contratado. Um benchmark de quase 5 mil chamadas rotuladas por pentesters profissionais mostra que políticas estáticas, sem ver o pedido original do usuário, falham quase completamente em detectar violações de escopo. Os autores recomendam configurações diferentes de custo e segurança conforme o risco da implantação.
Um artigo analisa como agentes autonomos baseados em LLM estao remodelando a seguranca ofensiva, argumentando que essas ferramentas introduzem tres tipos de indeterminacao ausentes em pentest tradicional: acoes dificeis de explicar antes ou depois do fato, impacto aberto e imprevisivel, e uma base de usuarios cujo nivel de habilidade minimo caiu drasticamente. Os autores concluem que a assimetria estrutural de custo entre ataque e defesa favorece atacantes no curto prazo e que a atribuicao moral se torna difusa entre usuarios, fabricantes de ferramentas e terceiros.
O estudo demonstra sistematicamente que agentes de codificação de IA instalam dependências listadas em documentação de projeto (README, requirements, Makefile) sem verificar nome, origem ou histórico de vulnerabilidades, tornando a própria documentação um vetor de execução de código. Testando doze cenários em cinco classes de ataque contra harnesses de produção, os autores mostram que nomes com confusão de separador (como "azurecore" no lugar de "azure-core") e redirecionamento de registro escapam da detecção na maioria dos casos, mesmo quando typosquats óbvios são pegos.
O trabalho avalia agentes de IA de segurança sob uma lente de custo, comparando desempenho ofensivo (desafios Cybench) e defensivo (investigações Splunk BOTS v1) em níveis fixos de orçamento de inferência, em vez de apenas o melhor resultado possível com gasto ilimitado. A conclusão central é que capacidade ofensiva melhora consistentemente com mais computação — permitindo que modelos open-weight bem escalados cheguem perto de sistemas proprietários de ponta — enquanto o desempenho defensivo em SOC depende mais de uso disciplinado de ferramentas e navegação de telemetria do que de força bruta de raciocínio.
Pesquisadores demonstraram uma nova classe de ataque, batizada de Agent Data Injection (ADI), que engana agentes de IA ao corromper os dados que eles julgam confiáveis, sem precisar sequestrar as instruções originais da tarefa. Usando caracteres que imitam delimitadores estruturais (aspas, chaves, cifrões), o ataque cria campos falsos que o modelo interpreta como parte legítima do contexto. A técnica atingiu de 31% a 100% de sucesso contra agentes como Claude in Chrome, Claude Code, OpenAI Codex e Gemini CLI, dependendo do tipo de dado manipulado.
O artigo argumenta que, embora ferramentas de IA acelerem etapas de reconhecimento e geração de payloads em testes de segurança ofensivos, elas não substituem a validação humana necessária para provar que uma vulnerabilidade é real e explorável em produção. Aponta como sintoma prático o aumento de submissões de baixa qualidade em programas de bug bounty, com severidades infladas por relatórios gerados por IA sem evidência real de exploração.