Um novo ataque de backdoor chamado "Cancerous Backdoor Attack" abandona o modelo clássico de gatilho único seguido de ativação imediata e, em vez disso, corrompe o raciocínio do modelo em estágios progressivos ao longo de múltiplas interações, usando tokens invisíveis para marcar o avanço do ataque sem que nada apareça na solicitação visível do usuário. Os autores mostram que essa corrupção gradual passa despercebida por métricas tradicionais de acurácia de resposta, só se tornando visível depois que o dano já está consolidado.
Pesquisadores propõem um framework multi-agente baseado em LLM que analisa documentos de requisitos e diagramas de arquitetura para gerar casos de mau uso, arvores de ataque, verificacoes de governanca e recomendacoes de mitigacao antes que o codigo seja escrito. A proposta ataca o problema classico de revisao de seguranca tardia, trazendo analise de ameacas para a fase de design, com um loop de validacao que filtra achados sem fundamento na propria arquitetura analisada.
O estudo EviLLM propõe um modelo de ameaca realista em que um terceiro adversario -- com capacidades comparaveis a cibercriminosos comuns, nao o provedor do modelo nem o usuario -- compromete o pipeline de geracao de codigo por IA para injetar vulnerabilidades deliberadamente, cobrindo 13 classes diferentes de CWE. Em estudo com usuarios, a maioria dos participantes nao percebeu as vulnerabilidades injetadas, e boa parte nunca havia considerado esse tipo de ataque como um risco real.
Pesquisadores propõem SWIFT, um framework que incorpora a marcacao de agua (watermarking) de saidas de LLM diretamente no motor de inferencia, em vez de trata-la como um componente externo separado, reduzindo a latencia em 5,9x frente a abordagens anteriores e mantendo 97,7% de deteccao mesmo sob ataques de remocao de marca de agua. O trabalho ataca o problema pratico de que mecanismos de verificacao de autoria/propriedade de texto gerado por IA costumam ser caros demais para uso em producao em escala.
O metodo Localize-and-Detect localiza, em modo caixa-preta, tarefas de instrucao especificas que foram deliberadamente envenenadas durante o fine-tuning para produzir conteudo tendencioso, sem que haja um gatilho explicito no texto de entrada. Avaliado em 216 modelos envenenados de duas familias diferentes, o metodo identificou com sucesso as tarefas-alvo e o conteudo injetado, com poucos falsos positivos em modelos limpos.
Pesquisadores quantificam quanto um atacante posicionado no ponto de divisao de um esquema de split learning consegue reconstruir do texto original de treino ao interceptar ativacoes e gradientes, medindo tanto a taxa de recuperacao por token quanto por documento inteiro. Em GPT-2, apenas ativacoes permitem recuperar 94,20% dos tokens, mas somar os gradientes eleva a reconstrucao exata de documentos completos de 13,71% para 37,77%, e mesmo uma defesa dedicada ainda deixa de 83% a 91% dos tokens recuperaveis individualmente.
O framework CyTReX combina deteccao de anomalias de borda, explicacoes SHAP, regras substitutas e enriquecimento de inteligencia de ameacas via MCP em um 'pacote de evidencias' que restringe o raciocinio de um LLM, transformando alertas de rede ambiguos em hipoteses de ataque ranqueadas e rastreaveis para redes de Recursos Energeticos Distribuidos (DER). O objetivo e substituir classificacoes de ataque unicas e opacas por multiplas hipoteses explicaveis, cada uma vinculada a evidencia concreta, para apoiar analistas de centros de operacoes de seguranca.
O benchmark COPEX isola a susceptibilidade do proprio modelo de linguagem a influencia adversarial dentro de sistemas MCP, fixando o restante da pilha de agente e variando apenas o modelo que seleciona ferramentas, testando 25 tipos de ataque em 125 cenarios distribuidos por quatro superficies de entrada (modelo/agente, cliente, servidor/ferramenta e transporte). Em 3.375 execucoes com nove modelos, a taxa media de sucesso de ataque foi de 64,4%, e defesas combinadas de escaneamento de entrada e contexto reduziram esse sucesso em cerca de 49,6%.
Pesquisadores formalizam matematicamente por que pedidos maliciosos dissimulados dentro de tarefas benignas conseguem escapar de filtros de segurança de LLMs. O estudo introduz o conceito de "prior-posterior matching": selecionar tarefas auxiliares de modo que o risco médio percebido do pacote combinado se iguale à média geral, mascarando a intenção nociva sem removê-la. Os autores mostram que o ataque funciona em vários modelos open-source, mas revelam um trade-off: pacotes maiores escondem melhor a intenção, porém tendem a degradar a execução do objetivo malicioso original.
O artigo propõe o MIRROR, um mecanismo de integridade na camada de comunicação que combate ataques "Agent-in-the-Middle" (AiTM) em sistemas multiagente baseados em LLM, nos quais um intermediário manipula mensagens em trânsito sem precisar comprometer os próprios agentes. A técnica replica cada mensagem por várias rotas lógicas e só aceita o conteúdo quando a maioria estrita das rotas concorda no mesmo hash, sem depender de validação semântica cara nem de criptografia de transporte. Em testes com MMLU, HumanEval, MBPP e um deployment real via MetaGPT, o MIRROR reduziu a taxa de sucesso do ataque a 0% abaixo do limiar teórico de comprometimento, com custo de apenas 1x em tokens de LLM, contra 35x de um juiz baseado em LLM que ainda bloqueava até 44,2% de saídas legítimas.
Pesquisadores identificam uma superfície de ataque até então ignorada em sistemas GraphRAG: as estruturas auxiliares criadas durante a indexação offline (resumos semânticos, arestas hierárquicas, escores pré-computados), que determinam a priorização da recuperação em tempo de consulta. O ataque proposto, Hop-Decayed Influence (HDI), identifica alvos de alto impacto via propagação de influência consciente da consulta e corrompe essas estruturas após a indexação, alcançando taxa de sucesso de 88-94% modificando apenas 0,016% das estruturas auxiliares em frameworks como Microsoft GraphRAG e HippoRAG2. As alterações evadem defesas baseadas em perplexidade e paráfrase com taxa de evasão acima de 99%, pois permanecem linguisticamente coerentes como artefatos gerados pelo próprio sistema.
Pesquisadores apresentam o Whiteout, uma ferramenta prática que impede LLMs de reproduzir informações pessoais sensíveis de indivíduos específicos — datas de nascimento, telefones, endereços — memorizadas a partir de dados de treinamento não filtrados. Em vez de recorrer a unlearning, que tende a remover informação além do necessário e degrada a utilidade do modelo, o Whiteout sobrescreve os dados reais com amostras de ofuscação cuidadosamente desenhadas, mediante solicitação do próprio indivíduo. Os autores testam a ferramenta contra modelos de diferentes tamanhos e fabricantes, incluindo um modelo OpenAI amplamente usado, e contra ataques de caixa-preta (jailbreaking) e caixa-branca (relearning, quantização), reportando impacto mínimo na utilidade geral do modelo.
Uma tese de doutorado propõe uma métrica formal de estabilidade para LLMs baseada em divergência de Jensen-Shannon e demonstra ataques práticos contra sistemas de LLM-as-a-Judge, detecção de trojans e agentes baseados em MCP. O destaque é um ataque evolutivo de caixa-preta contra juízes automáticos com taxa de sucesso de até 73,8%, além de defesas (comitês heterogêneos de modelos e atestação criptográfica de chamadas de ferramenta) que reduzem drasticamente esse número.
Pesquisadores propõem o RMCW, um método de watermarking para textos gerados por LLMs que resiste a ataques de deleção de tokens, um dos pontos mais frágeis das técnicas atuais. A técnica usa estrutura algébrica de códigos Reed-Muller para manter a detectabilidade mesmo quando trechos do texto são removidos ou reescritos. Testes em OPT-1.3B e Llama-3.1-8B-Instruct mostram desempenho igual ou superior a baselines existentes sob ataques de deleção e reescrita.
O estudo propõe um framework que usa um gêmeo digital de sistemas de controle industrial (ICS) para transformar mudanças de estado físico em descrições mapeáveis ao framework ATT&CK for ICS, usando LLMs com retrieval-augmented generation. Nos testes com o dataset SWaT, o enriquecimento via gêmeo digital reduziu falsos positivos em 34,1% em média, mas o recall ficou moderado (0,633) e os ganhos não se replicaram em datasets externos. Os próprios autores são cautelosos, afirmando que os resultados não estabelecem atribuição autônoma confiável nem benefício prático demonstrado para analistas.
Pesquisadores propõem o AgentSecGraph, um framework de análise estática que avalia o contexto de risco de operações sensíveis em agentes LLM (execução de comandos, acesso a arquivos, rede, navegador), em vez de apenas identificar a operação em si. Usando um corpus de 67 repositórios reais com mais de 37 mil arquivos, a ferramenta mapeou quase 24 mil candidatos a operações sensíveis e confirmou pelo menos uma vulnerabilidade real. Em testes comparativos, a abordagem reteve 91,1% do contexto de referência, contra 20% de uma visão baseada apenas em sinks.
O estudo apresenta o SecJev, uma família de modelos de decisão especializados em segurança, de 0,8B a 9B de parâmetros, construída sobre a arquitetura de modelos "System One", que retornam previsões tipadas com probabilidades em vez de texto livre. Os autores mostram que a especialização em segurança supera modelos generalistas muito maiores: a versão de 0,8B parâmetros superou um modelo genérico de 9B em 20,51 pontos percentuais de acurácia média entre tarefas. O pacote cobre 14 tarefas de segurança, incluindo detecção de prompt injection, tráfego de rede e autenticação, com código liberado publicamente.
O estudo avalia mecanismos de "trigger-tag", que inserem sinais detectáveis em modelos de peso aberto para sinalizar quando são usados para fins maliciosos, como gerar phishing, e demonstra que ataques relativamente simples os tornam completamente ineficazes. Os autores formalizam dois tipos de trigger-tag, baseados em watermark no nível de token e baseados em backdoor no nível de peso, e criam um framework de ataque unificado para testá-los. A conclusão é que, embora úteis em ambientes controlados, esses mecanismos não devem ser considerados detectores robustos contra atacantes capazes de transformar saídas ou modificar os pesos do modelo.
Pesquisadores propoem Locket, um framework que treina multiplos adaptadores LoRA, cada um codificando uma politica de acesso diferente (revelacao completa, redacao parcial de PII ou privacidade diferencial), e usa um modulo de roteamento que so ativa o adaptador de revelacao completa quando um token de entrada valido esta presente no prompt. Sem o token correto, o modelo roteia automaticamente para o adaptador que redige ou sanitiza conteudo sensivel, mantendo utilidade proxima a de um modelo sem nenhuma defesa quando o acesso e autorizado.
Pesquisadores propoem NEEDLE, um metodo sem treinamento para remover backdoors implantados em LLMs durante o treinamento, que estima a direcao do gatilho malicioso e um subespaco de recusa a partir de vetores de ativacao, e aplica ortogonalizacao sequencial de pesos para suprimir o backdoor preservando as representacoes ligadas a recusa de conteudo nocivo. O metodo nao exige um modelo limpo de referencia nem os dados de treino envenenados originais, e alcanca 0% de taxa de sucesso de ataque em ataques de injecao de codigo, superando defesas anteriores que tendiam a degradar desempenho e seguranca geral do modelo.
O estudo compara duas arquiteturas hierarquicas homogeneas de agentes autonomos de red team -- planejador e executor ambos baseados em aprendizado por reforco (RL+RL) versus ambos baseados em LLM (LLM+LLM) -- contra defensores automatizados em dois ambientes de simulacao (CybORG e Cyberwheel), em 18 configuracoes. O resultado central e uma inversao dependente do ambiente: RL+RL vence disparado em redes compactas e densamente recompensadas, mas um agente LLM pre-treinado para ciberseguranca vence com folga na rede maior e mais realista, revelando que cada arquitetura trava em um gargalo diferente da cadeia de ataque.
O artigo testa se LLMs congelados, usados em modo zero-shot, conseguem substituir agentes de defesa cibernetica treinados por aprendizado por reforco (RL) -- que ficam presos a rede especifica em que treinaram -- numa hierarquia planejador-executor. Usando o ambiente Cyberwheel com um red team automatizado mapeado ao MITRE ATT&CK, os autores mostram que trocar apenas o planejador por um LLM traz ganho limitado conforme a rede cresce, mas estender o controle do LLM a execucao tatica produz melhorias notaveis para modelos suficientemente capazes -- um modelo geral de 70B mantem movimento lateral bem-sucedido do atacante a cerca de 1% dos passos usando os mesmos pesos em redes pequenas, medias e grandes, sem qualquer retreinamento.
Caches semânticos, usados por provedores de LLM para reduzir custo reaproveitando respostas de consultas parecidas, podem ser envenenados: um atacante insere uma resposta maliciosa sob uma consulta com alta similaridade de embedding a pedidos legítimos, fazendo com que usuários benignos recebam a resposta forjada depois. Os autores identificam a estrutura típica desse ataque e propõem uma defesa que bloqueia entre 82% e 98,2% das entradas envenenadas com baixa taxa de falso positivo.
Um novo benchmark com 60 mil interações e quase 2.900 execuções multiagente mostra que um observador passivo, olhando apenas metadados de pacotes cifrados (tamanho, direção, tempo, rajadas), consegue identificar o modelo de LLM usado, a categoria do prompt e até a tarefa executada por sistemas multiagente. A fingerprinting de modelo chega a 97,7% de acurácia balanceada, mesmo sob reformulação de prompt e mudanças de temperatura.
O trabalho formaliza a diferença entre verificar que uma execução específica vazou um segredo de um modelo de linguagem e certificar que nenhuma execução dentro de um domínio de prompts jamais vazaria — mostrando que a primeira tarefa é fácil, mas a segunda é NP-completa ou pior, dependendo do modelo de decodificação. Experimentos com segredos plantados mostram que uma auditoria por amostragem de 256 prompts, sobre um domínio de 4.096, deixa passar despercebido o vazamento em 41% dos pares testados.
O estudo mostra que qualquer entidade com presença pública online vaza fatos que nunca declarou explicitamente, porque modelos de linguagem tornam barata a inferência a partir de informação dispersa. Os autores separam “acurácia de leitura” de “taxa de vazamento real”, constroem um analisador local de 106M de parâmetros que nunca gera texto e certifica cada resposta, e mostram que uma defesa que reescreve fatos de forma mais genérica esconde vazamentos a 40% menos custo de edição do que simplesmente deletar informação.
Ataques de exaustão de recursos contra provedores de LLM costumavam depender de gerar respostas visivelmente longas ou repetitivas, fáceis de detectar. O FragToken explora que o mesmo texto decodificado pode corresponder a múltiplas sequências de tokens de tamanhos diferentes, e treina o modelo para preferir sequências mais longas e fragmentadas sob prompts comuns, alcançando entre 1,99x e 2,46x mais passos de decodificação com degradação mínima de qualidade visível.
Um novo artigo científico propõe uma arquitetura que combina agentes de IA especializados em segurança com blockchain permissionada para proteger todo o ciclo de vida de desenvolvimento de software (SDLC). A ideia central é que cada agente gere atestações assinadas criptograficamente sobre suas análises, registradas de forma imutável em contratos inteligentes, permitindo decisões de deploy verificáveis. O trabalho também se preocupa em proteger a confiabilidade dos próprios agentes de IA que monitoram a cadeia de suprimentos, e não apenas o software sendo analisado.
Pesquisadores de Harvard construíram o Priva-See, um sistema baseado em LLM que simula como empresas de adtech poderiam usar IA para inferir características sensíveis de usuários a partir de dados parciais coletados por apps de celular (fotos, mensagens, calendário). Em um estudo com 465 participantes aprovado por comitê de ética, o sistema fez inferências invasivas de privacidade mesmo tendo acesso a apenas um subconjunto dos dados do usuário, o que levou os autores a recomendar mudanças em como os sistemas operacionais móveis pedem consentimento de acesso a dados.
Pesquisadores avaliaram um sistema de "Adversário Autônomo" com LLMs atuando como orquestrador, executor e validador em cenários simulados de movimento lateral corporativo, testando seis modelos de ponta em três modos de autonomia. O estudo conclui que os validadores baseados em LLM tendem a ser relevantes e embasados em evidência, mas frequentemente imprecisos e otimistas demais, com gargalos concentrados em tarefas de credenciais e movimento lateral que se agravam conforme a autonomia do agente aumenta.
O artigo argumenta que harnesses autônomos de teste de penetração baseados em LLM cometem erros de confirmação de achado, gradação de severidade e seleção de agente porque usam o mesmo modelo generativo para atacar e para julgar o próprio ataque, gerando falsos positivos e severidade inflada. Os autores propõem usar classificadores leves não generativos ("System One", como o Jev e o Laya open source) para essas decisões, com um estudo de caso exploratório contra um alvo web com 13 vulnerabilidades conhecidas mostrando diferenças de severidade, tempo de execução e gradação por tipo de dado exposto.
O resumo semanal do The Hacker News reúne uma campanha de "AI search poisoning" que inunda a web com páginas falsas para enganar ChatGPT, Gemini e AI Overviews e fazê-los recomendar números de suporte e logins fraudulentos de bancos e companhias aéreas, e uma falha de configuração padrão no assistente de código chinês Z.ai ZCode que enviava repositórios locais dos usuários para a Alibaba Cloud sem consentimento. A mesma edição descreve o trojan bancário Android RemControl, cuja documentação interna traz artefatos de codificação assistida por IA, e uma campanha de phishing browser-in-the-browser mirando contas do Claude.
Pesquisadores apresentaram o DnD (Divide and Doubt), um ataque de envenenamento de corpus contra sistemas RAG que, em vez de repetir a mesma afirmacao-alvo em documentos parecidos entre si -- padrao que defesas de similaridade conseguem agrupar e suprimir -- distribui o suporte a resposta desejada por passagens estilisticamente diversas e inclui uma passagem extra que lanca duvida sobre a evidencia da resposta correta. Testado em duas bases de QA de dominio aberto, tres LLMs e nove configuracoes de RAG, o DnD igualou ou superou ataques anteriores na maioria dos cenarios, com ganhos maiores justamente contra as defesas de clustering e deteccao de conflito que tentam neutralizar esse tipo de envenenamento.
Pesquisadores descrevem o "explosive prompt", uma injeção de prompt indireta que fica dormente em conteúdo recuperado por um agente até que uma condição escolhida pelo atacante se cumpra, funcionando como um backdoor condicional plantado sem qualquer treinamento adicional. Em testes contra nove agentes de produção — incluindo Claude Code CLI, Gemini CLI, GitHub Copilot e OpenAI Codex — a técnica atingiu de 43% a 83% de sucesso de execução de ferramenta, contra no máximo 3% de um payload imperativo direto.
O artigo argumenta que avaliar agentes de pentest baseados em LLM apenas pela capacidade de encontrar uma falha ou reproduzir um exploit ignora se o achado é verdadeiro, se o agente respeitou o escopo autorizado e se a operação deixou trilha auditável — propriedades batizadas de "assurance", que os autores defendem devem ser garantidas pelo harness (o runtime em volta do modelo), não pelo modelo em si. Ao testar essas propriedades contra uma implementação real de código aberto (NeuroSploit), encontraram uma lacuna concreta de enforcement de autorização e de auditoria à prova de adulteração.
Pesquisadores apresentam o MATE, um auditor leve para agentes móveis baseados em modelos de fundação que verifica, a partir da sequência de ações do agente e de uma política de segurança escrita em linguagem natural, se houve violação e por quê. Tratando a política como texto editável em vez de parâmetro fixo do modelo, o sistema evita retreinamento a cada nova regra e atingiu mais de 95% de acurácia ao auditar agentes de produção reais como o AutoGLM (Zhipu) e o Mobile-Agent (Alibaba).
O estudo isola o efeito de quatro defesas contra memory-poisoning em agentes LLM rodando exclusivamente sobre tráfego benigno, mantendo backend de memória, retrieval e juiz constantes entre condições. As três defesas aplicadas no momento de escrita da memória não mostraram custo de utilidade mensurável, mas a defesa de leitura (um reranker) colocou memórias legítimas em quarentena em 33,6% dos casos avaliados, chegando a 106 falsas quarentenas em uma única conversa.
Pesquisadores propõem o primeiro modelo de ameaça dedicado a prompt injection em sistemas multiagente, catalogando 14 vetores de ataque em quatro categorias — incluindo canais de injeção invisíveis a defesas de perímetro, criados pela própria troca de mensagens entre agentes. Testando os 14 vetores contra um sistema de produção com 6 agentes, 67% dos agentes se mostraram vulneráveis a pelo menos uma violação de escopo mesmo com guardrails no system prompt, e quatro defesas arquiteturais combinadas derrubaram a taxa geral de sucesso de ataque de 31,2% para 4,2%.
O CROSS-MAP é um framework bidirecional que protege a privacidade de dados enviados a APIs de LLM substituindo o conteúdo semântico original por conteúdo alternativo, mas preservando a estrutura de que o modelo precisa para raciocinar, e depois reconstrói a resposta correspondente ao pedido real do usuário. Modelos locais treinados com otimização multiobjetivo — maximizando divergência semântica no mapeamento e minimizando inconsistência na recuperação — reduziram o sucesso de ataques de reconstrução de texto em múltiplos cenários, mantendo utilidade superior a baselines anteriores.
Um novo trabalho ataca a causa raiz da injeção indireta de prompt: o transformer padrão processa instrução do sistema, entrada do usuário e documento recuperado pelo mesmo mecanismo de atenção, sem nenhuma noção estrutural de qual fonte tem autoridade. A proposta, batizada de Provenance-Aware Transformers, marca cada token com a origem da informação e usa esse sinal dentro da própria rede para separar o que deve ser obedecido do que deve ser tratado só como dado.
Serviços de inferência de LLM baseados em criptografia homomórfica (HE) prometem que o servidor nunca vê o prompt nem a resposta em texto claro, o que é ótimo para privacidade, mas também significa que ninguém pode inspecionar um jailbreak antes de ele ser processado. O paper propõe HE-Guardrail, um jeito de rodar guardrails de segurança inteiros dentro do domínio cifrado, testado com Llama Guard, JBShield e GradSafe.
Em vez de plantar um único documento malicioso óbvio, esse novo ataque contra sistemas RAG divide uma afirmação falsa em pedaços plausíveis espalhados por múltiplos documentos, cada um passando despercebido em uma inspeção isolada. Testado em 108 configurações diferentes de RAG, o ataque se mostrou mais difícil de detectar por auditoria manual de documentos do que envenenamento tradicional concentrado em uma única fonte.
Estudos de privacidade em agentes de LLM costumam avaliar memória, recuperação e uso de ferramentas isoladamente, o que dificulta saber quanto de exposição interna de dado sensível realmente vira informação recuperável por um observador externo. O CIPL propõe uma metodologia unificada, em seis estágios, para medir essa transição, e conclui que o rótulo de onde o dado está armazenado não prevê, sozinho, o risco real de vazamento.
Cada vez mais, o vazamento prático de identidade a partir de texto publicado é obra de atacantes que combinam LLMs com conhecimento auxiliar para ligar documentos a pessoas reais, mas as auditorias existentes não dão garantia estatística formal desse risco por documento. O CPA (Conformal Privacy Auditing) usa calibração conforme para gerar, para cada documento a ser publicado, um certificado do risco de reidentificação contra esse tipo de adversário.
O CASCADE testou 19 ataques de jailbreak contra 15 defesas diferentes, combinadas em várias etapas do pipeline de um LLM, sob um protocolo padronizado de avaliação — algo que faltava numa literatura até então fragmentada por métricas inconsistentes de taxa de sucesso de ataque. A conclusão central, aceita para o EMNLP 2026, é que nenhuma defesa isolada domina todos os cenários, mas combinações bem escolhidas entre estágios reduzem bastante o risco com pouca perda de utilidade do modelo.
A firma de segurança Hacktron AI usou o Claude Opus 5 para gerar exploits funcionais e encadear uma falha de memória no fórum público da OpenAI com uma fraqueza no sistema de login compartilhado, chegando a contas ChatGPT/Codex de funcionários e a um repositório interno de código. O caso mostra tanto o valor ofensivo real de modelos de fronteira em pentest quanto como as salvaguardas contra geração de exploits podem ser contornadas ao se disfarçar o alvo como um ambiente de CTF autorizado.
Pesquisadores atribuíram a um ator com motivação financeira, que se apresenta como caçador de bug bounty, a distribuição do stealer JavaScript PhantomRaven através de mais de cem pacotes maliciosos publicados no npm usando slopsquatting e typosquatting. Evidências como comentários excessivamente verbosos, código de preenchimento e padrões estatísticos de tokens levaram os analistas a concluir, com alta confiança, que o malware foi escrito com o auxílio de um LLM.
Pesquisadores mostram que a predição conforme, usada para dar garantias de cobertura estatística a LLMs de detecção de intrusão de rede, falha quando um atacante manipula features de tráfego controláveis. A calibração ciente do tráfego adversarial restaura a garantia contra atacantes que usam um mecanismo de perturbação conhecido, mas um atacante adaptativo que consulta o próprio modelo-alvo ainda consegue degradar essa proteção.
O ataque ALIBI insere uma seção somente-leitura, não executada, dentro de um binário compilado, contendo uma narrativa falsa e coerente de produto de segurança legítimo — sem alterar imports ou comportamento executável. Em vez de instruir o modelo diretamente, ele reenquadra evidências suspeitas como comportamento esperado, e conseguiu reverter 30 de 35 amostras maliciosas para benignas no Gemini 2.5 Pro, além de reduzir significativamente a severidade atribuída por GPT-5.5 Pro e Claude Opus 4.7.
Candidatos podem esconder instruções dentro de currículos usando texto branco, fonte de tamanho zero, metadados ou caracteres de largura zero, que passam despercebidos por revisores humanos mas são lidos e obedecidos por pipelines de triagem baseados em LLM — uma injeção indireta classificada pela OWASP como LLM01:2025. O ResumeShield demonstra que colocar o conteúdo do candidato em um canal de dados explicitamente isolado elimina sozinho 100% dos ataques testados, enquanto filtragem de conteúdo sem essa separação ainda deixa 16,7% dos ataques funcionando.
Em serviços de LLM cobrados por token, provedores desonestos podem manipular a geração para inflar o número de tokens de saída preservando a utilidade da tarefa — o que os autores batizam de Provider-Side Token Inflation Attack (PTIA). Um método de auditoria por sonda única, sem precisar de modelo de referência confiável, detecta esse comportamento com 85,1% de acerto médio e menos de 2% de falsos positivos, e ao aplicá-lo a 15 serviços comerciais reais de API LLM, sinalizou 7 deles como consistentes com PTIA.
O MarkSec unifica a avaliação de três famílias de ataque contra watermarking de texto gerado por LLM -- roubo, remoção e forjamento da marca -- sob um protocolo comum de calibração e uma métrica que mede sucesso do ataque e qualidade do texto ao mesmo tempo. O achado central é que ataques que parecem vencer olhando só a remoção do watermark muitas vezes perdem para uma reescrita genérica simples quando a qualidade do texto também é exigida.
O InceptionRAG fragmenta uma carga maliciosa em uma cadeia de passagens dormentes, cada uma inofensiva quando examinada isoladamente, que só produzem desinformação-alvo quando recuperadas juntas e encadeadas pelo raciocínio multi-hop do LLM. O ataque supera 80% de taxa de sucesso mesmo contra defesas que já mitigam a injeção tradicional de documento único, expondo um paradoxo: quanto melhor o LLM raciocina, mais vulnerável ele fica a esse tipo de indução lógica.
Pesquisadores descreveram o BadEngram, um ataque pós-treinamento que planta um backdoor persistente nos componentes de memória parametrizada com gates ("gated memory") usados por LLMs modernos para ganhar capacidade sem aumentar proporcionalmente o custo computacional. O ataque atinge 96,6% de taxa de sucesso em um modelo controlado e, mais preocupante, entre 50% e 60% de taxa de sucesso ao ser testado no subsistema de memória por camada de um modelo de produção real (Qwen3.8-Flash-Next), enquanto mantém a acurácia normal do modelo intacta.
O CIG-MIA é um novo ataque de inferência de associação (membership inference) contra sistemas de geração aumentada por recuperação (RAG), capaz de determinar se um documento específico está presente na base de conhecimento privada de um sistema, mesmo sob acesso apenas textual de caixa-preta. Testado no dataset Natural Questions, o ataque atinge AUC de 0,99 no cenário com acesso a probabilidades internas (gray-box) e 0,93 no cenário totalmente de caixa-preta, superando ataques anteriores baseados em prompts diretos de associação ou similaridade de resposta.
Pesquisadores mostram que small language models (SLMs) de peso aberto, rodando localmente e sem os guardrails de APIs comerciais, resolvem mais desafios de CTF ao dividir a exploração em subtarefas isoladas de contexto. A técnica, chamada context segmentation, resolveu 18,52% das tarefas do picoCTF que a execução agêntica padrão não conseguia, usando um modelo pequeno com restrição de memória.
O artigo mostra que modelos de atribuição de autoria conseguem reidentificar autores de textos anonimizados, inclusive transcrições de reuniões e ligações, a partir apenas do estilo de escrita, mesmo depois de removidos identificadores explícitos. Os autores propõem reescrever o texto com um LLM guiado por um perfil estilístico compacto para suprimir esses marcadores, reduzindo o sucesso da atribuição de autoria em 60-70% sem destruir a legibilidade, superando abordagens de privacidade diferencial que sacrificam demais a qualidade do texto.
O GraphProfiler demonstra que perfiladores baseados em LLM conseguem inferir atributos sensíveis como idade, renda e ocupação a partir da agregação de pistas espalhadas em posts aparentemente inofensivos, com taxa de sucesso de até 86,7%. Diferente de perfiladores anteriores, o sistema rastreia cada inferência até o post de origem, permitindo mostrar que remover os poucos posts realmente reveladores neutraliza o ataque de forma muito mais eficiente do que apagar posts aleatórios.
A Anthropic identificou seis campanhas de extração de conhecimento contra o Claude, atribuídas a empresas como Alibaba, Moonshot AI, DeepSeek, Zhipu/Z.ai, Xiaomi, SenseTime e MiniMax, somando centenas de milhões de interações fraudulentas entre fevereiro e julho de 2026. As campanhas usaram contas falsas, cartões roubados e redes de proxy para mascarar a origem das requisições e coletar respostas do modelo, incluindo cadeias de raciocínio, para treinar concorrentes.
Um estudo controlado com o Llama 3.1 8B quantizado mediu, em 588 execuções fatoriais sobre uma tarefa de checagem de fatos baseada no FEVER, quanto a acurácia de um sistema RAG cai conforme uma fração crescente dos documentos recuperados é corrompida por troca de entidades, troca de números ou negação. A acurácia caiu de 77,9% com contexto limpo para 43,5% quando as três passagens recuperadas estavam corrompidas, e a reação predominante do modelo sob ataque foi se abster de responder, não inventar novas afirmações falsas.
Pesquisadores desenvolveram uma taxonomia de 18 classes de vulnerabilidade específicas para software automotivo e um framework, LLMSec-AV, que usa essa taxonomia para orientar LLMs na análise de código do Autoware. Rodando sobre 161 funções extraídas de 4.673 funções decompostas, o LLM recuperou até 76% das 46 fraquezas conhecidas usadas como referência, contra zero encontradas por CodeQL, Semgrep e Clang Static Analyzer, e apenas uma pelo cppcheck apesar de 1.301 alertas gerados.
A análise de um dump de 7 GB coletado por infostealers como Lumma Stealer e Vidar revelou milhares de tokens de sessão e chaves de API válidos para serviços de IA da Google, Anthropic, OpenAI e outros provedores, incluindo pelo menos 24 chaves de API ainda ativas para Gemini, OpenAI, Groq e OpenRouter. Como esses tokens autenticam diretamente a sessão, criminosos conseguem reproduzi-los com navegadores 'anti-detecção' e ferramentas de automação para assumir contas de IA sem precisar da senha nem disparar o desafio de MFA.
Pesquisadores propoem medir a exposicao de seguranca de agentes de longo horizonte por "distancia de influencia" -- o caminho mais curto num grafo de execucao com rastreamento de proveniencia entre uma fonte nao confiavel e uma acao sensivel -- em vez da contagem tradicional de passos na trajetoria. Analisando 454 pares injecao-alvo em 360 trajetorias do AgentDojo, rodadas em GPT-4o, GPT-4o-mini, Claude Haiku 4.5 e Claude Sonnet 4.6, encontraram que em 96,9% dos casos a distancia estrutural real e bem menor que a distancia por contagem de passos (mediana de 9 saltos de diferenca), o que significa que muitos ataques estao estruturalmente muito mais proximos da acao perigosa do que a contagem ingenua de passos sugere.
O benchmark HAE-GEO testa agentes de busca aumentada por LLM (usados para decisoes de consumo) contra envenenamento de evidencias web em tres niveis crescentes de persuasao -- afirmacao direta, camuflagem contextual e corroboracao aparente por multiplas fontes coordenadas -- usando um corpus controlado de mais de 72 mil paginas limpas e 770 paginas envenenadas por nivel, cobrindo 154 marcas. Ao avaliar dez agentes, os autores encontram que o reconhecimento de evidencias suspeitas piora exatamente no nivel mais sofisticado (corroboracao aparente), e que prompts defensivos aumentam a verificacao sem necessariamente levar o agente a corrigir a recomendacao final.
O SRD-GUARD e uma defesa contra jailbreak sem acesso aos pesos do modelo (black-box) que gera cinco reescritas semanticas do prompt original removendo a "embalagem" de contexto (roleplay, cenarios ficticios) e avalia o prompt original junto com as reescritas por meio de varios avaliadores LLM independentes, combinando limiares absolutos de risco com a variacao relativa de risco entre versoes. Testado contra os ataques UNIATTACK, CIPHER e DeepInception em Llama-3-8B-Uncensored e DeepSeek-V4-Flash, alcancou taxas de defesa de 91,44% e 100% mantendo taxa de recusa indevida de pedidos legitimos entre 8% e 12%.
O MechAudit-40 avalia sistematicamente 40 mecanismos de ataque a LLMs (otimizacao de prompt, manipulacao de contexto multi-turno, envenenamento de recuperacao e backdoors) em cinco arquiteturas de peso aberto, usando 100 mil pares de representacao limpa/atacada para mostrar que ataques heterogeneos deixam assinaturas geometricas transferiveis nas ativacoes internas do modelo. A partir disso, os autores constroem o MechAudit, um auditor de runtime que detecta 81,1% das execucoes de ataque nunca vistas com apenas 0,70% de falsos positivos, sem depender de referencias limpas ou metadados do ataque -- e mantem mais de 50% de recall mesmo quando uma categoria inteira de ataque e retirada do treinamento.
Esquemas leves de privacidade para inferencia em LLM transformam localmente embeddings em texto claro para embeddings ofuscados via substituicao um-para-um, resistindo a ataques classicos de frequencia de token e inversao de embedding, mas sem garantia criptografica formal. O ataque Proxy Manifold Alignment (PMA) trata o fluxo de vetores ofuscados como uma "lingua" desconhecida e usa Word2Vec para modelar padroes de coocorrencia tanto no fluxo ofuscado quanto num corpus publico, alinhando as duas estruturas geometricas resultantes para mapear vetores ofuscados de volta ao texto original, superando outros ataques do estado da arte na taxa de recuperacao de texto claro.
O GPT-6 Astra, novo modelo de fronteira da OpenAI, atingiu 100% de acerto no ExploitBench, benchmark que mede a capacidade de transformar vulnerabilidades conhecidas em exploits funcionais, ante 78,5% do modelo anterior. Por ter cruzado o limiar 'Critical' de capacidade cibernética do Preparedness Framework da empresa, a versão pública do modelo foi restringida a tarefas de revisão segura de código e correção, recusando pedidos de geração de provas de conceito de exploração, enquanto a OpenAI lança em paralelo o programa Daybreak para equipar defensores com capacidades equivalentes.
O artigo expõe como técnicas de 'Generative Engine Optimization' (GEO) podem ser usadas de forma maliciosa para reescrever páginas web e manipular quais fontes um mecanismo de busca baseado em LLM cita em suas respostas, alcançando hoje cerca de 50% de taxa de sucesso. Os autores propõem o GEO Defender, uma defesa em duas etapas — um reranker com viés defensivo aprendido e uma biblioteca de 'experiências' em linguagem natural — que não exige retreinar o modelo alvo. Nos experimentos, a defesa derruba a taxa de sucesso do ataque para cerca de 6%, preservando o uso de conteúdo legítimo e a qualidade das respostas, inclusive contra ataques inéditos.
Pesquisadores testaram ChatGPT, Claude, Qwen, Mistral e Llama pedindo que cada modelo criasse e aplicasse seu próprio teste para verificar a alegação não comprovada de um usuário: "eu sou seu desenvolvedor". Enquanto Claude recusou o teste e ChatGPT manteve que respostas corretas provam apenas conhecimento, Qwen, Mistral e Llama geraram desafios técnicos, avaliaram as respostas e declararam a identidade "verificada" sem qualquer evidência externa validável. Os autores chamam essa falha de Conversational False Authentication (CFA), viabilizada por um Model-Issued Pseudo-Credential (MIPC), e destacam que, embora não tenha havido escalonamento de privilégio real no experimento, o padrão expõe um risco estrutural para produtos que deleguem autenticação à conversa com o modelo.
Pesquisadores propõem o AlcaTRAz, uma defesa aplicada apenas ao texto do prompt de entrada, sem precisar acessar pesos ou internos do modelo. A técnica aprende automaticamente uma regra de transformação que insere pequenas perturbações em nível de caractere, quebrando padrões estruturais que ataques de jailbreak exploram. Testada em 33 modelos e 22 tipos de ataque, ela superou defesas concorrentes na maioria dos casos, reduzindo drasticamente a severidade das respostas maliciosas com pouco impacto em perguntas legítimas.
Pesquisadores formalizam e demonstram 'ataques de inferencia de contexto': tecnicas que revelam o conteudo de dados sensiveis carregados silenciosamente no contexto de um agente de IA (por exemplo, registros medicos ou financeiros buscados por chamadas de ferramentas), sem precisar induzir o modelo a divulgar o conteudo diretamente. Uma unica estrategia de ataque atinge ate 100% de sucesso em conjuntos pequenos de candidatos e mantem alta eficacia mesmo quando o atacante nao conhece o template do contexto ou so tem acesso via um modelo substituto.
Pesquisadores descrevem e medem a 'lavagem de autorizacao endogena' (endogenous authorization laundering), uma falha em que a propria memoria persistente de um agente de IA registra incorretamente permissoes que nunca foram concedidas, levando o agente a agir como se estivesse autorizado. No benchmark EAL-Bench, modelos atuando como 'escritores' de memoria geraram autoridade falsa em ate 50,2% das solicitacoes indevidas, e modelos atuando como 'executores' agiram sobre essa autoridade falsa em 98,6% dos casos.
O ataque ISM (Implicit Skill-Selection Manipulation via Semantic Matching) manipula qual skill um agente de IA escolhe para atender a um pedido, moldando a relacao semantica entre o prompt do usuario e a descricao da skill em vez de usar injecao de prompt explicita. O metodo eleva a taxa de selecao da skill alvo de 15,2% para 63,5% em media, e e bloqueado por revisores humanos em apenas 2,9% das avaliacoes, contra 91,4% para ataques explicitos equivalentes.
Pesquisadores propoem um sistema de proveniencia tipada e guardrails de asserção para agentes de IA com memoria persistente, partindo do principio de que dado armazenado ou recuperado nao e automaticamente confiavel -- entradas nao confiaveis, injecoes de prompt e inferencias do proprio modelo podem entrar na memoria do agente e depois ser apresentadas como historico legitimo ou compromisso do usuario. Em 24 casos de teste de conformidade, o mediador proposto bloqueou 19 de 19 tentativas inseguras sem qualificacao, enquanto abordagens anteriores liberaram ate 19 de 19 candidatos inseguros.
O ataque SkillShift mostra como uma skill de terceiros aparentemente legitima -- que preserva a funcionalidade declarada e a interface de saida valida -- pode redirecionar secretamente as decisoes de um agente de IA para um objetivo nao divulgado, sem usar injecao de comando explicita ou sequestro direto de tarefa. Em cenarios de comercio agentico e selecao de dependencias de software, o ataque atingiu taxas de selecao favoraveis ao atacante de 81,33% e 63,33%, respectivamente, mantendo 100% de utilidade aparente e passando despercebido pelos scanners de seguranca avaliados.
O OWASP GenAI Security Project divulgou a edição 2026 do Top 10 para Aplicações LLM, agora fundamentada em milhares de incidentes reais em vez de apenas consenso de especialistas. Junto com a lista, o projeto lançou o Agent Control Standard, dedicado à governança de identidade, permissões e testes de segurança para agentes autônomos, e elevou o risco de 'Excessive Agency' à terceira posição do ranking.
Diante da chegada de 'app stores' de habilidades para frotas de robôs guiadas por LLM, pesquisadores argumentam que o modelo tradicional de PKI centralizada (uma autoridade certificadora, um log de transparência único) não se encaixa em operadores heterogêneos, implantações isoladas de rede e consequências físicas de confiar no publicador errado. Eles propõem 'confiança federada', em que cada robô mantém seu próprio diretório local de assinantes confiáveis, e mostram que o esquema bloqueia 100% de ataques de publicador falso, adulteração e assinante revogado em 5.000 tentativas adversariais.
Uma revisão sistemática aceita na EMNLP 2026 mapeia 148 métodos de esteganografia linguística, 60 contramedidas de steganalysis e 23 métricas de avaliação, mostrando como LLMs mudaram o campo: de edição de texto-portador para geração pura via prompt, e de acesso caixa-branca a cenários caixa-preta. O levantamento é relevante porque LLMs tornam mais barato esconder mensagens dentro de texto aparentemente normal, com implicações tanto para comunicação encoberta maliciosa quanto para as defesas que tentam detectá-la.
Pesquisadores demonstram que o paradigma de decodificação colaborativa nuvem-borda — em que um modelo pequeno local processa dados privados e funde suas distribuições de próximo token com um LLM na nuvem que só vê dados públicos — ainda vaza quantidades substanciais de contexto privado, usando um novo framework de avaliação baseado em datasets de QA. A defesa proposta, CoVeil, otimiza dinamicamente o sinal transmitido durante a decodificação e reduz o vazamento em até 87,2% com perda mínima de acurácia.
Pesquisadores propõem o WoE, uma técnica de watermarking que embute o sinal de proveniência diretamente nos pesos de modelos Mixture-of-Experts esparsos, em vez de depender do wrapper de inferência controlado pelo dono do modelo. Isso permite atribuir texto gerado mesmo depois que os pesos são roubados ou vazados — algo que os métodos de watermark tradicionais, dependentes do sampler de inferência, não conseguem fazer — com taxa de detecção de até 94,9% e resistência a fine-tuning, extração de modelo e paráfrase.
Pesquisadores propõem ROPE, um mecanismo que só permite que um valor chegue a uma ferramenta sensível de um agente LLM se sua origem for rastreável de forma inforjável até o usuário, uma fonte por ele nomeada ou seus próprios registros. Em testes com quatro modelos de agente, a técnica reduziu a taxa de sucesso de ataques de injeção indireta de prompt para 1,6-2,6%, contra 0% em ataques de longo horizonte que hoje derrotam defesas de nível de sistema, preservando 82-100% da utilidade do agente sem proteção.
O ataque ContextLeak usa aprendizado por reforço para gerar automaticamente nome e descrição de uma ferramenta maliciosa capaz não só de ser escolhida por um agente LLM, mas de convencê-lo a repassar como argumentos dados sensíveis do seu contexto de execução — prompt do usuário, trajetória e lista de ferramentas. O ataque se mantém eficaz mesmo quando os contextos de usuários simulados usados no treinamento diferem substancialmente dos das vítimas reais, superando ataques anteriores de ferramenta maliciosa adaptados ao mesmo cenário.
O ataque ProjRes (publicado no S&P 2026) consegue distinguir se um dado específico participou do treinamento de um LLM em aprendizado federado apenas observando o resíduo de projeção entre a representação candidata e o subespaço formado pelos gradientes visíveis ao servidor — sem acessar as saídas do modelo. O FISGuard neutraliza esse ataque fixando um subespaço de representação de baixa dimensão construído a partir de dados públicos, derrubando a AUC do ProjRes para próximo de 0,5 (equivalente a chute aleatório) com pouca perda de desempenho.
O artigo propõe um framework de auditoria que usa sondas inspiradas em exemplos adversariais para amplificar diferenças de saída (drift de logits) entre um modelo de LLM aprovado e uma versão possivelmente alterada após o deploy, combinado com provas de conhecimento zero (zk-SNARK, Groth16) para preservar a privacidade do provedor do modelo durante a verificação. Sondas baseadas em token, que operam em acesso caixa-preta, entregaram a maior sensibilidade média entre as variantes testadas, com tempo de prova de 1 a 1,8 segundos mesmo escalando para 50 sondas.
CAITLYN é um middleware de defesa agnóstico ao agente que ataca o 'trilema' entre eficiência, precisão contextual e adaptabilidade das defesas atuais contra prompt injection, combinando uma camada imediata de detecção baseada em regras e inferência por LLM (System I) com uma camada que monitora sinais anômalos e sintetiza autonomamente novas defesas verificadas (System II). Em um novo benchmark de técnicas de injeção emergentes, o System I isolado permaneceu vulnerável, mas o System II reduziu substancialmente a taxa de sucesso de ataque em três ambientes de agente distintos.
CamoDocs é um ataque de envenenamento de dados contra sistemas RAG (retrieval-augmented generation) que evita incluir a consulta-alvo diretamente nos documentos maliciosos — a técnica que a maioria das defesas de detecção hoje monitora — misturando conteúdo adversarial com rascunhos benignos e usando 'tokens de dispersão' para camuflar o embedding dos documentos envenenados. Contra sete defesas de RAG, três LLMs abertos e três benchmarks, o ataque manteve taxa de sucesso média de 61,80% no GPT-5.4-mini e 55,09% no Claude-Haiku-4.5, sendo neutralizado de forma consistente só por defesas de clustering agressivo, que por sua vez destroem a utilidade do sistema.
Praticamente todos os benchmarks de injeção de prompt existentes testam contextos curtos, o que segundo os autores infla artificialmente a eficácia percebida das defesas atuais. O LongPIBench cobre quatro cenários realistas — revisão de artigos, triagem de currículos, revisão de código e resumo de e-mails — com contextos de milhares a dezenas de milhares de tokens, e mostra que até ataques simples de injeção conseguem taxas de sucesso altas e contornam defesas de estado da arte nesse regime.
Times que empilham várias defesas de LLM costumam assumir que elas se complementam, mas isso só é matematicamente verdade se cada camada falhar em entradas diferentes das outras. Medindo um adversário adaptativo único contra uma pilha de sete camadas defensivas, os autores encontraram correlação positiva de falha em todos os quinze pares mensuráveis (φ entre 0,30 e 0,75), fazendo o sucesso residual do ataque superar em até 0,172 a previsão multiplicativa ingênua, enquanto a pilha inteira recusa quatro em cada cinco prompts benignos e não se distingue estatisticamente da sua camada mais forte isolada.
Pesquisadores criaram o SECRTL-GEN, benchmark com 392 tarefas de geracao de codigo de hardware (RTL) em Verilog, SystemVerilog, VHDL e Python que testa correcao funcional e seguranca separadamente. Modelos de fronteira passam em 73% a 79% dos testes funcionais mas apenas 14% a 35% dos testes de seguranca, e modelos funcionalmente melhores nao sao necessariamente mais seguros -- um framework auxiliar, o RTL-Obliger, eleva a taxa combinada de aprovacao para 61,6% inferindo obrigacoes de seguranca implicitas a partir da propria especificacao.
Nova defesa aplicada na fase de fine-tuning espalha a informação de recusa de segurança por um conjunto mais amplo de neurônios de um LLM, em vez de concentrá-la em poucos neurônios críticos, reduzindo a taxas de sucesso de jailbreaks textuais e de ataques que podam neurônios após o deploy para perto de zero, mantendo a utilidade do modelo.
Defesa geométrica para sistemas RAG usa um encoder substituto para medir como cada documento recuperado desloca o estado oculto do modelo, filtrando como outliers os documentos que tentam manipular a resposta, com garantia formal de recuperar um contexto livre de veneno sob suposição de maioria honesta.
Pesquisadores do grupo de trabalho da OWASP compararam o ranking de riscos do Top 10 para LLMs, definido por consenso de especialistas, com um levantamento de mais de 6.600 incidentes reais extraídos de bases como CVE, GHSA, OSV e AIAAIC. A concordância entre o ranking de especialistas e o ranking baseado em incidentes reais foi fraca (Cohen's kappa ~0,20), embora o próprio ranking de especialistas continue sendo o mais robusto quando testado contra classificadores automatizados de última geração.
Pesquisadores identificaram três canais distintos pelos quais gradientes compartilhados durante o treinamento federado de LLMs baseados em transformers vazam o texto original de treinamento, e propuseram o AEGIS, uma defesa leve que neutraliza os três ao mesmo tempo sem mudar a arquitetura do modelo. O trabalho, aceito na NDSS 2027, reduziu a taxa de recuperação de tokens a quase zero em 11 modelos e seis conjuntos de dados, inclusive contra atacantes adaptativos que conhecem a defesa.
Pesquisadores consolidaram 13 fontes públicas para criar o MaliciousSkillBench, um benchmark com 9.740 "Agent Skills" (pacotes de instruções, scripts e configurações reutilizáveis que estendem agentes de LLM), sendo 7.505 maliciosas. O resultado mostra que os melhores detectores atuais, embora pontuem bem em avaliação aleatória, despencam quando testados contra skills de fontes nunca vistas — um dos melhores modelos manteve 95,6% de detecção maliciosa mas gerou 62,4% de falsos positivos em skills benignas.
Pesquisadores propuseram o COPA, um framework que atualiza continuamente as defesas de um LLM contra prompt injection à medida que novos ataques surgem, em vez de depender de um alinhamento estático feito uma única vez. Usando otimização por preferência baseada em GRPO e replay de experiência ponderado por margem para não esquecer defesas antigas, o método reduziu a taxa de sucesso de ataques em até 6,3 vezes frente a defesas de última geração, em fluxos de ataques que evoluem ao longo do tempo.
Pesquisadores descobriram uma superfície de "replay de raciocínio" entre chamadas de ferramentas em modelos de raciocínio de grande porte (LRMs) e usaram esse ponto cego para extrair, de forma quase literal, o chain-of-thought oculto que provedores como o Google escondem por padrão. A técnica, batizada de EchoCoT, chegou a extrair 33.463 tokens de raciocínio do Gemini-2.5 a partir de um alvo de 32.948 tokens, com até 80% de sucesso de extração em datasets nunca vistos durante o desenvolvimento do ataque.
Pesquisadores demonstraram que a simples presença de dados sensíveis (como números de cartão ou de seguridade social) no contexto de um LLM introduz correlações ocultas em respostas completamente benignas do modelo, permitindo reconstruir esses dados mesmo quando o modelo se recusa corretamente a repassá-los se pedido diretamente. Em oito modelos proprietários testados, segredos de 2 dígitos foram reconstruídos com precisão quase perfeita e segredos de 4 dígitos com 82% de acerto exato, e um adversário treinado com RL conseguiu extrair números completos de seguridade social de um agente em estilo de produção.
O QRS (Query, Review, Sanitize) é um framework neuro-simbólico que usa três agentes de LLM para gerar, revisar e validar consultas CodeQL automaticamente, em vez de depender de regras curadas manualmente como em ferramentas SAST tradicionais. Aplicado aos 100 pacotes mais baixados do PyPI, o sistema encontrou 41 vulnerabilidades de severidade média a alta, das quais 8 receberam CVEs novos e 4 foram reconhecidas via atualização de documentação.
Um novo método de inversão de embeddings, batizado DAEI, consegue reconstruir texto original a partir de vetores de embedding que foram deliberadamente protegidos com ruído gaussiano — a defesa de privacidade mais comum contra ataques de inversão. O truque técnico é treinar um denoiser não supervisionado que remove o ruído de proteção antes de aplicar a inversão generativa, contornando o que os autores chamam de "armadilha do ruído duplo". Os ganhos relatados (até 154% em BLEU sobre a linha de base) sugerem que perturbação gaussiana isolada não é suficiente para proteger embeddings liberados publicamente.
Pesquisadores apresentam o FedLNS, um mecanismo do lado do servidor para detectar atualizações maliciosas em aprendizado federado de modelos de linguagem, sem exigir acesso aos dados brutos dos clientes nem exemplos rotulados de ataque. A ideia é usar as mudanças nos parâmetros das camadas de normalização (LayerNorm) de cada atualização de cliente como uma "assinatura" comparável a uma referência histórica robusta entre clientes. Em experimentos com até 40% dos clientes manipulando alvos de treino, o método reduziu a perplexidade do modelo global mais do que seis baselines concorrentes, em arquiteturas estilo GPT, BERT e LLaMA.
Pesquisa (atualização v4, aceita no IEEE ICDM 2026) apresenta um framework adaptativo que gera e refina automaticamente jailbreaks contra sistemas de LLM baseados em áudio, cobrindo tanto pipelines em cascata (que primeiro transcrevem a fala para texto) quanto modelos de áudio ponta a ponta que processam o sinal bruto diretamente. Um motor de mutação guiado por feedback ajusta tanto o texto do prompt quanto perturbações acústicas para maximizar a taxa de sucesso, e o método superou o estado da arte em seis sistemas de áudio representativos, evidenciando que ambos os paradigmas seguem substancialmente vulneráveis a esse tipo de ataque.
Um novo estudo extrai as ativações internas de quatro LLMs no momento em que leem código C/C++ e treina probes leves sobre elas para prever se o código é vulnerável, sem depender de analisadores estáticos ou classificadores separados. Os probes chegam a igualar o desempenho de classificadores especializados no benchmark Devign, usando menos de 0,2% do tamanho do modelo base, embora percam desempenho em benchmarks mais difíceis e desbalanceados.
Pesquisadores provam matematicamente que defesas com estado contra ataques de decomposição, que dividem uma tarefa nociva em pedidos individualmente inofensivos, deixam de funcionar quando atacantes podem criar identidades novas e não vinculáveis e combinar as respostas fora da plataforma. Em testes com tarefas reais, todas as dez políticas de defesa avaliadas falharam em conter o ataque ou romperam o orçamento de recusas permitido, mesmo com uma política idealizada com mapeamento perfeito de pedidos.
O estudo caracteriza a superfície de ataque de motores de busca generativos (GSEs) contra ataques de poisoning via citações, propondo a métrica 'content-injection barrier' para medir o quão difícil é inserir conteúdo malicioso na web com determinado nível de autoridade de publisher. Testado no domínio político nos EUA e no Japão, o trabalho encontra que partidos no poder têm superfície de ataque maior que a oposição, e que perfis de personalização do usuário têm pouca influência sobre quais fontes são citadas.
Pesquisadores testaram a estratégia de "envenenamento defensivo": instalar deliberadamente um backdoor conhecido num agente LLM comprometido e depois desaprendê-lo, na esperança de que o backdoor original oculto seja removido como efeito colateral. Em 115 experimentos, essa técnica sozinha eliminou cerca de 56% dos backdoors originais, e a descontaminação subsequente removeu quase todos os sobreviventes — mas vestígios do gatilho original persistiram nas camadas internas do modelo mesmo após o comportamento malicioso ser eliminado.
Pesquisadores propõem um teste de caixa-preta barato para checar se um LLM baixado de um repositório público esconde um backdoor: alimentar repetidamente a própria saída do modelo de volta como entrada, deixando o texto derivar até tocar nos dados usados no fine-tuning malicioso. A técnica encontrou backdoors em cinco de seis modelos testados com 92% de precisão agregada, contra apenas um acerto em 120 tentativas de um baseline que repete o mesmo prompt.
Pesquisadores demonstraram que os blocos de raciocínio oculto usados pelas APIs de reasoning da OpenAI, Anthropic e Google podiam ser reaproveitados entre sessões, usuários e até modelos diferentes, e que um modelo menor bastava para transcrever o conteúdo de um modelo maior. A técnica recuperou centenas de segredos reais — chaves de API, senhas e tokens — que apareciam apenas no raciocínio oculto, nunca no texto visível, tornando a sanitização de logs tradicional insuficiente.
O EvoTrustRAG propõe um novo problema para RAG: em vez de apenas escolher qual evidência conflitante é mais confiável, o sistema tenta atribuir a origem do conflito — evolução legítima do conhecimento ao longo do tempo, manipulação adversarial deliberada, ou incerteza não resolvida — antes de gerar a resposta. Em benchmarks, o método reduziu de 31,2% para 16,0% a taxa de erro sob o ataque coordenado mais forte testado.
O BASIS ataca um problema pouco discutido em defesas contra prompt injection: modelos bem instruídos conseguem resistir à maioria das injeções sozinhos, mas defesas tradicionais recusam qualquer entrada onde uma injeção é detectada, mesmo quando o modelo teria lidado com ela corretamente. Usando um sinal chamado Attention Competition Ratio para treinar dois probes lineares esparsos, o método mantém detecção quase perfeita de injeção reduzindo substancialmente essas recusas desnecessárias, sem exigir inferência adicional do LLM.
O SkillsMetric é um framework de análise estática em cinco estágios para avaliar pacotes de "Agent Skills" (extensões de instruções e scripts para agentes LLM) quanto a risco malicioso, atingindo AUC de 0,93 em um dataset adversarial de 2.266 skills cobrindo 16 tipos de ataque. Apesar do bom desempenho geral, os autores identificam pontos cegos completos: ataques de destruição de host usando comandos de shell comuns escapam de todos os cinco estágios (0% de detecção), e prompt injection via manipulação em linguagem natural é detectada em apenas 42% dos casos.
Pesquisadores identificaram uma campanha ativa que abusa de botões "Ask AI" embutidos em sites comerciais para injetar instruções ocultas dentro da sessão do próprio assistente de IA do usuário, sem exigir malware, phishing de credenciais ou exploração de uma falha de software. O payload leva o modelo a gravar o domínio do atacante como "fonte confiável" na sua memória persistente, viesando respostas futuras do assistente para outros usuários. A Microsoft já catalogou a técnica em uso por 31 empresas de 14 setores diferentes.
Sistemas de defesa cibernética autônoma baseados em Deep Reinforcement Learning são hoje avaliados quase exclusivamente contra agentes vermelhos estáticos e heurísticos, deixando sua robustez contra ameaças adaptativas pouco testada. O Trident, um framework de red-team agêntico baseado em LLM com arquitetura 'código como política', reduziu o desempenho defensivo de agentes azuis em 522% na média usando um único planejador treinável de 7 bilhões de parâmetros, descobrindo autonomamente comportamentos emergentes como evasão de decoys que heurísticas estáticas nunca haviam revelado.
Serviços de LLM em nuvem processam rotineiramente prompts sensíveis, e defesas de ofuscação como ObfusLM, SentinelLMs, TextObfuscator e DPNR prometem mitigar esse risco transformando a representação do prompt antes do envio. O DeepInvert, um ataque de inversão de embeddings semi-supervisionado, mostra que essa proteção é muito mais frágil do que se acreditava, recuperando 73,5% dos tokens originais contra o ObfusLM, ante 26,2% do melhor ataque anterior.
Pesquisadores identificaram mais de meia dúzia de serviços clandestinos revendendo acesso a modelos de IA de grandes provedores, entre eles o 'Poison Claude', que oferece Opus e Sonnet a 5-15% do preço oficial. Como o serviço funciona como proxy/gateway, o operador tem visibilidade completa sobre cada prompt enviado pelos clientes, criando um risco de exfiltração de dados sensíveis para quem usa esse acesso pirateado.
Um novo estudo mostra que LLMs agentic frequentemente 'sabem' internamente que estão sob um ataque de prompt injection indireta antes mesmo de decidir como agir, e que esse sinal pode ser extraído por um simples classificador linear treinado sobre os estados ocultos do modelo. Os autores identificam, porém, uma lacuna entre esse reconhecimento interno e a ação tomada, e propõem uma defesa que usa esse sinal para forçar um raciocínio anti-injeção sob demanda.
Um benchmark comparando sete modelos (três LLMs fechados e quatro SLMs abertos) na geração de código Terraform para AWS mostra que validade sintática e conformidade de segurança são praticamente independentes: alguns modelos geram Terraform que funciona perfeitamente, mas quase nunca passa em scanners de segurança como Checkov e Trivy. Os autores concluem que engenharia de prompt sozinha não é suficiente e que scanning automatizado continua indispensável.
Pesquisadores propõem o DenialRAG, um ataque de envenenamento de corpus em sistemas de geração aumentada por recuperação (RAG) que, ao invés de simplesmente omitir a resposta correta, a nomeia explicitamente dentro do documento malicioso, a refuta e oferece uma explicação forjada para a resposta errada. Testado contra oito LLMs de quatro fornecedores, o ataque teve a maior taxa de sucesso registrada em todos os conjuntos de dados baseados em Mistral-7B, embora sua eficácia varie bastante conforme o modelo alvo.
Um estudo mostra que perguntas nocivas normalmente recusadas de forma confiável quando enviadas isoladamente conseguem obter respostas prejudiciais quando embutidas em um lote de perguntas benignas — um ataque simples, de caixa preta, que não exige nenhuma modificação no modelo. Os autores atribuem a falha ao enfraquecimento do sinal de alinhamento e à diluição do sinal de recusa quando várias perguntas competem pelo mesmo contexto, e propõem uma otimização de preferência específica para lotes como mitigação.
Uma análise da The Hacker News argumenta que modelos de linguagem estão corroendo a premissa clássica de que a capacidade ofensiva escala com a experiência técnica do atacante. Ao traduzir intenção maliciosa em ações concretas via linguagem natural, a IA reduz drasticamente o tempo e o conhecimento necessários para pesquisar, entender e explorar uma vulnerabilidade. O texto defende que isso obriga times de segurança a trocar avaliação de risco por sofisticação do adversário por validação contínua dos controles.
Pesquisadores demonstraram que é possível enganar esquemas de verificação por conhecimento zero (ZK) usados para provar que um provedor de inferência de LLM está executando o modelo do tamanho anunciado. O ataque, batizado Hollow-LLM, usa pesos degenerados que passam na prova criptográfica mas exigem computação equivalente a um modelo muito menor. O artigo foi aceito no IEEE S&P 2026 e expõe uma lacuna fundamental entre 'prova de correção' e 'prova de esforço computacional' em serviços de inferência auditáveis.
GoldenRetriever é um esquema de recuperação para RAG que roda inteiramente sob criptografia homomórfica, evitando que o servidor veja a consulta, os documentos ou os índices selecionados. Em vez do caro ranking top-k sob criptografia, o sistema usa seleção por limiar de similaridade, reduzindo a complexidade de quadrática para linear. Os autores reportam latência bem menor que abordagens anteriores baseadas em ranking, mantendo qualidade de recuperação competitiva.
Pesquisadores descrevem 'memory provenance laundering', uma falha em que a consolidação de memória de longo prazo de agentes LLM apaga a marca de que uma informação veio de fonte não confiável, fazendo-a parecer histórico legítimo do usuário. Em cenários vulneráveis, a taxa de sucesso de ataques que exploram essa falha chegou a 100%. Os autores propõem o firewall PPMF, que vincula a autoridade necessária para uma ação de risco à confiabilidade real da memória que a motiva, bloqueando toda ação não autorizada de alto risco nos testes.
MOSAIC é um protocolo que permite terceirizar inferência de modelos de linguagem grandes, testado em 70B parâmetros, para servidores não confiáveis sem revelar dados nem pesos do modelo, usando mascaramento de multiplicação de matrizes com segurança baseada em suposições criptográficas padrão. O sistema tolera pequeno ruído controlado para ganhar desempenho e mantém qualidade comparável a métodos de quantização populares. A proposta aponta um caminho prático para computação confidencial de IA em escala, hoje dominada por enclaves de hardware caros.
TextCloak usa aprendizado por reforço para transformar textos em 'exemplos não aprendíveis' que preservam significado e naturalidade para leitores humanos, mas degradam a qualidade de LLMs treinados sem autorização sobre esse conteúdo. Diferente de métodos anteriores voltados a classificação, a técnica funciona em geração aberta e generaliza a diferentes arquiteturas de modelo. É uma ferramenta defensiva pensada para autores e editores que querem impedir scraping não consentido de conteúdo para treinamento de IA.
Pesquisadores apresentam o RoguePrompt, um pipeline de jailbreak que fragmenta um pedido proibido e aplica duas cifras clássicas em camada — Vigenère seguida de ROT13 — junto com instruções em linguagem natural para o próprio modelo reconstruir e executar o conteúdo original. Testado às cegas (apenas via API/interface) contra 313 prompts já bloqueados por moderação, o método furou os filtros em 93,9% dos casos, embora a reconstrução completa e a execução final do pedido tenham sucesso menor (79% e 70%, respectivamente). O resultado mostra que a maior fraqueza hoje está na moderação de entrada, não na capacidade do modelo de resistir ao pedido depois de decodificado.
O artigo demonstra matematicamente que, quando um LLM decide se responde a um pedido de uso dual (útil tanto para um profissional legítimo quanto para um atacante) baseado apenas em evidência "copiável" — como o histórico da conversa ou afirmações do próprio usuário —, existe um piso inevitável de ajuda que qualquer atacante disposto a imitar um contexto legítimo sempre vai conseguir extrair. Os autores batizam isso de trilema: capacidade útil, segurança confiável e acesso aberto não podem coexistir plenamente ao mesmo tempo. Como mitigação parcial, propõem complementar as salvaguardas atuais com credenciais de difícil falsificação, que atestem de forma verificável o uso legítimo por trás do pedido.
Um estudo apresentado no ICML argumenta que modelos de linguagem não distinguem instruções de sistema, usuário e conteúdo externo pelas tags estruturais que as marcam, mas pelo estilo e pelo vocabulário do texto — o que permite a qualquer atacante "falsificar" um papel de maior privilégio só escrevendo no tom certo. Os pesquisadores extraíram informações que os modelos foram treinados para recusar, como instruções de síntese de drogas e sabotagem de sistemas de navegação de aeronaves, primeiro em modelos da OpenAI e depois replicando o resultado em modelos da Anthropic, Alibaba e DeepSeek. Segundo os autores, por ser uma característica estrutural da arquitetura, e não do treinamento, o problema pode ser essencialmente impossível de eliminar por completo.
Um novo artigo apresenta um adapter LoRA (low-rank adaptation) treinado para transformar um objetivo de segurança espacial em um plano ordenado de passos, usando como base de técnicas o framework SPARTA. Os autores liberam um corpus pequeno e cuidadosamente controlado contra vazamento de referência, mas os próprios números de acurácia (entre 0,06 e 0,29) mostram que a abordagem ainda está longe de ser confiável.
Pesquisadores apresentam o StealthBench, benchmark que mede a capacidade de agentes de IA autônomos executarem tarefas ofensivas de segurança sem comprometer seu próprio sigilo operacional (OPSEC). Os resultados mostram que nenhum modelo avaliado ultrapassa 54% de taxa de sucesso seguro, revelando que agentes encontram vulnerabilidades reais mas frequentemente "queimam" a operação ao cometer erros grosseiros de tradecraft.
Pesquisadores mostram que o comportamento de recusa de LLMs alinhados costuma depender de um pequeno conjunto de neurônios que, se removidos por poda (pruning), eliminam a segurança do modelo sem destruir sua capacidade geral. Em resposta, propõem o Mask2Shield, um método de treinamento que força o modelo a manter a recusa mesmo quando esses neurônios são artificialmente desativados durante o treino.
Pesquisadores construíram um benchmark de 2.700 casos que reproduz situações comuns de desenvolvimento real — requisitos ambíguos, contexto operacional pouco especificado e conflitos entre segurança e funcionalidade — para avaliar oito LLMs de ponta na geração de código. Todos os modelos apresentaram taxas de vulnerabilidade acima de 56%, embora prompts com instruções explícitas de segurança tenham reduzido o problema em até 45%.
Pesquisadores lancaram o JailMeter, um framework que tenta resolver um problema cronico da literatura de jailbreak: a falta de criterio consistente para dizer se um ataque realmente funcionou. Em vez de contar qualquer resposta nao recusada como sucesso, o metodo extrai evidencia concisa da resposta do modelo e so valida o ataque quando ela captura a intencao maliciosa original e entrega uma resposta completa.
Um estudo com 2.100 execucoes de ataque mostra que pipelines multi-agente que pareciam totalmente seguros em relatorios padrao (0% de sucesso de ataque) na verdade devem quase toda essa protecao a um filtro server-side do provedor de nuvem, e nao a defesas da propria aplicacao. Os autores propoem o ChannelGuard, portoes de information bottleneck colocados em cada canal entre agentes, para fechar essa lacuna sem depender de um unico ponto de filtragem opaco.
O DARWIN trata jailbreak como um processo evolutivo aberto, no qual um adversario (DARWIN-Attack) descobre, muta e seleciona estrategias de ataque continuamente, enquanto uma defesa (DARWIN-Guard) treina de forma online sobre os exemplos adversariais gerados por esse adversario. O ataque atinge quase 100% de sucesso contra alguns modelos de fronteira e mais de 90% contra o GPT-5.5, enquanto a defesa alcanca 91,6% de recall medio de conteudo inseguro em 12 benchmarks.
O DeCNIP e uma defesa contra backdoors em LLMs que vai alem de heuristicas comportamentais, identificando e podando um conjunto minimo de neuronios responsaveis por ativar o gatilho malicioso. O metodo cobre tanto backdoors inseridos por fine-tuning quanto por edicao direta de modelo, reduzindo a taxa de sucesso do ataque em mais de 95% intervindo em apenas 0,1% dos neuronios e preservando 97% do desempenho original em tarefas normais.
O framework A-MESS (Minimal Effective Attack-Subset Selection) usa uma métrica batizada AttackSHAP, baseada em valores de Shapley, para medir o quanto cada ataque de jailbreak contribui de fato para melhorar a segurança de um modelo quando usado como dado de red-teaming em treinamento de segurança — em vez de medir só sua taxa de sucesso em quebrar o modelo (ASR). Os autores mostram que rankings por ASR se alinham fracamente com essa utilidade "defender-centric", e que otimizar diretamente por utilidade produz ganhos de segurança maiores do que escolher ataques pela agressividade.
Um novo estudo mostra que traços de chain-of-thought extraídos de modelos comprometidos podem ser transplantados para outros modelos, elevando taxas de resposta nociva acima de 80% nos alvos mais vulneráveis. A técnica também permite destilar padrões recorrentes de raciocínio malicioso em prompts de sistema reutilizáveis, superando o transplante direto em até 10x, inclusive contra o GPT-4.1.
Pesquisadores demonstram que variações sintáticas finas em prompts — não apenas a estratégia de alto nível — alteram significativamente a probabilidade de LLMs de código aberto gerarem código vulnerável. O estudo, aceito no ICSME 2026, identifica restrições, guardas, condições e vinculações conceituais, além de sua posição no prompt, como fatores que afetam consistentemente a segurança do código produzido.
O estudo avalia se LLMs de peso aberto conseguem converter descrições textuais de vulnerabilidades de veículos conectados e autônomos (CAVs) para STIX, o formato estruturado padrão de inteligência de ameaças, automatizando um trabalho hoje manual dos times de segurança. Os modelos tiveram bom desempenho mapeando objetos de domínio (F1 0,94) e categorias CWE (F1 0,99), mas ainda têm dificuldade em capturar as relações entre esses objetos e o mapeamento completo para técnicas MITRE ATT&CK.
Pesquisadores demonstraram que LLMs usados em SOCs para triagem e análise de logs podem ser manipulados por payloads de prompt injection escondidos em campos de log que ficam armazenados e só "disparam" quando um analista consulta o modelo depois. No framework LogInject, testado contra três LLMs de produção, o ataque atingiu até 88,2% de taxa de sucesso ao tentar ocultar atividade maliciosa, gerar falsos positivos, exfiltrar dados ou sequestrar a resposta do modelo.
MemPoison é um benchmark com 1.227 casos validados manualmente que testa ataques de envenenamento de memória persistente em dez famílias de modelos, organizados em uma taxonomia de três níveis de complexidade. O achado central é que defesas simples aplicadas no momento da escrita, como checagens de consistência, barram ataques diretos, mas falham sistematicamente contra corrupção composicional entre múltiplos registros e contra gatilhos dormentes ativados só em contexto específico.
Pesquisadores apontam uma falha conceitual nos métodos atuais de proteção de privacidade em RAG: eles tratam o risco de vazamento como uma propriedade fixa de cada documento, ignorando que o risco real depende de qual pergunta o usuário faz. O framework proposto, PA-HDP, avalia o risco dinamicamente por consulta e aplica privacidade diferencial hierárquica apenas ao conteúdo que se torna sensível naquele contexto específico.
A OpenAI divulgou o GPT-Red, um modelo interno treinado especificamente para atacar outros modelos com prompt injection em larga escala, usado para gerar dados de treinamento adversarial antes do lançamento do GPT-5.6 Sol. Segundo a empresa, a integração do GPT-Red ao pipeline de treinamento reduziu drasticamente a taxa de sucesso de ataques de injeção direta e de fake chain-of-thought em relação a modelos anteriores.