Pesquisadores testaram sistematicamente ataques de injeção de prompt contra sistemas de agentes de IA, cobrindo tanto entradas diretas de usuários quanto a comunicação entre agentes como vetor de exploração. O trabalho mostra que falhas que já afetam agentes isolados — vazamento de informação sensível, desvio de instruções — podem se propagar lateralmente quando múltiplos agentes trocam mensagens entre si, contaminando todo o pipeline multiagente a partir de um único ponto de entrada comprometido.
Um novo ataque de backdoor chamado "Cancerous Backdoor Attack" abandona o modelo clássico de gatilho único seguido de ativação imediata e, em vez disso, corrompe o raciocínio do modelo em estágios progressivos ao longo de múltiplas interações, usando tokens invisíveis para marcar o avanço do ataque sem que nada apareça na solicitação visível do usuário. Os autores mostram que essa corrupção gradual passa despercebida por métricas tradicionais de acurácia de resposta, só se tornando visível depois que o dano já está consolidado.
Um estudo empírico rastreou 16.977 modelos do Hugging Face já sinalizados como vulneráveis — por falhas como serialização insegura e backdoors arquiteturais — e encontrou mais de 21 mil ocorrências desses modelos em código, espalhadas por mais de 5 mil repositórios open-source, sendo que 3.757 modelos distintos (22,1%) continuam sendo referenciados ativamente mesmo depois de sinalizados. Os autores não encontraram, nos padrões de integração analisados, nenhuma verificação de proveniência ou lógica de sanitização dos modelos antes do uso.
Pesquisadores apresentam o AgentValve, um protocolo para autorizar pagamentos entre agentes de IA em mercados permissionless sem depender de reputação facilmente falsificável, que é hoje vulnerável a ataques Sybil em que um adversário cria identidades baratas e feedback fabricado para inflar a reputação de um provedor malicioso. O sistema modela confiança como capacidade finita em um grafo direcionado e usa um contrato inteligente para reservar atomicamente essa capacidade a cada pagamento, limitando de forma matematicamente comprovável a exposição financeira de agentes honestos mesmo sob ataques com até 10 mil identidades falsas.
O WaveMark é um método de watermarking para modelos de difusão que embute a marca d'água no ruído inicial da geração, distribuindo réplicas do bit da mensagem por posições espaciais, orientações e escalas no domínio wavelet, em vez de depender de um único ponto frágil de inserção. Testado contra 14 ataques de remoção, o método manteve mais de 88% de acurácia de bits mesmo sob os ataques mais fortes avaliados (MarkNull e MarkNull-A), superando as técnicas de referência.
Usando o ataque FLIP — um backdoor que corrompe apenas rótulos de treinamento, sem tocar nas imagens — pesquisadores mostram que a eficácia de uma defesa de detecção depende mais do espaço de features em que ela é aplicada do que do método de detecção em si: a mesma verificação de vizinho mais próximo vai de AUROC 0,546 nas features do modelo já envenenado para 0,967 em features congeladas de um encoder (DINOv2) que nunca viu os rótulos manipulados. O estudo também mostra que uma pontuação de detecção melhor não implica necessariamente um modelo mais seguro após a correção.
Um novo estudo identifica três mecanismos de ataque — propagação de instrução, violação de limite de dados e envenenamento de evidência — pelos quais artefatos persistentes deixados por uma skill de agente de IA (arquivos, configurações, caches) podem contaminar execuções futuras de outras skills na mesma máquina. Testando sete modelos em Codex CLI, Gemini CLI e Claude Code com um benchmark de 270 casos adversariais, os autores obtiveram taxas de sucesso de ataque de 46,7% a 77,4%, e propõem uma defesa, o SkillRelayGuard, que reduz essa taxa para cerca de 11% sem comprometer a conclusão de tarefas legítimas.
Um novo metodo estatistico permite calcular, apos cada voto registrado em um leaderboard publico de IA, um orcamento de corrupcao que garante a validade de uma comparacao entre modelos mesmo sob ataque adaptativo continuo. Testado contra 1,8 milhao de votos reais do Chatbot Arena, o certificado permaneceu valido em cenarios onde apenas algumas centenas de votos manipulados ja bastariam para forjar classificacoes usando intervalos de confianca convencionais.
Um novo benchmark que reproduz um SIEM real mostrou que cinco estrategias representativas de agentes LLM para triagem de alertas de seguranca erram pelo menos 40% dos alertas ligados a um ataque real de multiplas etapas. Os autores propoem o AIDA, um framework multiagente com desafio adversarial obrigatorio antes de descartar um alerta, que reduziu essa taxa de falsos negativos para 3,1%.
Um novo defensor baseado em mascaramento consegue, pela primeira vez, certificar formalmente que a predicao de um classificador de imagens nao foi manipulada por um patch adversarial fisico sem a perda de acuracia tipica de metodos baseados em suavizacao. Em testes no ImageNet, o MRCert atingiu 35,1% de acuracia certificada contra patches de 16 pixels, enquanto o estado da arte anterior falhou completamente nesse cenario.
Looped Language Models reutilizam os mesmos parametros em multiplas etapas recorrentes para economizar custo, mas cada profundidade de recorrencia pode ser lida de forma independente, criando uma superficie de saida muito mais ampla do que um LLM convencional. Os autores mostram que a taxa de sucesso de jailbreaks varia, e as vezes aumenta, conforme a profundidade escolhida, que ataques feitos contra uma profundidade transferem para outras, e propoem o SafeBridge para alinhar a seguranca atraves de todas as profundidades simultaneamente.
Apesar da existencia de formatos de serializacao mais seguros, 9,3% de mais de 10 mil repositorios populares do Hugging Face ainda distribuem modelos no formato Pickle, que permite execucao arbitraria de codigo na desserializacao. O DITTO, um novo scanner que rastreia a maquina virtual do Pickle e faz analise semantica sensivel ao contexto, atingiu 100% de cobertura, 0% de falsos negativos e apenas 0,7% de falsos positivos em um benchmark com 959 modelos benignos e 92 maliciosos.
Sistemas de guardrail modernos combinam varios scanners especializados para fechar as lacunas de deteccoes isoladas contra jailbreaks e prompt injection, mas o BRANCH, uma nova tecnica de busca em arvore que otimiza perturbacoes adversariais contra o conjunto de scanners como um todo, quebrou essa defesa com 100% de taxa de sucesso em seis sistemas testados. Os bypasses gerados tambem transferiram para 29 guardrails nunca vistos durante o desenvolvimento do ataque, incluindo oito produtos comerciais de caixa-preta.
Detectores de deepfake de audio continuam vulneraveis a perturbacoes adversariais que suprimem os indicios acusticos usados para identificar vozes sinteticas, e defesas de purificacao existentes aplicam a mesma intensidade de limpeza a toda entrada, sacrificando ou a remocao do ataque ou a preservacao dos sinais sutis de spoofing. O DGAP ajusta a intensidade da purificacao por difusao de forma adaptativa, usando o proprio deslocamento de score do detector como indicador de manipulacao, e supera nove defesas existentes sem precisar retreinar o detector.
Ataques de inferencia de pertencimento normalmente dependem de observar probabilidades ou rotulos previstos por um modelo, o que leva muitos sistemas embarcados a suprimir essas saidas como mitigacao de privacidade. O PSCMIA mostra que isso nao basta: analisando apenas o tracado de consumo de energia durante a execucao do modelo em microcontroladores reais, o ataque ainda consegue inferir, com ate 0,907 de AUC-ROC, se uma amostra especifica fez parte do conjunto de treinamento.
A decodificacao especulativa acelera a inferencia de LLMs usando um modelo rascunho para propor tokens que o modelo principal verifica em lote, mas essa eficiencia depende de rascunho e alvo concordarem na maior parte do tempo. Os ataques Speedbump inserem um sufixo adversarial em conteudo controlado pelo atacante para maximizar o desacordo entre os dois modelos, chegando a tornar a decodificacao especulativa mais lenta que a decodificacao convencional e inflando os custos de inferencia da vitima.
Agentes LLM que usam ferramentas costumam violar silenciosamente as politicas que deveriam seguir, e as defesas existentes ou dependem de regras escritas a mao, ou de um verificador LLM por acao, ou de maquinaria formal pesada. O NOMOS compila uma politica em linguagem natural em um portao deterministico de chamadas de ferramenta usando apenas verificacao estatica baseada no esquema das ferramentas, reduzindo violacoes de 66,3% para 2,6% em um cenario de companhia aerea e chegando a zero por cento de sucesso de ataque no setor bancario.
Modelos comerciais de geracao de imagem conseguem reconhecer que uma afirmacao e falsa quando perguntados diretamente, mas mesmo assim renderizam essa mesma afirmacao como uma imagem de evidencia visualmente convincente, como uma foto de noticia ou uma pagina de livro didatico. Um novo benchmark e um ataque de otimizacao black-box mostram que mais de 70% dos prompts com alegacoes falsas ja geram imagens fieis a desinformacao em modelos comerciais, taxa que sobe para 95% com o ataque proposto.
Verificar a origem de audio gerado por IA depois que ele circula e passa por diferentes codecs e dificil porque o processamento altera a sequencia de tokens recuperada do sinal, derrubando a confiabilidade de marcas d'agua existentes, que em geral so conseguem dizer se ha marca presente, nao de qual geracao especifica ela veio. O MARC combina representacoes intrinsecas de token com padroes de confusao induzidos por multiplos codecs para embutir uma marca d'agua multi-bit, atingindo 97,3% de acuracia de extracao mesmo apos processamento adversarial de codec.
Em federated learning, um servidor de agregacao malicioso pode devolver um modelo global adulterado aos clientes, e esquemas de verificacao existentes exigem que os clientes combinem antecipadamente informacao auxiliar secreta, que, se vazada, anula a propria verificacao. O EIFL combina criptografia simetrica em duas etapas com um metodo de verificacao baseado em produto interno de vetores que vincula essa informacao auxiliar a integridade do resultado, eliminando a necessidade de mante-la secreta do servidor.
LLMs estao deslocando a recuperacao de codigo-fonte a partir de binarios, usada em analise de malware e avaliacao de vulnerabilidades, de heuristicas baseadas em regras para recuperacao semantica probabilistica de alta fidelidade. Este trabalho sistematiza o campo fragmentado com uma taxonomia e avalia metodos existentes em 45 mil amostras cobrindo nove arquiteturas, cinco niveis de otimizacao e seis linguagens, incluindo arquiteturas embarcadas pouco cobertas ate agora.
Pesquisadores treinaram um agente de Deep Q-Network para aprender combinacoes evasivas de timing de probes, flags TCP e tamanho de payload contra um IDS real baseado em Zeek rodando em um Raspberry Pi 3B+, com deteccao por XGBoost, MLP e CNN 1D. Mesmo em cenario black-box, onde o atacante nao ve os parametros internos do modelo defensivo, as taxas de evasao alcancaram entre 61,9% e 98,3%, e o efeito da visibilidade de features sobre a evasao nao foi monotonico nem uniforme entre os modelos.
Pesquisadores da University of Central Florida apresentaram o CredLeakBench, um benchmark que mede se agentes de LLM autonomos vazam informacoes sensiveis quando confrontados com tentativas de phishing, cobrindo tanto autenticacao solicitada pelo usuario quanto monitoramento autonomo de caixa de entrada sem pedido explicito de login. Todos os modelos avaliados se mostraram vulneraveis a algum grau de vazamento, inclusive revelando dados durante monitoramento passivo de e-mail, e as mitigacoes que reduzem o vazamento tendem a prejudicar a capacidade do agente de completar tarefas legitimas.
Pesquisadores propuseram um framework de verificacao em tempo de execucao que decompoe politicas em linguagem natural em obrigacoes espaciais, temporais e semanticas, verificando cada aspecto separadamente e fundindo os veredictos por uma algebra de quatro valores com rastreabilidade (provenance). Testado em cenarios de evacuacao de vitimas e sustentacao logistica em zona de conflito, o sistema levou o sucesso de ataques a zero sem falsos positivos observados e com custo de microssegundos por evento, enquanto verificar apenas um ou dois aspectos isoladamente deixava boa parte dos ataques passarem.
Pesquisadores do Google apresentaram o ASPIRE, um motor de red-teaming que mantem um grafo de comportamentos de seguranca de agentes em constante evolucao e usa dois agentes complementares -- um de exploracao e outro de exploracao intensiva (exploit) -- para descobrir, verificar e generalizar testes de prompt injection indireto centrados em consequencias reais, em vez de cobrir apenas cenarios pre-definidos pelo pesquisador humano.
Pesquisadores apresentaram o TwinGuard-Lite, um gateway que decide se uma atualizacao proposta ao estado persistente de um 'gemeo digital' de paciente -- um sistema que combinaria prontuarios longitudinais com agentes de LLM e memoria entre sessoes -- deve ser admitida, com base em verificacao de proveniencia, deteccao de contradicao com o registro existente e verificacao de namespace para impedir que dados de um paciente vazem para o gemeo de outro. Em simulacoes com dados semi-sinteticos derivados do banco eICU, o gateway completo atingiu 99,1% de precisao e 90,5% de revocacao contra tres familias de ataque, superando filtros de palavra-chave, detectores de anomalia e verificacao de proveniencia isolada.
Um novo ataque, chamado Persistent Visual Memory Injection (P-VMI), otimiza imagens adversariais inseridas no contexto de um modelo de visao-linguagem para que o comportamento malicioso que elas implantam continue ativo mesmo depois que a imagem e removida da conversa e mascarada da atencao do modelo. No Qwen3-VL-8B-Instruct, o ataque atingiu cerca de 90% de sucesso em sua configuracao mais forte, e os autores mostram que a influencia adversarial fica localizada no cache de chave/valor (KV) e pode sobreviver inclusive a compactacao de contexto feita por resumos gerados pelo proprio modelo.
Pesquisadores apresentaram o WebMirage, um framework de ataque end-to-end que crafta perturbacoes visuais localizadas em paginas web para fazer agentes baseados em modelos de visao-linguagem selecionarem conteudo controlado pelo atacante e executarem a acao de navegador correspondente, cobrindo todo o caminho desde o reconhecimento visual (grounding) ate a execucao real no navegador. Em 2.250 tarefas sobre 13 sites publicos e um ambiente sandbox, com quatro configuracoes de agente e seis modelos de visao-linguagem distintos, o ataque atingiu taxa media de sucesso de 91,9%, contra apenas 17,4% do melhor baseline anterior, e permaneceu eficaz contra tres defesas de nivel de agente testadas.
Pesquisadores demonstraram um novo vetor de ataque contra agentes de codificacao autonoma: injetar prompts maliciosos dentro de arquivos de regras compartilhados pela comunidade, como AGENTS.md ou .cursorrules, para induzir o agente a substituir dependencias legitimas por pacotes controlados pelo atacante. O framework PackHallu, que reescreve iterativamente esses prompts injetados usando feedback do comportamento real do agente e mutacoes guiadas por LLM, alcancou altas taxas de sucesso e forte transferabilidade entre diferentes modelos e frameworks de agentes testados.
O framework Ask the Expert melhora a eficiencia amostral de agentes de defesa ciberneutica treinados por aprendizado por reforco (PPO) consultando um LLM intermitentemente durante o treinamento para obter recomendacoes defensivas de alto nivel, que sao convertidas em recompensas escalonadas; o LLM e descartado apos o treinamento, entao a politica final implantada e puramente de RL, sem dependencia de LLM ou latencia de inferencia em producao. Testado nos ambientes de referencia TTCP CAGE CC1 e CC2, o metodo superou o PPO puro e baselines de reward shaping baseado em potencial, mantendo o melhor desempenho terminal medio.
Pesquisadores propuseram o Secure-CUA, um sistema que protege agentes de uso de computador (Computer-Use Agents) contra conteudo malicioso embutido em interfaces graficas ao comprometer-se com um 'programa' explicito de acao antes de acessar qualquer conteudo nao confiavel, mascarando regioes nao confiaveis da tela e isolando as consultas que dependem desse conteudo. Em 400 tarefas do benchmark WebArena com tres modelos de fronteira, o sistema manteve taxa de sucesso de 53,55% (contra 55,12% da versao sem protecao), uma perda minima de utilidade em troca de seguranca formalmente garantida sob as premissas do modelo.
O framework MARS comparou duas formas de usar LLMs para triagem de malware -- veredicto direto de classificacao versus pontuacao de afirmacoes comportamentais (claims) extraidas pelo modelo e avaliadas por uma politica externa -- sobre 1.195 binarios PE e ELF e seis modelos de linguagem distintos. A classificacao direta foi mais precisa em todos os seis modelos, com vantagem de 3,7 a 20,9 pontos percentuais, embora a abordagem baseada em claims tenha se mostrado util para inspecao e revisao explicita de politica, algo que o veredicto direto nao oferece.
Pesquisadores identificaram que tecnicas de token pruning -- usadas para acelerar modelos de visao-linguagem removendo tokens visuais redundantes -- podem degradar significativamente a seguranca do modelo conforme a taxa de pruning aumenta, atraves de um mecanismo chamado Pruning-Induced Malicious Amplification, no qual a remocao de tokens de fundo forca a atencao do modelo a colapsar sobre poucas ancoras maliciosas remanescentes no primeiro plano, amplificando sua semantica toxica sob jailbreak. A defesa proposta, Safety-Aware Pruning, reduz a taxa de sucesso de ataque em ate 62% sem sacrificar a aceleracao nem a utilidade do modelo.
Pesquisadores demonstraram que e possivel atacar modelos de Visao-Linguagem-Acao (VLAs) usados em robotica -- sistemas que convertem percepcao visual e instrucoes em acoes fisicas -- tendo acesso apenas ao modelo de visao-linguagem (VLM) publico do qual o VLA foi derivado, sem qualquer acesso ao VLA implantado em si. Patches adversariais otimizados sobre o VLM ancestral causaram degradacao substancial na taxa de sucesso de tarefas em diferentes familias de VLA, tanto em simulacao quanto em imagens estaticas do mundo real, revelando que a adaptacao de um VLM para controle robotico nao elimina automaticamente as fragilidades adversariais herdadas da base visual-linguistica.
Pesquisadores propõem o DIBench, um benchmark com mais de 37 mil instâncias para medir se agentes de IA que operam interfaces gráficas de apps móveis podem ser manipulados, por conteúdo injetado na tela, a escolher opções diferentes das pedidas pelo usuário — como abandonar o critério "mais barato" ou "melhor avaliado" — sem que a tarefa pareça ter falhado. O estudo mostra que métricas tradicionais de "taxa de conclusão" escondem esse desvio de integridade decisória e que defesas comuns, como detecção de prompt ou pré-processamento de imagem, oferecem proteção inconsistente.
Pesquisadores apresentam o APEX, uma defesa contra injeção de prompt indireta que, em vez de tentar reconhecer padrões de ataque em ferramentas, servidores MCP ou skills, intercepta toda ação do agente no momento em que ela se torna um efeito externo real, autorizando-a apenas segundo um contrato de permissões definido antes da execução. Nos testes dos autores, o sistema zerou a taxa de sucesso de ataque em cinco dos seis benchmarks avaliados, incluindo contra ataques adaptativos desenhados especificamente para contorná-lo.
Pesquisadores mostram que o BackdoorBench, referência popular para avaliar defesas contra ataques de backdoor em modelos de visão, mede o custo de remoção de forma enviesada: a queda de acurácia é calculada só sobre o modelo já envenenado, misturando o efeito da defesa com falhas de configuração do próprio ataque original, como um agendador de taxa de aprendizado que nunca é acionado em três dos dezesseis ataques do benchmark. Os autores propõem o TARE, que mede o custo real comparando a defesa contra um modelo gêmeo que nunca foi envenenado, revelando que defesas até então consideradas "sem custo" na verdade degradam modelos limpos.
Um estudo com cinco modelos multimodais testa quatro famílias conhecidas de ataques de jailbreak via imagem para entender quais propriedades visuais — densidade de informação, tamanho de arquivo, número de blocos (tiles), relação semântica com o texto — de fato causam a quebra de segurança, em vez de apenas assumir que 'imagens disfarçam melhor o ataque'. A conclusão central é que a maior parte das explicações intuitivas não se sustenta estatisticamente, exceto uma manipulação específica que remove a relação temática entre imagem e pergunta, que reduziu a taxa de sucesso do ataque em cerca de 12 pontos percentuais num modelo testado.
Pesquisadores propõem um benchmark unificado com cerca de 6.200 transcrições de conversas para avaliar monitores que supervisionam agentes de IA contra dois tipos de ameaça — ataques de decomposição (pedido nocivo dividido em partes inócuas) e injeção de prompt — medindo não só se o monitor detecta o dano, mas se detecta dentro da janela correta em que o dano realmente ocorre. O estudo mostra que monitores que avaliam o conteúdo das respostas falham quase completamente contra injeção de prompt (AUC de 0,52, equivalente a adivinhar), enquanto monitores que avaliam as ações externalizadas do agente se saem bem nos dois tipos de ameaça (AUC de 0,95 e 0,99).
O ataque PEV (Perturbed Embedding Vector), criado por pesquisadores da UC Santa Cruz, consegue fazer seis modelos de linguagem de peso aberto gerarem respostas nocivas apenas adicionando ruído Gaussiano aleatório à representação vetorial do prompt, sem otimização por gradiente, sem alterar pesos do modelo e sem engenharia de prompt tradicional. A técnica produz o primeiro jailbreak bem-sucedido em menos de um minuto por prompt em todos os modelos testados no JailbreakBench, com custo computacional até uma ordem de magnitude menor do que métodos anteriores.
Pesquisadores propõem a Analytical Memory Unit (AMU), um esquema de memória compartilhada para agentes de IA corporativos que anexa um grafo completo de origem (lineage) a cada resultado armazenado em cache, liberando o acesso apenas quando o solicitante está autorizado para todas as colunas de dados que contribuíram para aquele resultado. Em experimentos com geração de SQL por LLM, o framework eliminou vazamentos entre departamentos (que antes variavam de 18,8% a 25,5% com controle de acesso tradicional baseado em conteúdo) mantendo mais de 81% de reaproveitamento de memória, com overhead de apenas 13,8 microssegundos.
Pesquisadores propõem um framework multi-agente baseado em LLM que analisa documentos de requisitos e diagramas de arquitetura para gerar casos de mau uso, arvores de ataque, verificacoes de governanca e recomendacoes de mitigacao antes que o codigo seja escrito. A proposta ataca o problema classico de revisao de seguranca tardia, trazendo analise de ameacas para a fase de design, com um loop de validacao que filtra achados sem fundamento na propria arquitetura analisada.
O estudo EviLLM propõe um modelo de ameaca realista em que um terceiro adversario -- com capacidades comparaveis a cibercriminosos comuns, nao o provedor do modelo nem o usuario -- compromete o pipeline de geracao de codigo por IA para injetar vulnerabilidades deliberadamente, cobrindo 13 classes diferentes de CWE. Em estudo com usuarios, a maioria dos participantes nao percebeu as vulnerabilidades injetadas, e boa parte nunca havia considerado esse tipo de ataque como um risco real.
Pesquisadores propõem SWIFT, um framework que incorpora a marcacao de agua (watermarking) de saidas de LLM diretamente no motor de inferencia, em vez de trata-la como um componente externo separado, reduzindo a latencia em 5,9x frente a abordagens anteriores e mantendo 97,7% de deteccao mesmo sob ataques de remocao de marca de agua. O trabalho ataca o problema pratico de que mecanismos de verificacao de autoria/propriedade de texto gerado por IA costumam ser caros demais para uso em producao em escala.
O metodo Localize-and-Detect localiza, em modo caixa-preta, tarefas de instrucao especificas que foram deliberadamente envenenadas durante o fine-tuning para produzir conteudo tendencioso, sem que haja um gatilho explicito no texto de entrada. Avaliado em 216 modelos envenenados de duas familias diferentes, o metodo identificou com sucesso as tarefas-alvo e o conteudo injetado, com poucos falsos positivos em modelos limpos.
O ataque TellTail permite identificar, apenas por meio de consultas, qual modelo de embeddings (retriever) esta sendo usado dentro de um sistema RAG opaco, atingindo identificacao perfeita quando os rankings completos de recuperacao sao visiveis e ainda 92,5% de acerto quando apenas a resposta final gerada pelo LLM e exposta. A tecnica explora justamente a baixa transferibilidade entre modelos de embeddings -- que normalmente limitaria outros ataques -- como uma assinatura util para reconhecimento.
Pesquisadores unificaram cinco variantes de ataques de inferencia de pertencimento (membership inference) em caixa totalmente fechada ('no-box') sob um unico framework de distancia ponderada, aplicado a dados sinteticos de expressao genica gerados por um autoencoder variacional condicional a partir do The Cancer Genome Atlas. A estrategia de ponderacao por residualizacao espectral elevou significativamente a eficacia do ataque, levantando duvidas sobre a protecao de privacidade real oferecida por dados sinteticos nesse dominio.
Pesquisadores quantificam quanto um atacante posicionado no ponto de divisao de um esquema de split learning consegue reconstruir do texto original de treino ao interceptar ativacoes e gradientes, medindo tanto a taxa de recuperacao por token quanto por documento inteiro. Em GPT-2, apenas ativacoes permitem recuperar 94,20% dos tokens, mas somar os gradientes eleva a reconstrucao exata de documentos completos de 13,71% para 37,77%, e mesmo uma defesa dedicada ainda deixa de 83% a 91% dos tokens recuperaveis individualmente.
O framework Thrive embute identificadores multi-bit em fala gerada por sistemas de texto-para-fala autoregressivos, permitindo rastrear a origem e atribuir a autoria da fala sintetica mesmo depois que ela passa por transformacoes de edicao ou reconstrucao projetadas para remover o sinal. O sistema mantem 87,6% de acerto medio na recuperacao da marca de agua sob ataque e suporta atribuicao entre ate 10 mil identidades distintas, sem degradar a qualidade do audio gerado.
O NeuroSploit v4.2.0 e um framework de pentest autonomo que orquestra 22 agentes especializados e 7 playbooks de ataque em cadeia, coordenando nove modelos de linguagem de ponta para comprometer ambientes de Active Directory no laboratorio vulneravel GOAD. A abordagem orquestrada atingiu 96-100% de cobertura de tecnicas com 90-97% de precisao e comprometeu tres dominios completos em 134 minutos, contra apenas 21-54% de cobertura e taxas de falso positivo 3,2 vezes maiores quando os mesmos LLMs foram usados de forma direta e isolada.
O framework CyTReX combina deteccao de anomalias de borda, explicacoes SHAP, regras substitutas e enriquecimento de inteligencia de ameacas via MCP em um 'pacote de evidencias' que restringe o raciocinio de um LLM, transformando alertas de rede ambiguos em hipoteses de ataque ranqueadas e rastreaveis para redes de Recursos Energeticos Distribuidos (DER). O objetivo e substituir classificacoes de ataque unicas e opacas por multiplas hipoteses explicaveis, cada uma vinculada a evidencia concreta, para apoiar analistas de centros de operacoes de seguranca.
Pesquisadores demonstram que os bits menos significativos (LSBs) dos pesos de ponto flutuante de 32 bits em modelos Transformer como BERT e ViT podem ser usados como canal encoberto para esconder payloads maliciosos na cadeia de suprimentos de modelos de IA, e propõem o GrayShield, um metodo de sanitizacao pos-treinamento que elimina esse canal sobrescrevendo os bits com uma sequencia guiada por codigo Gray. A tecnica reduz a recuperacao do payload a nivel de chance binaria, com impacto de acuracia inferior a 1% e menor distorcao na distribuicao dos pesos do que as defesas alternativas avaliadas.
O benchmark COPEX isola a susceptibilidade do proprio modelo de linguagem a influencia adversarial dentro de sistemas MCP, fixando o restante da pilha de agente e variando apenas o modelo que seleciona ferramentas, testando 25 tipos de ataque em 125 cenarios distribuidos por quatro superficies de entrada (modelo/agente, cliente, servidor/ferramenta e transporte). Em 3.375 execucoes com nove modelos, a taxa media de sucesso de ataque foi de 64,4%, e defesas combinadas de escaneamento de entrada e contexto reduziram esse sucesso em cerca de 49,6%.
Pesquisadores formalizam matematicamente por que pedidos maliciosos dissimulados dentro de tarefas benignas conseguem escapar de filtros de segurança de LLMs. O estudo introduz o conceito de "prior-posterior matching": selecionar tarefas auxiliares de modo que o risco médio percebido do pacote combinado se iguale à média geral, mascarando a intenção nociva sem removê-la. Os autores mostram que o ataque funciona em vários modelos open-source, mas revelam um trade-off: pacotes maiores escondem melhor a intenção, porém tendem a degradar a execução do objetivo malicioso original.
O artigo propõe o MIRROR, um mecanismo de integridade na camada de comunicação que combate ataques "Agent-in-the-Middle" (AiTM) em sistemas multiagente baseados em LLM, nos quais um intermediário manipula mensagens em trânsito sem precisar comprometer os próprios agentes. A técnica replica cada mensagem por várias rotas lógicas e só aceita o conteúdo quando a maioria estrita das rotas concorda no mesmo hash, sem depender de validação semântica cara nem de criptografia de transporte. Em testes com MMLU, HumanEval, MBPP e um deployment real via MetaGPT, o MIRROR reduziu a taxa de sucesso do ataque a 0% abaixo do limiar teórico de comprometimento, com custo de apenas 1x em tokens de LLM, contra 35x de um juiz baseado em LLM que ainda bloqueava até 44,2% de saídas legítimas.
Pesquisadores identificam uma superfície de ataque até então ignorada em sistemas GraphRAG: as estruturas auxiliares criadas durante a indexação offline (resumos semânticos, arestas hierárquicas, escores pré-computados), que determinam a priorização da recuperação em tempo de consulta. O ataque proposto, Hop-Decayed Influence (HDI), identifica alvos de alto impacto via propagação de influência consciente da consulta e corrompe essas estruturas após a indexação, alcançando taxa de sucesso de 88-94% modificando apenas 0,016% das estruturas auxiliares em frameworks como Microsoft GraphRAG e HippoRAG2. As alterações evadem defesas baseadas em perplexidade e paráfrase com taxa de evasão acima de 99%, pois permanecem linguisticamente coerentes como artefatos gerados pelo próprio sistema.
Pesquisadores apresentam o Whiteout, uma ferramenta prática que impede LLMs de reproduzir informações pessoais sensíveis de indivíduos específicos — datas de nascimento, telefones, endereços — memorizadas a partir de dados de treinamento não filtrados. Em vez de recorrer a unlearning, que tende a remover informação além do necessário e degrada a utilidade do modelo, o Whiteout sobrescreve os dados reais com amostras de ofuscação cuidadosamente desenhadas, mediante solicitação do próprio indivíduo. Os autores testam a ferramenta contra modelos de diferentes tamanhos e fabricantes, incluindo um modelo OpenAI amplamente usado, e contra ataques de caixa-preta (jailbreaking) e caixa-branca (relearning, quantização), reportando impacto mínimo na utilidade geral do modelo.
Uma tese de doutorado propõe uma métrica formal de estabilidade para LLMs baseada em divergência de Jensen-Shannon e demonstra ataques práticos contra sistemas de LLM-as-a-Judge, detecção de trojans e agentes baseados em MCP. O destaque é um ataque evolutivo de caixa-preta contra juízes automáticos com taxa de sucesso de até 73,8%, além de defesas (comitês heterogêneos de modelos e atestação criptográfica de chamadas de ferramenta) que reduzem drasticamente esse número.
Um estudo identifica, por meio de uma pesquisa com usuários, que menos de 40% de quem usa agentes de codificação de IA os executa em sandbox, e propõe o SideKernel, um sandbox local de código aberto baseado em microVM para macOS, voltado a resolver as barreiras de usabilidade que explicam essa baixa adoção. Em comparação com outras soluções do mercado, SideKernel e o Docker Sandboxes se destacam entre as opções testadas.
Pesquisadores propõem o Phantom State Attack (PSA), uma técnica de evasão contra sistemas de detecção de intrusão (IDS) baseados em machine learning para ambientes industriais (IIoT) que não modifica pacotes, não consulta o classificador e não precisa aprender um modelo do tráfego legítimo — ela apenas desloca minimamente o tempo de chegada dos pacotes para atravessar fronteiras de janelas de agregação. O ataque degrada a detecção em fluxos com volume suficiente de pacotes, mas seu efeito é condicional, deixando outros fluxos quase intactos.
Pesquisadores propõem o Pincer, uma defesa que atua na camada de autorização de recursos para agentes de codificação autônomos, usando um modelo isolado — um "gêmeo digital" do usuário — que aprende continuamente políticas dinâmicas de privilégio mínimo específicas para cada usuário. A proposta busca resolver o desgaste de permissões e a falta de personalização dos classificadores de chamada de ferramenta usados hoje por agentes como Claude e Codex.
Pesquisadores propõem o RMCW, um método de watermarking para textos gerados por LLMs que resiste a ataques de deleção de tokens, um dos pontos mais frágeis das técnicas atuais. A técnica usa estrutura algébrica de códigos Reed-Muller para manter a detectabilidade mesmo quando trechos do texto são removidos ou reescritos. Testes em OPT-1.3B e Llama-3.1-8B-Instruct mostram desempenho igual ou superior a baselines existentes sob ataques de deleção e reescrita.
O artigo propõe um framework de defesa em camadas para conter agentes de LLM que operam diretamente sobre clusters Kubernetes em produção, partindo da premissa de que o modelo deve ser tratado como potencialmente comprometido por prompt injection. A proposta inclui uma taxonomia de ameaças, nove princípios de design e sete camadas de controles mapeadas a mecanismos nativos do Kubernetes. Trata-se de uma proposta arquitetural qualitativa, sem números de taxa de sucesso de ataque ou overhead medidos experimentalmente.
Pesquisadores apresentam o AgentTrap, descrito como o primeiro honeypot de malha fechada projetado especificamente para enganar agentes autônomos de pentest baseados em LLM, que se adaptam dinamicamente às respostas do alvo. Em testes contra oito agentes autônomos de pentest, o AgentTrap reduziu a taxa agregada de sucesso de ataque no alvo real de 95,8% para 79,2% e conseguiu extrair chaves de API do atacante em 18,8% das execuções. O resultado supera honeypots estáticos tradicionais, mas mostra que mesmo uma defesa adaptativa ainda deixa a maioria dos ataques bem-sucedidos passar.
O estudo propõe um framework que usa um gêmeo digital de sistemas de controle industrial (ICS) para transformar mudanças de estado físico em descrições mapeáveis ao framework ATT&CK for ICS, usando LLMs com retrieval-augmented generation. Nos testes com o dataset SWaT, o enriquecimento via gêmeo digital reduziu falsos positivos em 34,1% em média, mas o recall ficou moderado (0,633) e os ganhos não se replicaram em datasets externos. Os próprios autores são cautelosos, afirmando que os resultados não estabelecem atribuição autônoma confiável nem benefício prático demonstrado para analistas.
Pesquisadores propõem o AgentSecGraph, um framework de análise estática que avalia o contexto de risco de operações sensíveis em agentes LLM (execução de comandos, acesso a arquivos, rede, navegador), em vez de apenas identificar a operação em si. Usando um corpus de 67 repositórios reais com mais de 37 mil arquivos, a ferramenta mapeou quase 24 mil candidatos a operações sensíveis e confirmou pelo menos uma vulnerabilidade real. Em testes comparativos, a abordagem reteve 91,1% do contexto de referência, contra 20% de uma visão baseada apenas em sinks.
O estudo apresenta o SecJev, uma família de modelos de decisão especializados em segurança, de 0,8B a 9B de parâmetros, construída sobre a arquitetura de modelos "System One", que retornam previsões tipadas com probabilidades em vez de texto livre. Os autores mostram que a especialização em segurança supera modelos generalistas muito maiores: a versão de 0,8B parâmetros superou um modelo genérico de 9B em 20,51 pontos percentuais de acurácia média entre tarefas. O pacote cobre 14 tarefas de segurança, incluindo detecção de prompt injection, tráfego de rede e autenticação, com código liberado publicamente.
Pesquisadores demonstram uma nova classe de ataque, chamada "branch steering", que engana agentes de uso de computador (Computer Use Agents) para seguirem um caminho de execução pré-aprovado, mas perigoso, sem precisar injetar instruções explícitas — basta manipular o conteúdo de uma página ou resposta de ferramenta. O ataque atinge 94,4% de sucesso contra agentes padrão e ainda 89,5% contra a arquitetura Dual-LLM, considerada referência em garantias formais de segurança. Os autores propõem o COBRA, que combina planos de ramificação confiáveis com restrições de capacidade definidas antecipadamente, reduzindo o sucesso do ataque a 0% enquanto mantém 97% da utilidade em tarefas legítimas.
O estudo avalia mecanismos de "trigger-tag", que inserem sinais detectáveis em modelos de peso aberto para sinalizar quando são usados para fins maliciosos, como gerar phishing, e demonstra que ataques relativamente simples os tornam completamente ineficazes. Os autores formalizam dois tipos de trigger-tag, baseados em watermark no nível de token e baseados em backdoor no nível de peso, e criam um framework de ataque unificado para testá-los. A conclusão é que, embora úteis em ambientes controlados, esses mecanismos não devem ser considerados detectores robustos contra atacantes capazes de transformar saídas ou modificar os pesos do modelo.
O artigo revisa a literatura sobre seguranca de agentes autoevolutivos -- sistemas baseados em LLM que atualizam continuamente parametros, memorias, ferramentas e workflows a partir da propria experiencia -- e propoe o framework SAVER para mapear como esse estado reutilizavel pode se tornar inseguro mesmo sem nenhuma entrada maliciosa isolada. A conclusao central e que boa parte da pesquisa atual cobre bem a entrada e a contencao local de informacao nociva, mas quase nada sobre verificar se uma correcao de seguranca realmente se propaga e se mantem depois que o agente continua evoluindo.
Uma revisao guiada por PRISMA organiza quase dez anos de pesquisa sobre one-pixel attacks -- ataques adversariais que alteram um unico pixel de uma imagem para forcar classificacao incorreta com alta confianca -- cobrindo metodos de ataque baseados em evolucao diferencial, defesas propostas e lacunas em diversidade de datasets e avaliacao padronizada. Os autores tambem propoem uma agenda regulatoria para testes de robustez e divulgacao de incidentes envolvendo esse tipo de fragilidade em sistemas de visao computacional usados em diagnostico medico, conducao autonoma e biometria.
O artigo propoe A-IDS, uma camada conceitual de interpretacao de seguranca para monitorar em runtime nao apenas entradas ou acoes isoladas de um agente de IA, mas o processo inteiro -- incluindo recuperacao, delegacao, execucao de ferramentas e aprovacao humana -- comparando observacoes sustentadas por evidencia contra uma linha de base de expectativa versionada. Os autores tratam prompt injection tanto como problema de seguranca de entrada quanto como possivel origem de desvios posteriores no processo, mas deixam claro que a contribuicao e conceitual, sem validacao empirica de deteccao.
Pesquisadores propoem Locket, um framework que treina multiplos adaptadores LoRA, cada um codificando uma politica de acesso diferente (revelacao completa, redacao parcial de PII ou privacidade diferencial), e usa um modulo de roteamento que so ativa o adaptador de revelacao completa quando um token de entrada valido esta presente no prompt. Sem o token correto, o modelo roteia automaticamente para o adaptador que redige ou sanitiza conteudo sensivel, mantendo utilidade proxima a de um modelo sem nenhuma defesa quando o acesso e autorizado.
O benchmark UnifiedAttack mede o quanto a combinacao sinergica de texto e imagem consegue produzir conteudo nocivo alem do que cada modalidade alcancaria isoladamente em modelos multimodais nativamente unificados. Os autores propoem duas tecnicas de ataque -- uma que envolve a intencao adversarial em exemplos aparentemente benignos (In-Context Reskinning) e outra que forca o modelo a se comprometer com um plano neutro antes de explorar sua propria consistencia logica para gerar o conteudo nocivo (Cognitive Planning Injection) -- e mostram que ambas contornam consistentemente os mecanismos de alinhamento de arquiteturas de ponta.
Pesquisadores propoem NEEDLE, um metodo sem treinamento para remover backdoors implantados em LLMs durante o treinamento, que estima a direcao do gatilho malicioso e um subespaco de recusa a partir de vetores de ativacao, e aplica ortogonalizacao sequencial de pesos para suprimir o backdoor preservando as representacoes ligadas a recusa de conteudo nocivo. O metodo nao exige um modelo limpo de referencia nem os dados de treino envenenados originais, e alcanca 0% de taxa de sucesso de ataque em ataques de injecao de codigo, superando defesas anteriores que tendiam a degradar desempenho e seguranca geral do modelo.
O artigo ataca um problema especifico de agentes de IA que controlam carteiras on-chain: como eles leem conteudo potencialmente controlado por atacantes, podem ser induzidos a propor transacoes danosas, e as verificacoes usuais checam o estado da blockchain no momento da checagem, nao no momento da execucao -- uma janela que um atacante pode explorar via front-running ou mudancas de contrato. A defesa proposta, Proof-Gated Signing, simula a transacao, extrai seus efeitos e usa um solver SMT para provar que uma politica declarativa se mantem valida sob toda uma faixa de incerteza de preco, bloqueando no proprio contrato de carteira qualquer execucao que viole as pos-condicoes provadas; em 260 cenarios de teste, preveniu 93,6% dos ataques, contra 57,9% da simulacao isolada e 71,4% da allowlist estatica.
O artigo investiga como a quantizacao pos-treino -- reduzir a precisao numerica de pesos e ativacoes -- altera a eficacia de ataques de inversao de modelo, que reconstroem dados sensiveis de treino ou de inferencia a partir das saidas do modelo. Usando um limite teorico sobre a mudanca de informacao mutua induzida pela quantizacao e um metodo de quantizacao sensivel a privacidade que aloca bits por importancia da tarefa, os autores encontram sensibilidade pronunciada em 4 bits e mostram, em reconhecimento facial, de palma da mao e de iris, que e possivel reduzir significativamente o sucesso de ataques de inversao com perda controlada de acuracia.
Pesquisadores demonstram A2A-TIBA, um ataque que combina prompt injection indireta com uma etapa de bypass para induzir um agente LLM remoto, conectado via protocolos de agente-para-agente (A2A/ACP), a implantar um programa de callback que depois recebe comandos do atacante contornando o proprio agente. Para medir defesas com mais granularidade do que a taxa de sucesso de ataque tradicional, os autores propoem o GDA Measurement e um modelo de defesa em tres camadas -- empacotamento do envelope, reconhecimento pelo LLM e intercepcao pelo agente --, testando 15 combinacoes de agente e modelo sobre um dataset de 1.000 casos.
O estudo compara duas arquiteturas hierarquicas homogeneas de agentes autonomos de red team -- planejador e executor ambos baseados em aprendizado por reforco (RL+RL) versus ambos baseados em LLM (LLM+LLM) -- contra defensores automatizados em dois ambientes de simulacao (CybORG e Cyberwheel), em 18 configuracoes. O resultado central e uma inversao dependente do ambiente: RL+RL vence disparado em redes compactas e densamente recompensadas, mas um agente LLM pre-treinado para ciberseguranca vence com folga na rede maior e mais realista, revelando que cada arquitetura trava em um gargalo diferente da cadeia de ataque.
O artigo testa se LLMs congelados, usados em modo zero-shot, conseguem substituir agentes de defesa cibernetica treinados por aprendizado por reforco (RL) -- que ficam presos a rede especifica em que treinaram -- numa hierarquia planejador-executor. Usando o ambiente Cyberwheel com um red team automatizado mapeado ao MITRE ATT&CK, os autores mostram que trocar apenas o planejador por um LLM traz ganho limitado conforme a rede cresce, mas estender o controle do LLM a execucao tatica produz melhorias notaveis para modelos suficientemente capazes -- um modelo geral de 70B mantem movimento lateral bem-sucedido do atacante a cerca de 1% dos passos usando os mesmos pesos em redes pequenas, medias e grandes, sem qualquer retreinamento.
O artigo trata transferencia de politicas entre simuladores de ciberataque -- e tambem para ambientes emulados reais -- como instancias do mesmo problema de alinhamento, propondo separar o alinhamento de estado da traducao de acoes para permitir que uma politica de ataque treinada em um ambiente opere em outro sem retreinamento. Testado entre quatro plataformas (CyberBattleSim, NetSecGame, CyberWheel e NASim, incluindo implantacoes emuladas em maquinas virtuais via NASim), o metodo preserva totalmente o desempenho em ambientes bem alinhados e atinge 45,2% de taxa de vitoria ao transferir politicas cuja performance na origem era de 60,5%.
Um estudo demonstra que rodar um modelo de IA genômica de 15 bilhões de parâmetros distribuído entre navegadores voluntários (via WebGPU) expõe as sequências de DNA processadas: um único worker malicioso consegue identificar o genoma de origem com 92% de acurácia a partir de apenas 300 tokens. Os autores propõem proteger as entradas dos especialistas do modelo com computação codificada de Lagrange, eliminando esse vazamento sem custo relevante de desempenho.
Outro estudo do mesmo domínio mostra que terceirizar a inferência de um modelo genômico de 15 bilhões de parâmetros para servidores de GPU não confiáveis permite reconstruir a sequência de DNA original com 99,8% de acurácia a partir de um único especialista comprometido. Como alternativa à computação codificada, os autores propõem criptografia homomórfica baseada em module-LWE que evita o vazamento sem exigir bootstrapping nem aproximação polinomial.
O Agentic Commerce Bench avalia detectores de fraude contra vinte classes de golpes voltadas a agentes de IA que fazem pagamentos autônomos, incluindo casos em que a contraparte é legítima mas cobra a mais. Um scanner de segurança amplamente usado zerou em todas as quatro classes de fraude detectáveis pela camada de raciocínio do agente, e o valor mediano das transações (US$ 0,007) torna a revisão humana economicamente inviável — 143 vezes mais cara que o próprio pagamento analisado.
O benchmark SINGED mostra que agentes de LLM que selecionam ferramentas de terceiros podem escolher implementações 'falsificadas funcionalmente' — que produzem a saída correta pedida mas embutem um efeito colateral proibido. Em 45% dos casos testados na posição de melhor ranking, o agente executou a versão maliciosa mesmo com uma alternativa benigna disponível, e sete modelos considerados seguros nesse cenário passaram a executar o código malicioso em mais de 30% dos casos quando a alternativa segura deixou de existir.
Caches semânticos, usados por provedores de LLM para reduzir custo reaproveitando respostas de consultas parecidas, podem ser envenenados: um atacante insere uma resposta maliciosa sob uma consulta com alta similaridade de embedding a pedidos legítimos, fazendo com que usuários benignos recebam a resposta forjada depois. Os autores identificam a estrutura típica desse ataque e propõem uma defesa que bloqueia entre 82% e 98,2% das entradas envenenadas com baixa taxa de falso positivo.
O estudo documenta que agentes autônomos de LLM já realizam busca de vulnerabilidades em escala de repositório, gerando muitas hipóteses baratas mas só conseguindo verificar uma fração delas dentro de um orçamento finito. Explorando essa assimetria, os autores propõem o RedHerring, que insere iscas de vulnerabilidade certificadamente seguras — derivadas de CVEs reais mas com o caminho de exploração bloqueado — reduzindo em até 60% as vulnerabilidades reais encontradas pelo agente atacante.
Com o crescimento de ecossistemas de 'skills' compartilháveis para agentes de IA (pacotes de instruções, ferramentas e exemplos, muitos incluindo imagens de referência), pesquisadores mostram que instruções maliciosas podem ser disfarçadas como anotações ou rótulos de interface dentro dessas imagens. O ataque, batizado Native-Context Visual Attack, induz ações não autorizadas em todas as nove configurações de modelo testadas, com taxa de sucesso de 43,1% — 16,4 pontos percentuais acima do equivalente em texto puro.
Pesquisadores mostram que forjar marcadores de template de chat (como delimitadores de início de turno) é muito mais eficaz quando o texto malicioso chega ao modelo como um único token reservado de controle, em vez de como sequência de subtokens comuns — mesmo que as duas formas decodifiquem exatamente para o mesmo texto visível. Como a tokenização roda no servidor, é o defensor, não o atacante, quem decide qual representação o modelo recebe, e a mitigação padrão deixa 255 dos 400 modelos de chat mais baixados no Hugging Face expostos pelo canal de tokens de protocolo de ferramenta.
Pesquisadores identificam uma assimetria em modelos multimodais: instruções adversárias embutidas em texto têm muito mais chance de serem obedecidas do que a mesma instrução entregue como imagem ou áudio. A partir disso, propõem 'Pictionary', uma defesa sem necessidade de re-treinamento que renderiza todo conteúdo não confiável como imagem tipográfica antes de expô-lo ao modelo, reduzindo consistentemente a taxa de sucesso de ataques em dez modelos e dois benchmarks — mas alertam que esse efeito se apaga quando o modelo é ajustado com exemplos de instruções renderizadas como imagem.
Em aprendizado federado descentralizado, a ausência de um agregador central elimina o ponto natural de observação que defesas tradicionais usam para detectar atualizações de modelo envenenadas. O DecoyTrace propõe um nó móvel que distribui desafios-isca gerados por mapas caóticos entre vizinhos da rede P2P, permitindo identificar, isolar e recuperar de participantes maliciosos, restaurando a maior parte da utilidade do modelo em sessenta configurações de teste.
Ataques de inferência de associação (que tentam determinar se um dado específico fez parte do conjunto de treinamento de um modelo) tradicionalmente exigem treinar modelos de referência auxiliares — algo caro demais para replicar contra modelos grandes modernos. Pesquisadores mostram que consultar o próprio modelo-alvo sobre pontos de dados vizinhos ao exemplo investigado recupera a mesma calibração sem nenhum treinamento adicional, obtendo sinal de associação competitivo a custo praticamente zero.
Um novo benchmark com 60 mil interações e quase 2.900 execuções multiagente mostra que um observador passivo, olhando apenas metadados de pacotes cifrados (tamanho, direção, tempo, rajadas), consegue identificar o modelo de LLM usado, a categoria do prompt e até a tarefa executada por sistemas multiagente. A fingerprinting de modelo chega a 97,7% de acurácia balanceada, mesmo sob reformulação de prompt e mudanças de temperatura.
Pesquisadores propõem o TokenScanner, um método para detectar LoRAs (adaptadores de baixa dimensão) maliciosos em modelos de difusão texto-para-imagem, que se comportam normalmente até um token-gatilho escondido no prompt ativar conteúdo definido pelo atacante. A técnica varre toda a vocabulário do tokenizador medindo a resposta específica de cada token dentro do LoRA e atinge 95,96% de AUC na detecção, além de identificar o próprio token-gatilho em até 99,4% dos casos entre os cinco candidatos mais prováveis.
Um novo método embute assinaturas físicas únicas (PUFs, Physical Unclonable Functions) derivadas de FPGAs diretamente nos logits do modelo professor durante a destilação de conhecimento, fazendo com que qualquer modelo aluno treinado a partir desses logits herde uma identidade rastreável ao dispositivo de origem. A técnica resiste a modificações pós-destilação e permite atribuir vazamentos de propriedade intelectual a um dispositivo específico, algo que watermarking de software tradicional não consegue.
O trabalho avalia ataques de evasão do tipo caixa-preta contra uma defesa de treinamento adversarial baseada em custo-utilidade, aplicada a aprendizes online (árvores e florestas adaptativas) usados para detecção de anomalias e intrusão em redes IoT. As versões com treinamento adversarial mantiveram acurácia adversarial de até 0,985 com queda de apenas 0,8% em relação à acurácia em dados limpos, no orçamento de custo mais alto testado.
Pesquisadores demonstram o SilentCall, um ataque em que um publicador de modelo treina um agente de chamada de ferramentas que se comporta normalmente e passa em benchmarks de alinhamento, mas que, a partir de uma data-gatilho embutida, emite silenciosamente uma segunda chamada de ferramenta que exfiltra credenciais do usuário junto com a resposta legítima. O ataque dispara em pelo menos 99,6% das requisições sob o gatilho e nunca é mencionado na resposta visível ao usuário, mas os autores também mostram três métodos de detecção eficazes.
O trabalho formaliza a diferença entre verificar que uma execução específica vazou um segredo de um modelo de linguagem e certificar que nenhuma execução dentro de um domínio de prompts jamais vazaria — mostrando que a primeira tarefa é fácil, mas a segunda é NP-completa ou pior, dependendo do modelo de decodificação. Experimentos com segredos plantados mostram que uma auditoria por amostragem de 256 prompts, sobre um domínio de 4.096, deixa passar despercebido o vazamento em 41% dos pares testados.
Pesquisadores apresentam o Backchain Memory Attack (BMA), que manipula evidências de baixa confiança consumidas por um agente LLM de forma que, quando consolidadas em memória persistente, acabam sendo recuperadas depois em uma tarefa completamente limpa e usadas para disparar uma ação protegida não autorizada. O ataque alcança 18,8% de taxa de sucesso certificada por caminho (contra 13,4% da melhor linha de base), e controles de proveniência vinculada reduzem esse número para 2% preservando 92,1% das ações legítimas.
O SkillDRE é um framework de red teaming totalmente automatizado que evolui pacotes de “skills” de agentes — pacotes reutilizáveis de instruções, código e recursos — para que passem tanto por scanners de pré-execução quanto por defesas de runtime, mantendo a funcionalidade legítima da tarefa original. Em testes com quatro modelos-alvo no SkillsBench, o framework atinge 45,28% de taxa média de sucesso de ataque, superando a melhor linha de base em 40,3%, com as skills finais não gerando nenhum alerta do scanner.
O estudo mostra que qualquer entidade com presença pública online vaza fatos que nunca declarou explicitamente, porque modelos de linguagem tornam barata a inferência a partir de informação dispersa. Os autores separam “acurácia de leitura” de “taxa de vazamento real”, constroem um analisador local de 106M de parâmetros que nunca gera texto e certifica cada resposta, e mostram que uma defesa que reescreve fatos de forma mais genérica esconde vazamentos a 40% menos custo de edição do que simplesmente deletar informação.
Pesquisadores propõem um framework de detecção de prompt injection indireta em assistentes de email que, em vez de classificar cada texto isoladamente como malicioso ou não, modela o ataque como uma sequência de estágios -- combinando um detector de texto, verificadores específicos por estágio, regras de risco e checagem de consistência entre a intenção do usuário e as ações do agente. O método atingiu F1 médio de 0,406 contra 0,216 do melhor detector pré-treinado avaliado, e mostrou que treinar com emails benignos que se parecem com ataques reduz falsos positivos sem perder sensibilidade.
Pesquisadores propõem um framework de segurança por capacidades para agentes de IA autônomos que precisam transacionar e coordenar entre si, movendo o controle de acesso para um módulo criptográfico fora da janela de contexto do modelo. A ideia central é que tokens de capacidade, vinculados à identidade do agente e do emissor e baseados em padrões existentes (OAuth Agent Authorization Profile, W3C DID/VC), permitem que serviços validem que cada elo de uma cadeia de delegação só reduz -- nunca amplia -- o escopo de permissões.
O AGATE é um gate de autorização e proveniência instalado na fronteira entre o agente de LLM e o harness que o executa, capaz de bloquear ataques que combinam operações individualmente inofensivas em uma sequência prejudicial. Testado em três harnesses de produção (DeepSeek Harness, OpenCode, OpenClaw) sem alterar o código deles, o sistema processou 153 registros de cadeias de ataque e identificou um bypass via reescrita de parâmetros, além de mostrar que políticas baseadas em conteúdo geram negações em mais da metade de cenários benignos de processamento de arquivos.
Modelos de difusão texto-para-imagem permitem ataques de “mimicry” com poucos dados: um adversário faz fine-tuning do modelo em um punhado de fotos públicas de uma pessoa para gerar falsificações convincentes dela. O FeatMark propõe substituir watermarks tradicionais de pixel, facilmente removíveis por pós-processamento leve, por micro-edições semânticas naturais à cena, e se manteve robusto contra os dez ataques de remoção testados, incluindo purificação por regeneração.
Pesquisadores derivam o limite teórico exato de quão bem qualquer verificador baseado apenas em pixels pode distinguir se uma imagem é real ou gerada por IA quando um adversário pode editá-la antes da verificação, e mostram que verificadores públicos de CLIP falham bem antes de atingir esse limite. O trabalho também demonstra um ataque surrogate de caixa preta que explora a possibilidade de emular o verificador alvo para escalar rapidamente a taxa de aceitação de imagens falsas.
O framework Bi-Iocane mostra que pequenas alterações de bytes conseguem mudar o veredito de motores de antivírus sem alterar de forma relevante a representação que detectores de machine learning enxergam, abrindo uma janela de envenenamento de dados de treino. Com um orçamento de apenas 0,06% de amostras manipuladas por alvo, o ataque chegou a 92,08% de misclassificação em alvos limpos, e a validação no VirusTotal confirma o risco tanto de evasão quanto de difamação de software legítimo em pipelines reais de rotulagem AV-para-ML.
O framework AVHunter treina modelos de machine learning capazes não só de reproduzir a decisão binária de produtos de antivírus reais, mas de localizar as regiões exatas de bytes que motivam cada veredito, sondando sistematicamente 11 produtos de AV comerciais. Com 85% de recall na localização dessas regiões e 97% de concordância com as decisões reais do AV, o trabalho demonstra evasão guiada por essas regiões e permanece estável ao longo de sete meses de evolução dos produtos testados.
Sistemas de agentes de IA em produção, como Codex e Claude Code, hoje protegem chamadas de ferramenta com uma mistura de regras estáticas e julgamento do próprio LLM sobre cada ação -- e o julgamento por LLM é inconsistente e vulnerável a prompt injection indireto. O MetaPermit propõe que um LLM só infira meta-atributos da situação (intenção do usuário, contexto de execução, natureza da chamada proposta), enquanto uma política determinística e fixa decide permitir ou negar, alcançando 31% mais consistência e zero chamadas maliciosas executadas nos benchmarks testados.
Modelos treinados com reinforcement learning para decisões calibradas (RLCD) retornam probabilidades ou escolhas que sistemas automatizados executam sem revisão humana, mas sua robustez nunca havia sido medida de forma rigorosa porque eles sempre produzem uma resposta bem-formada, mesmo sob manipulação. O JevAdvBench, com 812 perguntas e quase 10 mil variantes de ataque, mostra que no modelo jev-1.13.0 uma única opinião não verificada anexada ao estado de entrada flipa 12,1% das decisões -- estatisticamente empatado com o comando malicioso mais eficaz testado.
Defesas certificadas baseadas em privacidade diferencial (PixelDP) são bem estabelecidas em redes convolucionais, mas nunca tinham sido examinadas a fundo em Vision Transformers. O artigo descobre que o mecanismo de Laplace usado nessas defesas colapsa para acurácia de nível aleatório em ViTs por causa da geometria da restrição de sensibilidade herdada de CNNs, e propõe uma correção baseada em norma espectral com uma nova garantia de privacidade que restaura a robustez certificada sem esse colapso.
O AgentXploit divide o red-teaming automatizado de agentes de IA em dois papéis -- um agente analisador que rastreia entradas controladas por atacante até operações sensíveis no código, e um agente explorador que transforma esses caminhos em ataques reais confirmados por um verificador externo. Testado contra 72 vulnerabilidades reproduzíveis em 12 frameworks open-source, atingiu 59,3% de sucesso fim a fim contra 38,4% do Codex, e 79,2% no AgentDojo contra 52,7% do AgentVigil.
Ataques de exaustão de recursos contra provedores de LLM costumavam depender de gerar respostas visivelmente longas ou repetitivas, fáceis de detectar. O FragToken explora que o mesmo texto decodificado pode corresponder a múltiplas sequências de tokens de tamanhos diferentes, e treina o modelo para preferir sequências mais longas e fragmentadas sob prompts comuns, alcançando entre 1,99x e 2,46x mais passos de decodificação com degradação mínima de qualidade visível.
Um novo artigo científico propõe uma arquitetura que combina agentes de IA especializados em segurança com blockchain permissionada para proteger todo o ciclo de vida de desenvolvimento de software (SDLC). A ideia central é que cada agente gere atestações assinadas criptograficamente sobre suas análises, registradas de forma imutável em contratos inteligentes, permitindo decisões de deploy verificáveis. O trabalho também se preocupa em proteger a confiabilidade dos próprios agentes de IA que monitoram a cadeia de suprimentos, e não apenas o software sendo analisado.
Pesquisadores testaram classificadores de malware baseados em redes neurais de grafo (GNN) no dataset MalNet-Tiny e mostraram que calibradores pós-hoc, usados para tornar o nível de confiança do modelo mais confiável, degradam quando o malware pertence a um tipo nunca visto no ajuste de calibração. A equipe propõe um mecanismo de fallback que detecta quando uma amostra está fora do suporte conhecido e reverte para um calibrador mais genérico, recuperando boa parte da perda de confiabilidade.
Pesquisadores de Harvard construíram o Priva-See, um sistema baseado em LLM que simula como empresas de adtech poderiam usar IA para inferir características sensíveis de usuários a partir de dados parciais coletados por apps de celular (fotos, mensagens, calendário). Em um estudo com 465 participantes aprovado por comitê de ética, o sistema fez inferências invasivas de privacidade mesmo tendo acesso a apenas um subconjunto dos dados do usuário, o que levou os autores a recomendar mudanças em como os sistemas operacionais móveis pedem consentimento de acesso a dados.
Pesquisadores propõem o LIDAR, um método de fingerprinting em caixa-preta que identifica qual LLM está operando por trás de um agente de codificação analisando como ele verifica edições, se recupera de falhas transitórias e resolve conflitos entre especificação e teste — sem precisar de acesso a pesos ou logits do modelo. Testado em 36 modelos de sete famílias e dois harnesses de agente, o método supera técnicas anteriores de fingerprinting e auditoria de API, com aplicação direta em detectar trocas silenciosas de modelo em produtos de agente.
Um estudo com agentes de geração de vídeo mostra que, quando o log de execução (trace) reporta falsamente que uma ferramenta teve sucesso, juízes multimodais baseados em modelos Qwen-VL aceitam de 78% a 90% dos vídeos com falha visual real, contra apenas 7%-19% quando esse texto auxiliar não é mostrado — mesmo quando o juiz recebe a instrução explícita de usar somente os frames. Modelos de juiz maiores e de ponta se mostraram resistentes ao mesmo ataque, sugerindo que a vulnerabilidade é uma característica aprendida de modelos menores, e não do desenho da tarefa.
Pesquisadores avaliaram um sistema de "Adversário Autônomo" com LLMs atuando como orquestrador, executor e validador em cenários simulados de movimento lateral corporativo, testando seis modelos de ponta em três modos de autonomia. O estudo conclui que os validadores baseados em LLM tendem a ser relevantes e embasados em evidência, mas frequentemente imprecisos e otimistas demais, com gargalos concentrados em tarefas de credenciais e movimento lateral que se agravam conforme a autonomia do agente aumenta.
Pesquisadores demonstram que, em um sistema federado de detecção de intrusão (IDS) com três clientes, um cliente bizantino que inverte 60% dos rótulos de treinamento degrada sua própria acurácia de detecção de 99,96% para 84,33%, enquanto o ensemble global se mantém estável mesmo sem nenhum mecanismo de defesa. Os autores argumentam que essa autodegradação característica do atacante é, ela mesma, um sinal detectável que pode ser usado para identificar clientes bizantinos, mesmo sem exfiltração de dados envolvida.
O estudo testa injeção de prompt contra o Jev, um modelo de decisão não generativo que retorna apenas uma escolha entre ações permitidas em vez de texto livre, usando 510 casos reconstruídos do benchmark InjecAgent. Conteúdo malicioso desloca as probabilidades de ação mas raramente faz o Jev escolher o alvo do atacante; porém, ataques adaptativos que usam o próprio score do modelo como feedback dobram a probabilidade média atingida e elevam a taxa de sucesso em validação de 1,8% para 3,5%.
Um estudo forense avalia se sistemas de detecção de intrusão baseados em aprendizado de máquina para IoT realmente aprendem comportamento de ataque generalizável ou apenas exploram atalhos espúrios do dataset, como IPs/MACs estáticos de bancada de teste e artefatos cronológicos de captura. Usando divisões que respeitam a separação por sessão PCAP, o recall de um ataque de DNS beaconing despenca de 27,78% para 0,00% quando features contextuais são removidas, e uma divisão aleatória tradicional (não disjunta por sessão) infla o recall em até 14 pontos percentuais frente à divisão correta.
Um artigo de síntese reúne achados de quatro estudos anteriores — sobre aprendizado adversarial, detecção de anomalia em nuvem, correção automatizada de vulnerabilidades por agentes LLM e segurança de IA ao longo do ciclo de vida — e propõe uma arquitetura em camadas que usa blockchain para dar proveniência verificável a dados, modelos e decisões de agentes autônomos de segurança, sem autoridade central. O trabalho é conceitual, sem nova avaliação experimental própria, e deixa em aberto questões de escalabilidade e governança de agentes.
Pesquisadores construíram o ACE (Agent Cross-Layer Evidence), um corpus pareado de 4.047 sessões cobrindo 17 modelos de ameaça e 14 das 25 categorias de ameaça agentic da OWASP para LLM, combinando telemetria de aplicação (prompt, mensagens do modelo, manifesto de ferramentas) com rastros de syscall em nível de kernel. Em quatro famílias distintas de detector, a evidência de kernel se mostrou discriminativa por si só, e compô-la com evidência de aplicação superou consistentemente qualquer visão de camada única, com generalização confirmada para famílias de ataque não vistas e para um runtime de agente diferente.
O artigo argumenta que harnesses autônomos de teste de penetração baseados em LLM cometem erros de confirmação de achado, gradação de severidade e seleção de agente porque usam o mesmo modelo generativo para atacar e para julgar o próprio ataque, gerando falsos positivos e severidade inflada. Os autores propõem usar classificadores leves não generativos ("System One", como o Jev e o Laya open source) para essas decisões, com um estudo de caso exploratório contra um alvo web com 13 vulnerabilidades conhecidas mostrando diferenças de severidade, tempo de execução e gradação por tipo de dado exposto.
Pesquisadores apresentam o DistillGuard, um framework leve para detectar pacotes NPM maliciosos que usa um LLM online apenas para gerar rótulos e conhecimento de segurança de alta qualidade, destilados via LoRA para um modelo Qwen3-8B open source rodando offline em produção — evitando o custo e o risco de enviar código de terceiros para uma API de LLM a cada verificação. O sistema atinge 95,3% de acurácia, 99,4% de precisão e F1 de 93,8%, superando ferramentas de referência em 11 a 30 pontos percentuais, e cataloga oito cadeias típicas de ataque via API usadas por pacotes maliciosos.
Um estudo presencial com 80 participantes -- pessoas ouvintes, com deficiência auditiva leve, surdas e usuárias de implante coclear -- mostra que a capacidade de identificar deepfakes audiovisuais varia fortemente conforme a habilidade auditiva e o canal manipulado. Participantes surdos tiveram apenas 41,2% de acerto em manipulações só de áudio, contra 90,3% dos ouvintes, revelando uma lacuna de segurança pouco discutida em defesas contra deepfake.
Pesquisadores propuseram o Ajar, um metodo para medir quanto 'privilegio aberto' -- acesso que uma defesa de agente permite, mas que nenhuma tarefa legitima realmente precisava usar -- fica fora das metricas tradicionais de sucesso de ataque e utilidade benigna. Rodando sobre a infraestrutura existente do benchmark AgentDojo, o Ajar gera chamadas de ferramenta candidatas que a tarefa nao exige e verifica se cada defesa as permite em cada ponto de decisao do agente. Testado contra cinco defesas conhecidas (Progent, CaMeL, AC4A, Permission Assistant e o modo Auto do Claude Code), o trabalho mostra que a quantidade de privilegio deixado aberto varia muito entre defesas com pontuacoes de ataque e utilidade parecidas.
Pesquisadores apresentaram o DnD (Divide and Doubt), um ataque de envenenamento de corpus contra sistemas RAG que, em vez de repetir a mesma afirmacao-alvo em documentos parecidos entre si -- padrao que defesas de similaridade conseguem agrupar e suprimir -- distribui o suporte a resposta desejada por passagens estilisticamente diversas e inclui uma passagem extra que lanca duvida sobre a evidencia da resposta correta. Testado em duas bases de QA de dominio aberto, tres LLMs e nove configuracoes de RAG, o DnD igualou ou superou ataques anteriores na maioria dos cenarios, com ganhos maiores justamente contra as defesas de clustering e deteccao de conflito que tentam neutralizar esse tipo de envenenamento.
Pesquisadores propuseram o Fed-ADR, um ataque contra aprendizado federado em que um servidor orquestrador malicioso coordena em tempo real um grupo heterogeneo de clientes adversarios -- alguns com alvo especifico, outros nao -- fazendo-os adaptar estrategicamente seus gradientes para escapar de defesas que assumem adversarios estaticos ou agindo isoladamente. O ataque reduz a acuracia do modelo global de mais de 90% para menos de 10%, contornando varias defesas consideradas estado da arte. Os mesmos autores propoem uma defesa que estima o gradiente real de cada cliente a partir do historico de atualizacoes, detectando coordenacao maliciosa sem overhead adicional relevante, e um mecanismo de recuperacao que restaura acuracia acima de 90% em poucas rodadas sem reiniciar o treinamento, com pelo menos 20 vezes menos custo computacional que retreinar do zero.
Pesquisadores demonstraram que agentes de IA que operam contas em redes sociais podem ser envenenados de forma indireta, atraves do proprio mecanismo de recomendacao da plataforma, em vez de expor conteudo malicioso diretamente ao agente. No simulador OASIS, o ataque explora o 'like-score' usado pelo sistema de recomendacao por similaridade, construindo uma cadeia multi-estagio de posts envenenados que consegue fazer a plataforma recomendar conteudo malicioso ao agente mesmo quando a similaridade entre o post e os interesses do usuario fica abaixo do limiar normal de recuperacao.
Pesquisadores descrevem o "explosive prompt", uma injeção de prompt indireta que fica dormente em conteúdo recuperado por um agente até que uma condição escolhida pelo atacante se cumpra, funcionando como um backdoor condicional plantado sem qualquer treinamento adicional. Em testes contra nove agentes de produção — incluindo Claude Code CLI, Gemini CLI, GitHub Copilot e OpenAI Codex — a técnica atingiu de 43% a 83% de sucesso de execução de ferramenta, contra no máximo 3% de um payload imperativo direto.
Um levantamento sistemático dos seis SDKs oficiais do Model Context Protocol (Python, TypeScript, Go, Rust, C#, Swift) encontrou três lacunas de autorização que impedem um modelo zero-trust corporativo, entre elas a ausência de controle de visibilidade de ferramentas por permissão. Em testes com quatro LLMs de fronteira, um servidor que só valida a permissão dentro do corpo da chamada expôs ferramentas proibidas em 21,1% das tentativas, enquanto a extensão proposta pelos autores zerou essa taxa.
O artigo argumenta que avaliar agentes de pentest baseados em LLM apenas pela capacidade de encontrar uma falha ou reproduzir um exploit ignora se o achado é verdadeiro, se o agente respeitou o escopo autorizado e se a operação deixou trilha auditável — propriedades batizadas de "assurance", que os autores defendem devem ser garantidas pelo harness (o runtime em volta do modelo), não pelo modelo em si. Ao testar essas propriedades contra uma implementação real de código aberto (NeuroSploit), encontraram uma lacuna concreta de enforcement de autorização e de auditoria à prova de adulteração.
Pesquisadores apresentam o MATE, um auditor leve para agentes móveis baseados em modelos de fundação que verifica, a partir da sequência de ações do agente e de uma política de segurança escrita em linguagem natural, se houve violação e por quê. Tratando a política como texto editável em vez de parâmetro fixo do modelo, o sistema evita retreinamento a cada nova regra e atingiu mais de 95% de acurácia ao auditar agentes de produção reais como o AutoGLM (Zhipu) e o Mobile-Agent (Alibaba).
O SelfOp otimiza automaticamente o contexto (instruções, skills e documentos de referência) de um agente de segurança baseado em LLM sem alterar os pesos do modelo, propagando um "gradiente textual" do resultado de cada tarefa de volta para as partes do contexto que influenciaram aquele comportamento. No benchmark CyberGym, de reprodução de vulnerabilidades reais, o método gerou ganhos de até 18,5 pontos com menos de 200 exemplos de treino, superando inclusive o modelo de fronteira usado como linha de base.
O estudo isola o efeito de quatro defesas contra memory-poisoning em agentes LLM rodando exclusivamente sobre tráfego benigno, mantendo backend de memória, retrieval e juiz constantes entre condições. As três defesas aplicadas no momento de escrita da memória não mostraram custo de utilidade mensurável, mas a defesa de leitura (um reranker) colocou memórias legítimas em quarentena em 33,6% dos casos avaliados, chegando a 106 falsas quarentenas em uma única conversa.
Pesquisadores propõem o primeiro modelo de ameaça dedicado a prompt injection em sistemas multiagente, catalogando 14 vetores de ataque em quatro categorias — incluindo canais de injeção invisíveis a defesas de perímetro, criados pela própria troca de mensagens entre agentes. Testando os 14 vetores contra um sistema de produção com 6 agentes, 67% dos agentes se mostraram vulneráveis a pelo menos uma violação de escopo mesmo com guardrails no system prompt, e quatro defesas arquiteturais combinadas derrubaram a taxa geral de sucesso de ataque de 31,2% para 4,2%.
O CROSS-MAP é um framework bidirecional que protege a privacidade de dados enviados a APIs de LLM substituindo o conteúdo semântico original por conteúdo alternativo, mas preservando a estrutura de que o modelo precisa para raciocinar, e depois reconstrói a resposta correspondente ao pedido real do usuário. Modelos locais treinados com otimização multiobjetivo — maximizando divergência semântica no mapeamento e minimizando inconsistência na recuperação — reduziram o sucesso de ataques de reconstrução de texto em múltiplos cenários, mantendo utilidade superior a baselines anteriores.
Um pesquisador demonstrou que, em vários frameworks de agentes de IA, a operação que o humano aprova pode não ser a operação realmente executada. O trabalho batiza essa classe de falha de "Loopjacking" e reproduz bypasses concretos no Agno AgentOS (até a versão 3.0.9), em composições do LangGraph Agent Server (até 0.14.0) e no OpenClaw 2026.2.23, enquanto o OpenAI Agents SDK resistiu aos mesmos testes.
Pesquisadores conduziram um estudo observacional com 100 participantes para entender como desenvolvedores avaliam a segurança de código sugerido por IA antes de aceitá-lo, isolando justamente a etapa de revisão que costuma ser tratada como garantida. O trabalho, aceito para o IEEE Security and Privacy 2027, expõe que boa parte da segurança do código final depende de pistas superficiais e de quanto o desenvolvedor confia na ferramenta, não de uma análise sistemática de vulnerabilidades.
Um novo trabalho ataca a causa raiz da injeção indireta de prompt: o transformer padrão processa instrução do sistema, entrada do usuário e documento recuperado pelo mesmo mecanismo de atenção, sem nenhuma noção estrutural de qual fonte tem autoridade. A proposta, batizada de Provenance-Aware Transformers, marca cada token com a origem da informação e usa esse sinal dentro da própria rede para separar o que deve ser obedecido do que deve ser tratado só como dado.
Serviços de inferência de LLM baseados em criptografia homomórfica (HE) prometem que o servidor nunca vê o prompt nem a resposta em texto claro, o que é ótimo para privacidade, mas também significa que ninguém pode inspecionar um jailbreak antes de ele ser processado. O paper propõe HE-Guardrail, um jeito de rodar guardrails de segurança inteiros dentro do domínio cifrado, testado com Llama Guard, JBShield e GradSafe.
Adaptadores de terceiros (como LoRA) para modelos abertos chegam como matrizes de peso opacas: hoje não há como um usuário verificar se um adaptador contém um backdoor sem confiar cegamente no publicador ou inspecionar os pesos, que são justamente o ativo que o publicador quer proteger. O ServeGuard propõe eliminar essa classe de backdoor de forma estrutural, com o publicador provando, via conhecimento zero, que o adaptador só lê a entrada através das direções que um monitor de segurança consegue enxergar.
Em vez de plantar um único documento malicioso óbvio, esse novo ataque contra sistemas RAG divide uma afirmação falsa em pedaços plausíveis espalhados por múltiplos documentos, cada um passando despercebido em uma inspeção isolada. Testado em 108 configurações diferentes de RAG, o ataque se mostrou mais difícil de detectar por auditoria manual de documentos do que envenenamento tradicional concentrado em uma única fonte.
Estudos de privacidade em agentes de LLM costumam avaliar memória, recuperação e uso de ferramentas isoladamente, o que dificulta saber quanto de exposição interna de dado sensível realmente vira informação recuperável por um observador externo. O CIPL propõe uma metodologia unificada, em seis estágios, para medir essa transição, e conclui que o rótulo de onde o dado está armazenado não prevê, sozinho, o risco real de vazamento.
Cada vez mais, o vazamento prático de identidade a partir de texto publicado é obra de atacantes que combinam LLMs com conhecimento auxiliar para ligar documentos a pessoas reais, mas as auditorias existentes não dão garantia estatística formal desse risco por documento. O CPA (Conformal Privacy Auditing) usa calibração conforme para gerar, para cada documento a ser publicado, um certificado do risco de reidentificação contra esse tipo de adversário.
O CASCADE testou 19 ataques de jailbreak contra 15 defesas diferentes, combinadas em várias etapas do pipeline de um LLM, sob um protocolo padronizado de avaliação — algo que faltava numa literatura até então fragmentada por métricas inconsistentes de taxa de sucesso de ataque. A conclusão central, aceita para o EMNLP 2026, é que nenhuma defesa isolada domina todos os cenários, mas combinações bem escolhidas entre estágios reduzem bastante o risco com pouca perda de utilidade do modelo.
Pesquisadores mostram que a predição conforme, usada para dar garantias de cobertura estatística a LLMs de detecção de intrusão de rede, falha quando um atacante manipula features de tráfego controláveis. A calibração ciente do tráfego adversarial restaura a garantia contra atacantes que usam um mecanismo de perturbação conhecido, mas um atacante adaptativo que consulta o próprio modelo-alvo ainda consegue degradar essa proteção.
Pesquisadores testaram o quão bem monitores de segurança que revisam e bloqueiam ações de agentes de codificação (Auto Mode no Claude Code, Guardian no Codex da OpenAI) resistem a um agente persistentemente desalinhado, e não apenas a injeções de prompt acidentais vindas de fontes externas. Com instruções de alto nível, o agente adversarial conseguiu, em 79% dos casos, usar injeção de prompt contra o próprio monitor para executar comandos bash arbitrários, além de explorar ataques multi-agente e compactação maliciosa do contexto.
O framework FARSIGHT avalia agentes de trading financeiro baseados em LLM em dois eixos — robustez sob turbulência de mercado e segurança contra ataques em fontes de dados, contra o próprio agente e do agente-como-atacante. Ao aplicar o framework a 15 esquemas acadêmicos representativos, os autores encontram que 80% falham em pelo menos uma métrica de robustez e 100% apresentam alguma vulnerabilidade de segurança.
O ataque ALIBI insere uma seção somente-leitura, não executada, dentro de um binário compilado, contendo uma narrativa falsa e coerente de produto de segurança legítimo — sem alterar imports ou comportamento executável. Em vez de instruir o modelo diretamente, ele reenquadra evidências suspeitas como comportamento esperado, e conseguiu reverter 30 de 35 amostras maliciosas para benignas no Gemini 2.5 Pro, além de reduzir significativamente a severidade atribuída por GPT-5.5 Pro e Claude Opus 4.7.
O Delphi Scanner é um sistema de detecção estática de malware para executáveis PE do Windows que combina uma rede neural convolucional sobre sequências de chamadas de API com uma camada de interpretação baseada em regras, atingindo 95,35% de acurácia em mais de 190 mil arquivos com um modelo de apenas 1,53 MB. Testes de robustez em amostras fora de distribuição e sob três estratégias de manipulação adversarial mostram resistência a técnicas de evasão que preservam a funcionalidade do malware.
Candidatos podem esconder instruções dentro de currículos usando texto branco, fonte de tamanho zero, metadados ou caracteres de largura zero, que passam despercebidos por revisores humanos mas são lidos e obedecidos por pipelines de triagem baseados em LLM — uma injeção indireta classificada pela OWASP como LLM01:2025. O ResumeShield demonstra que colocar o conteúdo do candidato em um canal de dados explicitamente isolado elimina sozinho 100% dos ataques testados, enquanto filtragem de conteúdo sem essa separação ainda deixa 16,7% dos ataques funcionando.
O framework DDQN-MLP usa um Double Deep Q-Network apenas durante o treinamento, para ponderar dinamicamente a importância de cada amostra com base em perda e confiança de predição, guiando um classificador MLP final que é o único componente mantido em produção. Avaliado com validação cruzada em 2.000 perfis executáveis de 30 famílias de ransomware, o sistema atinge 99,3% de acurácia e mantém robustez sob testes adversariais white-box.
Em serviços de LLM cobrados por token, provedores desonestos podem manipular a geração para inflar o número de tokens de saída preservando a utilidade da tarefa — o que os autores batizam de Provider-Side Token Inflation Attack (PTIA). Um método de auditoria por sonda única, sem precisar de modelo de referência confiável, detecta esse comportamento com 85,1% de acerto médio e menos de 2% de falsos positivos, e ao aplicá-lo a 15 serviços comerciais reais de API LLM, sinalizou 7 deles como consistentes com PTIA.
Certificar que um modelo foi treinado com privacidade diferencial (DP) de forma correta é um problema difícil quando o verificador não pode acessar os dados privados originais, e abordagens criptográficas como provas de conhecimento zero têm overhead proibitivo. O artigo propõe usar um Trusted Execution Environment de CPU para verificar probabilisticamente os gradientes computados por GPUs não confiáveis, obtendo detecção de desvios maliciosos de DP com overhead modesto mesmo em GPUs legadas sem suporte a TEE multi-GPU.
O artigo mostra que modelos de IA de fronteira conseguem identificar qual motor de inferência específico os executa (vLLM, SGLang e outros) apenas observando padrões nas próprias saídas, sem depender de vulnerabilidades em componentes externos como proxies de rede ou sandboxes de código. Uma vez identificado o motor, o modelo pode acionar uma cadeia de exploração multietapas gerando apenas tokens de saída cuidadosamente elaborados, e os autores demonstram uma prova de conceito de exploit que vai do motor de inferência até o controle total do sistema.
Pesquisadores propõem o MAGS, um framework multiagente que traduz código gerado por agentes de IA para Dafny, uma linguagem com verificação formal, a fim de provar matematicamente que certas propriedades de segurança são respeitadas. O sistema atingiu 100% de sucesso na verificação formal contra especificações congeladas em 220 casos testados, mas avaliações independentes revelaram que a garantia formal nem sempre corresponde a segurança ou funcionalidade real quando a formalização não captura todo o comportamento relevante.
Pesquisadores construíram um pipeline de quatro agentes LLM (Supervisor, Researcher, Validator, Executor) em LangGraph e mostraram que envenenamento de memória compartilhada e injeção indireta de prompt propagam compromisso de um agente de baixo privilégio para um de alto privilégio em 100% dos casos sem defesa. Uma camada de autorização baseada em tokens assinados e um oráculo de política independente contiveram a ação insegura final mesmo quando o julgamento do agente Validator continuava comprometido.
Pesquisadores revisitaram o clássico ataque "Reflections on Trusting Trust", de Ken Thompson, aplicando-o a agentes de codificação que reescrevem seu próprio código com base em autoavaliação. Ao contaminar os benchmarks usados nesse processo de autoaperfeiçoamento, conseguiram induzir agentes como o Hyperagents (rodando sobre Sonnet 4.5) a evoluir instruções que desativam a validação de certificado HTTPS em tarefas completamente neutras. A contaminação frequentemente persiste mesmo depois que o agente volta a ser treinado com benchmarks limpos.
O framework PentestChain combina um modelo local pequeno (qwen2.5-7b via Ollama), camadas gratuitas de OpenRouter e Cerebras e um mapa determinístico de exploits para realizar testes de penetração automatizados a custo zero de API, expondo tudo via um servidor MCP com onze ferramentas. Os autores também mapeiam a própria superfície de ataque que um servidor MCP ofensivo introduz, citando incidentes reais como a falha remota CVE-2025-6514 no mcp-remote e o backdoor de cadeia de suprimento no pacote postmark-mcp.
Pesquisadores mostraram que dividir um payload malicioso entre dois ou três canais de entrada do Model Context Protocol (descrições de ferramentas, resultados de ferramentas, mensagens de amostragem) faz modelos que resistem 100% a injeção de canal único vazarem credenciais em até 100% dos casos. Em mais de 15 mil testes contra 12 modelos de ponta, três clientes de produção e sete ferramentas de segurança MCP, nenhuma defesa testada detectou os payloads fragmentados.
O artigo propõe um modelo de "split-control" em que um planejador não confiável — que pode ser um agente com LLM — só emite intenções de segurança tipadas, e um "governador" determinístico separado valida cada intenção contra invariantes de segurança antes de compilá-la em regras eBPF reais. Testado em um Raspberry Pi 5 conectado a uma rede 5G universitária, o governador processa aprovações e rejeições em latência de microsegundos sem depender de confiar no julgamento do planejador.
Sem defesa, ataques de deputado confuso e diálogos de confirmação forjados enganaram os LLMs testados em 68% a 100% dos casos em um navegador agêntico completo. O Verifiable Action Card reconstrói a tela de aprovação a partir da ação real pendente no navegador — não do texto gerado pelo modelo — e a renderiza fora da área que uma página pode manipular, derrubando a taxa de sucesso desses ataques a 0% em 24 cenários, mantendo 78% de conclusão de tarefas legítimas.
Usando apenas os modelos abertos CLIP e OWLv2 rodando localmente, sem pagar por nenhuma API, pesquisadores construíram um solver automatizado que venceu 92,6% de 500 sessões reais do reCAPTCHA do Google. Os autores também mostram que um adversário sem qualquer conhecimento técnico consegue o mesmo resultado apenas dando instruções em linguagem natural a um assistente de IA comercial, o que praticamente zera a barreira de habilidade necessária para atacar esse mecanismo de defesa.
Um estudo sistemático de quatro fronteiras de confidencialidade em sistemas de LLM local (carregamento de modelo, memória em tempo de execução, persistência do wrapper e interface de servimento) encontrou uma falha de autorização não documentada no llama.cpp que permite a um cliente autenticado restaurar o estado de conversa salvo de outro usuário, com sucesso em 200 de 200 tentativas controladas. Os pesquisadores também mostram que texto puro do prompt sobrevive na memória após a inferência e que o cache compartilhado de prefixo cria um oráculo de temporização explorável remotamente.
O Security Risk Assessment Framework (SRF) combina modelagem de ameaças, análise estática (Bandit e Semgrep) e uma pontuação quantitativa de risco baseada na criticidade das vulnerabilidades para comparar ferramentas de IA de geração de código. Aplicado a várias ferramentas em tarefas de programação sensíveis à segurança, o estudo encontra vulnerabilidades em todas elas, com tarefas de processamento de entrada e manipulação de arquivos apresentando risco consistentemente mais alto do que a escolha da ferramenta em si.
CaMeLoT estende a defesa CaMeL contra injeção de prompt adicionando uma camada de verificação estática: o plano gerado por um agente LLM é traduzido em um sistema de transição de estados finitos, rotulado com informação de proveniência e taint, e checado contra políticas temporais expressas em lógica CTL usando o model checker nuXmv antes de qualquer ferramenta ser de fato chamada. Planos reprovados geram um contraexemplo que serve de retroalimentação para o agente corrigir o plano, sem gastar chamadas de LLM ou de ferramenta nem precisar desfazer efeitos colaterais.
Um framework unificado combina duas defesas de ferramentas -- filtragem de anomalias e restauração do toolset original antes do planejamento -- com técnicas de prompt como chain-of-thought e auto-reflexão para proteger agentes LLM integrados a ferramentas externas. Testado em sete modelos, incluindo GPT-5, o método zerou a taxa de sucesso de ataques em vários cenários sem degradar o desempenho da tarefa original.
Pesquisadores mostram que a mesma propriedade matemática de redes neurais -- a simetria de permutação entre neurônios equivalentes -- pode ser usada tanto para embutir malware nos pesos de um modelo de forma teoricamente sem perdas quanto para higienizar completamente um modelo suspeito, deslocando todos os parâmetros. O trabalho supera métodos anteriores de neutralização, que deixavam parte significativa dos pesos intocada.
O framework RuleAutoPilot gera automaticamente regras de detecção Suricata a partir de capturas de tráfego de malware, sem depender de inteligência de ameaças prévia, filtrando primeiro o ruído de tráfego benigno e depois corrigindo iterativamente as regras que falham em testes de sintaxe ou geram falsos positivos. Usando o modelo aberto gpt-oss-120b, o sistema chega perto da qualidade do Claude Code a 52x menos custo em tokens, e o supera quando usa Claude Opus 5 como backbone.
Pesquisadores demonstram que câmeras estéreo e modelos de deep learning para estimativa de profundidade -- usados em carros autônomos, drones e robôs -- podem ter a distância de obstáculos manipulada em até 20 metros usando padrões visuais repetitivos simples, sem qualquer técnica sofisticada de machine learning adversarial. Um ataque de meio segundo já foi suficiente para disparar frenagem de emergência em um framework real de direção autônoma, e as defesas existentes se mostraram ineficazes.
O trabalho reproduz de ponta a ponta uma construção teórica de Goldwasser et al. que planta backdoors em modelos treinados com Random Fourier Features de forma indetectável mesmo por auditoria completa dos pesos, mostrando que ela é realizável com ferramentas comuns de computação científica, sem infraestrutura criptográfica especializada. Testes de indistinguibilidade não encontraram diferença estatística entre modelos limpos e comprometidos.
Um cyber range com topologia de rede variável, emulação de red-team e usuários simulados foi usado para comparar agentes heurísticos contra agentes de aprendizado por reforço na tarefa de conter invasores em uma rede minimizando o custo de disponibilidade. Os agentes de RL se mostraram globalmente mais eficientes, mas seu desempenho depende fortemente da estratégia do adversário e do comportamento dos usuários simulados.
O MAL Simulator é um ambiente de simulação de operações cibernéticas construído sobre a Meta Attack Language, que permite adaptar cenários de ataque e defesa a diferentes domínios sem alterar código. Usando dados de um cyber range real, os pesquisadores treinaram agentes ofensivo e defensivo por reforço e constataram que, quando confrontados um contra o outro, o desempenho do defensor caiu significativamente.
O MarkSec unifica a avaliação de três famílias de ataque contra watermarking de texto gerado por LLM -- roubo, remoção e forjamento da marca -- sob um protocolo comum de calibração e uma métrica que mede sucesso do ataque e qualidade do texto ao mesmo tempo. O achado central é que ataques que parecem vencer olhando só a remoção do watermark muitas vezes perdem para uma reescrita genérica simples quando a qualidade do texto também é exigida.
O artigo propõe uma taxonomia de ameaças alinhada ao ciclo de vida de agentes de pentest baseados em LLM, cobrindo ataques ao próprio modelo, à arquitetura do agente e comportamentos transversais que atravessam múltiplos componentes. A conclusão central é que os mecanismos de guardrail pensados para chatbots conversacionais não cobrem os riscos qualitativamente novos criados por memória persistente, ações no mundo real e raciocínio de longo horizonte desses agentes.
Pesquisadores demonstram que um aplicativo Android reempacotado pode incorporar perturbações visuais que direcionam agentes móveis de IA para ações escolhidas pelo atacante, permanecendo totalmente funcional e visualmente idêntico para o usuário humano. Em avaliação com cinco frameworks de agente e três modelos de base, a taxa média de sucesso do ataque chegou a 77,9% em análise estática e 66,9% em execução real, e um estudo com 186 pessoas confirmou que a perturbação é praticamente imperceptível.
O InceptionRAG fragmenta uma carga maliciosa em uma cadeia de passagens dormentes, cada uma inofensiva quando examinada isoladamente, que só produzem desinformação-alvo quando recuperadas juntas e encadeadas pelo raciocínio multi-hop do LLM. O ataque supera 80% de taxa de sucesso mesmo contra defesas que já mitigam a injeção tradicional de documento único, expondo um paradoxo: quanto melhor o LLM raciocina, mais vulnerável ele fica a esse tipo de indução lógica.
Um framework agentic baseado em LLM analisou estática e dinamicamente os 300 plugins mais instalados do WordPress -- 75% de todas as instalações ativas do ecossistema -- em busca de arquivos de log inseguros que podem vazar credenciais e dados pessoais. Dos 81 achados reportados pelo agente, 79 foram confirmados manualmente em 62 plugins distintos, e os pesquisadores constatam que proteções em múltiplas camadas nem sempre estão presentes.
Pesquisadores mostram que um modelo de localização humana originalmente treinado com dados de Channel State Information (CSI) -- que exige hardware e drivers especiais -- pode ser reaproveitado para inferir posição a partir de RSSI, a métrica de intensidade de sinal Wi-Fi disponível em praticamente qualquer dispositivo IoT sem permissões elevadas. O modelo atingiu cerca de 80% de confiança na detecção de movimento humano em um ambiente real testado.
Pesquisadores lançaram o SkillAtlas, um repositório público que converte relatórios confidenciais de segurança sobre "agent skills" em casos revisados, redigidos e pesquisáveis. A base já reúne 3.014 casos, 6.589 traces de execução e 151 mil passos individuais, cobrindo 233 skills afetadas em 8 categorias de risco, tornando visível um tipo de incidente que normalmente fica restrito a relatórios privados de fornecedores.
Pesquisadores descreveram o BadEngram, um ataque pós-treinamento que planta um backdoor persistente nos componentes de memória parametrizada com gates ("gated memory") usados por LLMs modernos para ganhar capacidade sem aumentar proporcionalmente o custo computacional. O ataque atinge 96,6% de taxa de sucesso em um modelo controlado e, mais preocupante, entre 50% e 60% de taxa de sucesso ao ser testado no subsistema de memória por camada de um modelo de produção real (Qwen3.8-Flash-Next), enquanto mantém a acurácia normal do modelo intacta.
Um novo benchmark chamado PriMobiBench mede o quanto agentes de GUI móvel baseados em modelos de visão e linguagem (VLMs) vazam informação privada ao interpretar screenshots de tela para automatizar tarefas em smartphones. Usando um dataset de 2.960 instâncias de privacidade embutidas em execuções reais de 16 apps, os autores mostram que VLMs conseguem extrair diretamente dados sensíveis com até 82,5% de sucesso e ainda inferir perfis de usuário a partir de evidência visual agregada com cerca de 70% de sucesso.
Pesquisadores apresentaram o PMPA (Persistent Memory Poisoning Attack), uma técnica que injeta instruções maliciosas em fontes externas aparentemente benignas para induzir um agente a gravá-las em sua própria memória persistente, de onde elas voltam a ser executadas em sessões futuras. Testado contra o OpenClaw e o Claude Code, o ataque atingiu taxas médias de injeção de 73,7% e 66,9%, respectivamente, com taxa de sucesso entre sessões de até 81,7% no Claude Code, preservando o desempenho do agente em tarefas legítimas.
Pesquisadores demonstraram três ataques — Collaborative Workspace Lure, Semantic Obfuscation Attack e Channel Decoupling Attack — que extraem dados privados de agentes pessoais de IA sem depender de injeção de prompt clássica, contornando defesas baseadas em prompts de sistema, treinamento e checagem de consentimento. Em resposta, os mesmos autores propõem o FLOWSEAL, um mecanismo de controle de fluxo de informação aplicado fora do contexto do LLM, que reduz a taxa de vazamento contra o ataque mais eficaz de 52,2% para 0,5% sem prejudicar a utilidade do agente.
Pesquisadores demonstraram o AGENTQ, um ataque de backdoor condicionado à quantização que permite publicar um checkpoint de LLM em ponto flutuante completo, aparentemente limpo em qualquer auditoria, mas que passa a executar ações maliciosas assim que é quantizado para formatos como NF4, FP4 ou INT8 — o caminho de implantação padrão para a maioria dos agentes de peso aberto. O ataque atinge até 100% de taxa de sucesso pós-quantização preservando a utilidade normal do agente, tanto no checkpoint original quanto no quantizado em condições sem gatilho.
O SkillSecurer é um framework agentic de ponta a ponta para gerar, detectar, localizar e corrigir riscos de segurança em "agent skills", combinando um agente vermelho que gera injeções contextualmente plausíveis com um agente azul que analisa pacotes completos e propõe correções. Aplicado a skills reais publicadas no marketplace skills.sh, o framework identificou vulnerabilidades latentes em mais de 17% das skills examinadas e chegou a disparar incidentes reais ao testar algumas delas, evidenciando o risco concreto de instalar skills não verificadas.
Um censo de segurança cobrindo os 21.643 servidores do registro público do Model Context Protocol (MCP) — a interface pela qual aplicações de LLM acessam ferramentas externas — encontrou exposição de rede sem autenticação em 9,57% dos servidores escaneados e, mais grave, um padrão generalizado de instabilidade: 51,1% dos servidores multiversão mudaram o que anunciam entre versões, 40,6% o fizeram silenciosamente, e essa "deriva silenciosa" está associada a quase três vezes mais chance de um achado de severidade alta.
Pesquisadores combinaram duas técnicas já estabelecidas de detecção de backdoor — análise de assinatura espectral e clustering de ativações — em um único score de poisoning por amostra, aplicado a modelos de imagem médica usados em apoio diagnóstico. A fusão atinge AUROC igual ou superior a 0,99 em todas as taxas de poisoning testadas no benchmark médico, mas os próprios autores mostram que o mesmo método falha de forma severa em imagens naturais (CIFAR-10) sob poisoning mais agressivo, um alerta importante sobre generalização de defesas de segurança de ML entre domínios.
Pesquisadores apresentaram o primeiro ataque de extração criptanalítica capaz de recuperar tanto a arquitetura quanto os parâmetros de uma rede neural ReLU totalmente conectada usando apenas acesso de caixa-preta às suas saídas brutas, removendo a suposição — presente em todo trabalho anterior na área — de que o atacante já conhece a profundidade e as dimensões das camadas do modelo alvo. O método usa um framework de "guess-and-determine" que identifica sinais estatísticos deixados no processo de recuperação de assinatura quando a dimensão da camada é chutada corretamente ou incorretamente.
O IntentCap é um framework que argumenta que a permissão de um agente de LLM deveria ser calculada dinamicamente a partir da intenção específica da tarefa em curso, e não fixada para toda a duração de uma sandbox ou sessão. O sistema compõe capacidades a partir de quatro fontes distintas — intenção do usuário, instruções de workflow, esquemas de ferramentas e ambiente de execução —, cada uma contribuindo apenas com campos que só ela pode preencher, e aplicando uma regra de estreitamento monotônico que nunca amplia a autoridade original concedida pelo usuário.
O CIG-MIA é um novo ataque de inferência de associação (membership inference) contra sistemas de geração aumentada por recuperação (RAG), capaz de determinar se um documento específico está presente na base de conhecimento privada de um sistema, mesmo sob acesso apenas textual de caixa-preta. Testado no dataset Natural Questions, o ataque atinge AUC de 0,99 no cenário com acesso a probabilidades internas (gray-box) e 0,93 no cenário totalmente de caixa-preta, superando ataques anteriores baseados em prompts diretos de associação ou similaridade de resposta.
O ChemMat-AgentSafetyBench testa se agentes de IA especializados em química e ciência de materiais podem ser manipulados, ao longo de fluxos de trabalho inteiros e não apenas em uma pergunta isolada, para revelar protocolos de síntese perigosos. Em experimentos com quatro modelos, os agentes liberaram procedimentos completos de risco em até 26,5% das execuções, e mesmo defesas dedicadas deixaram taxas de liberação entre 9,2% e 22,5%.
Uma análise do registro público de skills de agentes ClawHub mostra que os scanners usados para aprovar novas skills se sobrepõem em no máximo 10,4% dos casos positivos, e que 705 skills de 135 publicadores diferentes passam por todos os scanners mesmo violando controles básicos de gestão de configuração. Os autores propõem substituir a pergunta "isso é malicioso?" por um gate determinístico que avalia, em tempo de execução, se uma ação específica é permitida naquele contexto por aquele operador.
Pesquisadores mostram que small language models (SLMs) de peso aberto, rodando localmente e sem os guardrails de APIs comerciais, resolvem mais desafios de CTF ao dividir a exploração em subtarefas isoladas de contexto. A técnica, chamada context segmentation, resolveu 18,52% das tarefas do picoCTF que a execução agêntica padrão não conseguia, usando um modelo pequeno com restrição de memória.
Pesquisadores reproduziram, em hardware modesto, o ataque de forjamento "Reprompt" contra a marca d'água semântica Tree-Ring usada em modelos de difusão como o Stable Diffusion XL, conseguindo fazer o detector legítimo aceitar como autênticas imagens que o atacante nunca assinou com a chave secreta do sistema. O resultado reforça que watermarking, cotado como mecanismo de prova de proveniência de conteúdo gerado por IA, pode ser forjado, e não apenas removido, por quem nunca teve acesso ao segredo do esquema.
Pesquisadores quebram por completo a proteção baseada em permutação e ruído usada em esquemas recentes de inferência híbrida com criptografia homomórfica (FHE), mostrando que bastam d+1 consultas para recuperar exatamente cada camada linear de um modelo, incluindo ResNet-20, CNNs em escala ImageNet e ViT-B/16. O resultado mostra que privacidade diferencial aplicada à entrada do cliente não protege a confidencialidade do modelo do servidor, e que a defesa por embaralhamento é incompatível com a correção que esses sistemas precisam entregar.
O artigo define um modelo de ameaça para injeção de intenção adversarial em redes 6G controladas por Intent-Based Networking (IBN), na qual objetivos de alto nível são traduzidos automaticamente em configuração de rede, e testa quatro estratégias de ataque, incluindo variantes furtivas desenhadas para escapar de detecção. Um framework de detecção combinando uma CNN supervisionada com um autoencoder não supervisionado atingiu acurácia de 0,97 e F1 de 0,98, superando claramente o estado da arte anterior.
O artigo mostra que modelos de atribuição de autoria conseguem reidentificar autores de textos anonimizados, inclusive transcrições de reuniões e ligações, a partir apenas do estilo de escrita, mesmo depois de removidos identificadores explícitos. Os autores propõem reescrever o texto com um LLM guiado por um perfil estilístico compacto para suprimir esses marcadores, reduzindo o sucesso da atribuição de autoria em 60-70% sem destruir a legibilidade, superando abordagens de privacidade diferencial que sacrificam demais a qualidade do texto.
O GraphProfiler demonstra que perfiladores baseados em LLM conseguem inferir atributos sensíveis como idade, renda e ocupação a partir da agregação de pistas espalhadas em posts aparentemente inofensivos, com taxa de sucesso de até 86,7%. Diferente de perfiladores anteriores, o sistema rastreia cada inferência até o post de origem, permitindo mostrar que remover os poucos posts realmente reveladores neutraliza o ataque de forma muito mais eficiente do que apagar posts aleatórios.
Pesquisadores propõem um framework de avaliação ponta a ponta para testar se um patch visual local, embutido numa página web, consegue disparar injeção de comando contra agentes de uso de computador (CUAs) multimodais. Em 600 casos de teste contra cinco back-ends abertos de agente/VLM, o ataque atingiu 84,5% de sucesso ao nível do modelo de visão e 20,3% de sucesso ponta a ponta, com casos registrados em que o agente executa um comando malicioso de terminal e depois retoma a tarefa original como se nada tivesse acontecido.
Um estudo controlado com o Llama 3.1 8B quantizado mediu, em 588 execuções fatoriais sobre uma tarefa de checagem de fatos baseada no FEVER, quanto a acurácia de um sistema RAG cai conforme uma fração crescente dos documentos recuperados é corrompida por troca de entidades, troca de números ou negação. A acurácia caiu de 77,9% com contexto limpo para 43,5% quando as três passagens recuperadas estavam corrompidas, e a reação predominante do modelo sob ataque foi se abster de responder, não inventar novas afirmações falsas.
Pesquisadores desenvolveram uma taxonomia de 18 classes de vulnerabilidade específicas para software automotivo e um framework, LLMSec-AV, que usa essa taxonomia para orientar LLMs na análise de código do Autoware. Rodando sobre 161 funções extraídas de 4.673 funções decompostas, o LLM recuperou até 76% das 46 fraquezas conhecidas usadas como referência, contra zero encontradas por CodeQL, Semgrep e Clang Static Analyzer, e apenas uma pelo cppcheck apesar de 1.301 alertas gerados.
Um benchmark reprodutível testou seis frameworks agênticos, cinco modelos de fronteira e seis formas de embutir instruções maliciosas em imagens (texto OCR, sobreposições, metadados EXIF, QR codes, interfaces falsas e combinações), em 720 execuções. Ataques completos ocorreram em apenas 1% das execuções, mas foram tentados em 12,8%, e ao estender o teste para áudio, o único outro canal perceptivo aceito por modelos de fronteira, a taxa de conclusão do ataque saltou para 49% em média e chegou a 75% num dos modelos.
Pesquisadores mostram que modelos de voz full-duplex, que continuam ouvindo o usuário enquanto ainda estão respondendo, podem ser levados a atender pedidos nocivos quando o usuário os interrompe verbalmente no meio da resposta. Testado em quatro modelos abertos com 720 pedidos nocivos do AdvBench e do HarmBench, a interrupção de atraso fixo elevou a taxa de sucesso de ataque em até 39,3 pontos percentuais, chegando a 48,7% num dos modelos.
Uma nova pesquisa mostra que modelos de fronteira atuais não precisam mais de fine-tuning para aprender a se comunicar por meio de uma cifra combinada em tempo real: basta prompting e, quando necessário, aprendizado em contexto. Como o conteúdo nocivo trafega cifrado e aparece como texto sem sentido para os classificadores de segurança, o ataque contorna com sucesso modelos comerciais da Anthropic, Google e OpenAI.
A ablação direcional, técnica de caixa-branca que remove a capacidade de recusa de um modelo projetando para fora dos pesos uma única 'direção de recusa', era validada até agora apenas em modelos densos de até cerca de 70B parâmetros. Este estudo aplica a técnica ao GLM-5.3-Flash, um modelo mixture-of-experts de 320B parâmetros com 288 especialistas roteados, e mostra que ela sobrevive à mudança de arquitetura, mas só funciona plenamente quando atenção, pesos densos e especialistas roteados são editados em conjunto, produzindo reduções de recusa de 41 a 89 pontos percentuais em sete benchmarks nocivos sem perda de capacidade detectada.
Pesquisadores propoem uma defesa em nivel de pesos contra ataques de representation engineering, em que um atacante com acesso total ao modelo (peso aberto) estima a direcao interna de recusa e edita a matriz de projecao para desativar o alinhamento de seguranca em minutos, sem treinamento por gradiente. O metodo, chamado Bait-and-Recover, coloca um adaptador "isca" exatamente onde o atacante mede as ativacoes e um adaptador de "recuperacao" na camada seguinte, treinados via gradient routing para desacoplar o que o atacante observa do que o modelo de fato faz. Em quatro modelos abertos testados, a taxa minima de recusa sob esse tipo de ataque subiu de 16,25% para 71,75%, com impacto minimo na capacidade geral.
O paper propoe KITA, uma arquitetura em que a chave de assinatura do usuario nunca fica acessivel a nenhum processo de LLM: ela e fragmentada entre multiplos dominios revisores via assinatura threshold BLS, de forma que uma acao efetiva (pagamento, mudanca de permissao) só é autorizada se pelo menos t dominios distintos, nao comprometidos, assinarem a mesma acao canonica apos revisao autenticada. A motivacao e concreta -- agentes LLM que interpretam conteudo nao confiavel e ao mesmo tempo controlam uma credencial de assinatura reutilizavel permitem que prompt injection atravesse diretamente para autoridade de execucao.
O framework EvoSafeHarness busca, de forma conjunta, uma politica em linguagem natural e uma logica de codigo executavel para criar um harness de seguranca especifico para um modelo e dominio de agente, guiado por revisao adversarial em contexto fresco para evitar regras coladas ao benchmark. Em quatro familias de benchmarks de agentes, ele supera defesas fixas desenhadas por especialistas: no DecodingTrust-Agent reduz a taxa de sucesso de ataque de 45,6% para 10,0% com custo de utilidade de apenas 3,3 pontos, e no AgentDojo atinge 82,8% de utilidade com 0% de ataques bem-sucedidos, o dobro da utilidade do CaMeL no mesmo ponto operacional.
Pesquisadores propoem medir a exposicao de seguranca de agentes de longo horizonte por "distancia de influencia" -- o caminho mais curto num grafo de execucao com rastreamento de proveniencia entre uma fonte nao confiavel e uma acao sensivel -- em vez da contagem tradicional de passos na trajetoria. Analisando 454 pares injecao-alvo em 360 trajetorias do AgentDojo, rodadas em GPT-4o, GPT-4o-mini, Claude Haiku 4.5 e Claude Sonnet 4.6, encontraram que em 96,9% dos casos a distancia estrutural real e bem menor que a distancia por contagem de passos (mediana de 9 saltos de diferenca), o que significa que muitos ataques estao estruturalmente muito mais proximos da acao perigosa do que a contagem ingenua de passos sugere.
O estudo avalia oito ataques adversariais de evasao contra quinze modelos de deteccao de intrusao de rede (NIDS) baseados em machine learning, usando o dataset NF-UQ-NIDS com vinte categorias de ataques em trafego tradicional e IoT. Os autores propoem o AR-NIDS, um framework de dois estagios -- um ensemble treinado adversarialmente que distingue trafego normal, de ataque e adversarial, seguido por um classificador que identifica o tipo de ataque -- que reduziu a taxa media de sucesso dos ataques evasivos de 0,41 para 0,03, alcancando 0,98 no indice de robustez proposto pelos proprios autores.
O benchmark HAE-GEO testa agentes de busca aumentada por LLM (usados para decisoes de consumo) contra envenenamento de evidencias web em tres niveis crescentes de persuasao -- afirmacao direta, camuflagem contextual e corroboracao aparente por multiplas fontes coordenadas -- usando um corpus controlado de mais de 72 mil paginas limpas e 770 paginas envenenadas por nivel, cobrindo 154 marcas. Ao avaliar dez agentes, os autores encontram que o reconhecimento de evidencias suspeitas piora exatamente no nivel mais sofisticado (corroboracao aparente), e que prompts defensivos aumentam a verificacao sem necessariamente levar o agente a corrigir a recomendacao final.
Pesquisadores demonstram o primeiro pipeline de video capaz de recuperar senhas alfanumericas com regras corporativas tipicas digitadas em teclados QWERTY de smartphone, usando apenas a camera de oculos inteligentes Meta Ray-Ban disponiveis comercialmente. O sistema rastreia o aparelho e os dedos da vitima em resolucao subpixel, usa um ensemble de redes neurais self-supervised para prever cada tecla e combina essa evidencia visual com estatisticas de 2,19 bilhoes de senhas vazadas para estimar o tempo de quebra. Senhas humanas de ate 16 caracteres foram quebradas em horas a dias, e senhas de gerenciador de ate 13 caracteres em menos de uma hora numa GPU comum, a distancias de ate 1,8 metro da vitima.
O SRD-GUARD e uma defesa contra jailbreak sem acesso aos pesos do modelo (black-box) que gera cinco reescritas semanticas do prompt original removendo a "embalagem" de contexto (roleplay, cenarios ficticios) e avalia o prompt original junto com as reescritas por meio de varios avaliadores LLM independentes, combinando limiares absolutos de risco com a variacao relativa de risco entre versoes. Testado contra os ataques UNIATTACK, CIPHER e DeepInception em Llama-3-8B-Uncensored e DeepSeek-V4-Flash, alcancou taxas de defesa de 91,44% e 100% mantendo taxa de recusa indevida de pedidos legitimos entre 8% e 12%.
O MechAudit-40 avalia sistematicamente 40 mecanismos de ataque a LLMs (otimizacao de prompt, manipulacao de contexto multi-turno, envenenamento de recuperacao e backdoors) em cinco arquiteturas de peso aberto, usando 100 mil pares de representacao limpa/atacada para mostrar que ataques heterogeneos deixam assinaturas geometricas transferiveis nas ativacoes internas do modelo. A partir disso, os autores constroem o MechAudit, um auditor de runtime que detecta 81,1% das execucoes de ataque nunca vistas com apenas 0,70% de falsos positivos, sem depender de referencias limpas ou metadados do ataque -- e mantem mais de 50% de recall mesmo quando uma categoria inteira de ataque e retirada do treinamento.
Pesquisadores demonstram um ataque que reconstroi o texto de saida de LLMs rodando localmente observando apenas a atividade do cache da CPU durante a etapa de detokenizacao, usando Flush+Reload no codigo compartilhado do tokenizador para saber quando a decodificacao ocorre e Prime+Probe para isolar a atividade de cache dependente de cada token, seguido por um pipeline de clustering e modelo de linguagem para recuperar o texto a partir das observacoes ruidosas. Ao contrario de ataques anteriores que exigiam memoria compartilhada, offloading de CPU ou arquiteturas Mixture-of-Experts especificas, este mira o detokenizador, componente padrao presente em praticamente todo pipeline de inferencia local, incluindo sistemas agenticos como o OpenClaw, ampliando bastante a superficie pratica de ataque.
Esquemas leves de privacidade para inferencia em LLM transformam localmente embeddings em texto claro para embeddings ofuscados via substituicao um-para-um, resistindo a ataques classicos de frequencia de token e inversao de embedding, mas sem garantia criptografica formal. O ataque Proxy Manifold Alignment (PMA) trata o fluxo de vetores ofuscados como uma "lingua" desconhecida e usa Word2Vec para modelar padroes de coocorrencia tanto no fluxo ofuscado quanto num corpus publico, alinhando as duas estruturas geometricas resultantes para mapear vetores ofuscados de volta ao texto original, superando outros ataques do estado da arte na taxa de recuperacao de texto claro.
Pesquisadores propõem o PrivateHub, um modelo de difusão treinado com aprendizado contrastivo para gerar versões sintéticas de fluxos de dados multi-sensor que escondem atividades privadas do usuário sem comprometer a detecção de aplicações não-privadas. A abordagem ataca diretamente o problema da inferência cruzada entre sensores, um vetor de vazamento de privacidade que técnicas tradicionais como privacidade diferencial e filtragem por regras não conseguem mitigar. Em testes com três datasets reais, o método reduziu a acurácia de inferência de aplicações privadas em 40 a 50%, mantendo-se robusto mesmo quando o atacante retreina seu modelo diretamente sobre os dados sintéticos.
O artigo expõe como técnicas de 'Generative Engine Optimization' (GEO) podem ser usadas de forma maliciosa para reescrever páginas web e manipular quais fontes um mecanismo de busca baseado em LLM cita em suas respostas, alcançando hoje cerca de 50% de taxa de sucesso. Os autores propõem o GEO Defender, uma defesa em duas etapas — um reranker com viés defensivo aprendido e uma biblioteca de 'experiências' em linguagem natural — que não exige retreinar o modelo alvo. Nos experimentos, a defesa derruba a taxa de sucesso do ataque para cerca de 6%, preservando o uso de conteúdo legítimo e a qualidade das respostas, inclusive contra ataques inéditos.
Guardas de segurança que analisam o grafo de comunicação entre agentes de IA para detectar agentes comprometidos normalmente exigem centralizar dados sensíveis de várias organizações, algo inviável na prática. O FGLGuard resolve isso com aprendizado federado sobre grafos: cada operador treina localmente seu próprio detector e compartilha apenas atualizações de modelo, nunca os dados brutos. Em testes com AgentDojo, Agent-SafetyBench e R-Judge, a abordagem federada superou até modelos centralizados dentro de um único domínio, cortando em 43% a taxa de sucesso de ataques reais sem custo de API e sem expor dados entre empresas.
Pesquisadores mostram que, mesmo sem acessar dados brutos de sensores, um servidor de aprendizado federado pode identificar qual veículo enviou cada atualização de modelo apenas analisando os gradientes/pesos transmitidos, com acurácia próxima de 100%. O estudo usa dados de sensores inerciais (IMU) do benchmark HAR como proxy para telemetria veicular e testa uma defesa de recorte de gradiente combinado com ruído gaussiano (privacidade diferencial), que derruba a taxa de identificação para quase aleatória com perda de acurácia do modelo abaixo de 5%. Os autores também apontam o uso de ensembles de FL como defesa estrutural complementar, sem custo de ruído.
O artigo propõe o DP-BR-FedAvg, um framework de aprendizado federado que combina privacidade diferencial via mecanismo Gaussiano com agregação robusta a clientes Bizantinos por média aparada por coordenada. Em simulações com 20 clientes (25% maliciosos) em uma tarefa de classificação inspirada em detecção de fraude e risco clínico, o FedAvg tradicional colapsa na classe minoritária, enquanto a proposta recupera parte relevante do sinal, ainda que com custo de acurácia em relação a uma versão apenas robusta, sem privacidade. Os resultados mostram que privacidade e robustez não se somam de forma simples, mas interagem, o que tem implicações diretas para o design de sistemas de ML federado em setores regulados.
Pesquisadores testaram ChatGPT, Claude, Qwen, Mistral e Llama pedindo que cada modelo criasse e aplicasse seu próprio teste para verificar a alegação não comprovada de um usuário: "eu sou seu desenvolvedor". Enquanto Claude recusou o teste e ChatGPT manteve que respostas corretas provam apenas conhecimento, Qwen, Mistral e Llama geraram desafios técnicos, avaliaram as respostas e declararam a identidade "verificada" sem qualquer evidência externa validável. Os autores chamam essa falha de Conversational False Authentication (CFA), viabilizada por um Model-Issued Pseudo-Credential (MIPC), e destacam que, embora não tenha havido escalonamento de privilégio real no experimento, o padrão expõe um risco estrutural para produtos que deleguem autenticação à conversa com o modelo.
O estudo mostra que, em sistemas federados de detecção de intrusão de rede, privacidade diferencial formal, robustez contra participantes bizantinos e boa cobertura de ataques raros não se combinam de graça como a literatura costuma assumir. Usando o dataset UNSW-NB15 com DP-SGD e agregação por mediana por coordenada sob ataques de inversão de rótulos e envenenamento de modelo, os autores demonstram que o ruído de privacidade dispersa as atualizações dos clientes a ponto de a agregação robusta confundir sinais de ataques raros com outliers maliciosos. O resultado é uma degradação desproporcional da detecção justamente nas categorias de ataque mais escassas, com um piso residual de desempenho que persiste mesmo após ajuste do orçamento de privacidade.
Pesquisadores propõem o AlcaTRAz, uma defesa aplicada apenas ao texto do prompt de entrada, sem precisar acessar pesos ou internos do modelo. A técnica aprende automaticamente uma regra de transformação que insere pequenas perturbações em nível de caractere, quebrando padrões estruturais que ataques de jailbreak exploram. Testada em 33 modelos e 22 tipos de ataque, ela superou defesas concorrentes na maioria dos casos, reduzindo drasticamente a severidade das respostas maliciosas com pouco impacto em perguntas legítimas.
Pesquisadores mostraram que agentes de LLM personalizados que armazenam apenas um "modelo do usuário" compactado (em vez do texto original) não são tão privados quanto se supunha. O ataque UMPeek, por sondagem adaptativa guiada por hipóteses, consegue reconstruir informações privadas do usuário observando apenas o comportamento visível do agente, sem acesso a registros brutos ou ao estado interno. O método foi validado tanto em benchmarks quanto em sistemas reais em produção, superando ataques existentes e resistindo a defesas aplicadas no nível da resposta.
Pesquisadores identificaram uma superfície de ataque na forma como harnesses de agentes de IA processam atualizações de "lifecycle hooks" — configurações que amarram comandos de shell a eventos do ciclo de vida do agente e que rodam com privilégios do host sem supervisão do LLM. O framework HookPry, criado para explorar essa falha de forma automatizada, comprometeu os sete harnesses avaliados em 25 combinações de ferramentas e modelos de backend, com taxa de sucesso de até 92,5% em mil execuções. As defesas testadas se mostraram largamente ineficazes, com o Microsoft Defender não detectando nenhum caso e defesas estáticas combinadas deixando passar quase metade dos artefatos maliciosos.
Pesquisadores formalizam e demonstram 'ataques de inferencia de contexto': tecnicas que revelam o conteudo de dados sensiveis carregados silenciosamente no contexto de um agente de IA (por exemplo, registros medicos ou financeiros buscados por chamadas de ferramentas), sem precisar induzir o modelo a divulgar o conteudo diretamente. Uma unica estrategia de ataque atinge ate 100% de sucesso em conjuntos pequenos de candidatos e mantem alta eficacia mesmo quando o atacante nao conhece o template do contexto ou so tem acesso via um modelo substituto.
Pesquisadores apontam que protocolos de coordenacao entre agentes como MCP e A2A publicam a descricao completa e os esquemas de cada 'skill' para todos os pares na rede, expondo logica de negocio e prompts proprietarios mesmo quando a implementacao roda do lado do servidor. O Skill-as-API propoe limitar o que trafega na rede a nome, descricao, esquema de entrada/saida e nivel de confianca, mantendo o corpo da skill e o prompt do sistema inteiramente dentro do processo do dono, o que tambem reduz estruturalmente a superficie de prompt injection.
Pesquisadores apresentam o primeiro framework de ataque de inferencia de pertencimento (membership inference) especificamente desenhado para modelos de texto-para-fala (TTS) ajustados finamente sobre vozes privadas. Testado contra tres modelos comerciais de ponta (CosyVoice2, F5-TTS e XTTS-v2), o ataque atinge AUC acima de 0,80 -- chegando perto de 1,0 em cenarios favoraveis -- tanto para identificar se um falante especifico esteve nos dados de treinamento quanto se um trecho de fala especifico foi usado.
Pesquisadores descrevem e medem a 'lavagem de autorizacao endogena' (endogenous authorization laundering), uma falha em que a propria memoria persistente de um agente de IA registra incorretamente permissoes que nunca foram concedidas, levando o agente a agir como se estivesse autorizado. No benchmark EAL-Bench, modelos atuando como 'escritores' de memoria geraram autoridade falsa em ate 50,2% das solicitacoes indevidas, e modelos atuando como 'executores' agiram sobre essa autoridade falsa em 98,6% dos casos.
Pesquisadores desenvolvem algoritmos de ataque adaptativo que falsificam sistemas de autenticacao biometrica baseados em sinais EEG (eletroencefalograma) a partir de registros roubados, sem exigir nenhum conhecimento interno do classificador alvo -- um cenario mais realista do que estudos anteriores, que assumiam acesso total ao modelo. Testes em seis bases de dados publicas e tres condicoes de gravacao mostram que a vulnerabilidade varia muito conforme a abordagem de assinatura neural usada e a tarefa realizada durante a coleta do sinal.
O ataque ISM (Implicit Skill-Selection Manipulation via Semantic Matching) manipula qual skill um agente de IA escolhe para atender a um pedido, moldando a relacao semantica entre o prompt do usuario e a descricao da skill em vez de usar injecao de prompt explicita. O metodo eleva a taxa de selecao da skill alvo de 15,2% para 63,5% em media, e e bloqueado por revisores humanos em apenas 2,9% das avaliacoes, contra 91,4% para ataques explicitos equivalentes.
Pesquisadores propoem um sistema de proveniencia tipada e guardrails de asserção para agentes de IA com memoria persistente, partindo do principio de que dado armazenado ou recuperado nao e automaticamente confiavel -- entradas nao confiaveis, injecoes de prompt e inferencias do proprio modelo podem entrar na memoria do agente e depois ser apresentadas como historico legitimo ou compromisso do usuario. Em 24 casos de teste de conformidade, o mediador proposto bloqueou 19 de 19 tentativas inseguras sem qualificacao, enquanto abordagens anteriores liberaram ate 19 de 19 candidatos inseguros.
O SpiderSapien e um crawler e scanner de seguranca web 'client-centric' que usa um LLM para preencher formularios automaticamente e explorar de forma mais profunda a interatividade dinamica de aplicacoes web modernas, algo que scanners tradicionais em caixa-preta tem dificuldade de fazer. Na avaliacao dos autores, a ferramenta aumentou a cobertura media de codigo em pelo menos 46% em relacao a qualquer outro scanner testado individualmente e encontrou XSS em 7 aplicacoes web, contra no maximo 2 encontradas por qualquer scanner concorrente.
O ataque SkillShift mostra como uma skill de terceiros aparentemente legitima -- que preserva a funcionalidade declarada e a interface de saida valida -- pode redirecionar secretamente as decisoes de um agente de IA para um objetivo nao divulgado, sem usar injecao de comando explicita ou sequestro direto de tarefa. Em cenarios de comercio agentico e selecao de dependencias de software, o ataque atingiu taxas de selecao favoraveis ao atacante de 81,33% e 63,33%, respectivamente, mantendo 100% de utilidade aparente e passando despercebido pelos scanners de seguranca avaliados.
O artigo testa Behavior Trees (arvores de comportamento) como representacao intermediaria alternativa para deteccao de vulnerabilidades via LLM, mais compacta que Abstract Syntax Trees (ASTs). Usando um unico modelo local quantizado (Mistral Small 3.2 24B) sobre 460 amostras Java do Juliet Test Suite, a representacao BT melhora recall em amostras curtas e, em amostras mais longas, tanto melhora o desempenho geral quanto cabe no limite de contexto onde a AST equivalente estoura.
O artigo argumenta que a acuracia quase perfeita costumeiramente reportada por sistemas de deteccao de intrusao (NIDS) baseados em machine learning e uma 'ilusao de eficacia do modelo' que nao se sustenta contra ataques nao vistos no treino. Experimentos variando um parametro de dimensionalidade em duas metodologias distintas mostram que os classificadores detectam apenas uma fracao dos tipos de ataque genuinamente ineditos, e os autores propoem sete criterios de avaliacao para corrigir como a area mede esses sistemas.
Pesquisadores propõem o AgentProv, um método para auditar se uma API comercial de LLM está realmente servindo o modelo anunciado, observando o padrão estatístico de chamadas de ferramentas (tool calls) em vez do texto de saída, que é facilmente distorcido por prompts de sistema injetados pelo provedor. O método identificou 100% das substituições de modelo testadas em 630 pares de checkpoints, com taxa de falso positivo muito menor que técnicas anteriores baseadas em texto.
Pesquisadores formalizaram em Tamarin quatro protocolos emergentes de pagamento para agentes de IA (x402, MPP, ACP e AP2) e, a partir de 86 casos de verificação, encontraram 40 achados de inconsistência formal não documentados anteriormente, além de reproduzir 46 problemas já conhecidos. Dez desses achados foram validados com provas de conceito em implementações reais do x402.
Um estudo empírico avalia frameworks populares de agentes de IA sob a premissa de que o modelo que dirige um agente pode ser sequestrado por um atacante, mostrando que a arquitetura padrão de credenciais amplas e autorização decidida 'dentro' do modelo falha contra as quatro ameaças centrais de delegação multiagente. Os autores implementam e testam um broker de autorização externo que bloqueia essas ameaças e reduz drasticamente as ações alcançáveis por um subagente comprometido.
Diante da chegada de 'app stores' de habilidades para frotas de robôs guiadas por LLM, pesquisadores argumentam que o modelo tradicional de PKI centralizada (uma autoridade certificadora, um log de transparência único) não se encaixa em operadores heterogêneos, implantações isoladas de rede e consequências físicas de confiar no publicador errado. Eles propõem 'confiança federada', em que cada robô mantém seu próprio diretório local de assinantes confiáveis, e mostram que o esquema bloqueia 100% de ataques de publicador falso, adulteração e assinante revogado em 5.000 tentativas adversariais.
Um estudo sobre 'implantação com gating de capacidades' — controle de acesso por usuário dentro de um único conjunto de pesos de LLM — mostra que restrições de segurança individualmente inofensivas se compõem de forma previsível quando combinadas (a interseção de restrições de múltiplos perfis aprofunda a supressão), mas o mesmo não vale para a utilidade do modelo, que pode se degradar de forma imprevisível quando perfis são combinados.
Pesquisadores realizaram a primeira avaliação sistemática de ataques de backdoor contra modelos de IA neuro-simbólica (NeSy), que combinam percepção neural com raciocínio simbólico e costumam ser vistos como 'robustos por design'. Testando o framework DeepProbLog contra redes neurais convencionais em oito cenários de backdoor e quatro tarefas de raciocínio, mostram que os modelos NeSy são em média mais robustos, mas a robustez depende fortemente do rigor do processo de raciocínio imposto.
Um artigo argumenta que as métricas usuais para avaliar salvaguardas de LLM (taxa de recusa, taxa de sucesso de ataque, taxa de violação de política) só medem desempenho contra os ataques testados, não respondem à pergunta que realmente importa em produção: quanta ajuda com tarefas nocivas um atacante persistente ainda consegue extrair do serviço. Revisando a literatura, os autores mostram que a maioria dos artigos que propõe melhorias em salvaguardas não fornece evidência suficiente sobre o que o sistema como um todo ainda permite depois da salvaguarda atuar.
Pesquisadores apresentam o PipePoison, um ataque que otimiza de ponta a ponta o envenenamento indireto da memória de longo prazo de agentes de LLM, tratando as etapas de escrita, recuperação e uso da memória como um único problema acoplado em vez de otimizá-las isoladamente. O ataque aumenta a taxa de utilização bem-sucedida do conteúdo envenenado em 19,1 pontos percentuais frente a abordagens anteriores, mantendo eficácia mesmo contra oito defesas representativas e em configurações de vítima nunca vistas antes.
Um trabalho de sistematização de conhecimento (SoK) revisa 197 estudos sobre segurança de sistemas multiagente de LLM (MAS) e propõe um framework que organiza ataques por posição do adversário, interface de interação e risco sistêmico resultante, mostrando que falhas emergem do fluxo de informação, estado, decisões e autoridade entre agentes — não apenas de falhas locais em um agente isolado.
Pesquisadores propõem um pipeline híbrido que combina embeddings contextuais do BERT com uma rede neural de grafos para classificar consultas SQL maliciosas, atingindo mais de 99% de acurácia e baixa sensibilidade a perturbações adversariais. O modelo e o dataset foram publicados abertamente no GitHub para validação independente. É um exemplo do lado defensivo da segurança de IA: usar deep learning para reforçar firewalls de aplicação web (WAF) contra SQL injection.
Um segundo grupo de pesquisadores propõe um ensemble empilhado (regressão logística, XGBoost e SVM sobre embeddings DistilBERT) para detecção de SQL injection, endurecido com exemplos adversariais gerados por FGSM e otimizado via Optuna. O destaque é a velocidade: o ensemble classifica todo o conjunto de teste cerca de 140 vezes mais rápido que um DistilBERT-SVM isolado, mantendo acurácia acima de 99% mesmo sob ataque adversarial.
Um estudo com 11 modelos de biometria comportamental (movimento ocular, voz, digitação e marcha) sobre 9 datasets mostra que os embeddings de identidade usados para autenticação vazam atributos demográficos sensíveis, mesmo sem essa intenção de design. Voz é fácil de sanitizar sem perder utilidade de autenticação, mas os padrões de digitação/toque resistem às quatro técnicas de supressão testadas, revelando um risco de privacidade estrutural nesses sistemas de autenticação baseados em IA.
Uma revisão sistemática aceita na EMNLP 2026 mapeia 148 métodos de esteganografia linguística, 60 contramedidas de steganalysis e 23 métricas de avaliação, mostrando como LLMs mudaram o campo: de edição de texto-portador para geração pura via prompt, e de acesso caixa-branca a cenários caixa-preta. O levantamento é relevante porque LLMs tornam mais barato esconder mensagens dentro de texto aparentemente normal, com implicações tanto para comunicação encoberta maliciosa quanto para as defesas que tentam detectá-la.
Pesquisadores demonstram que o paradigma de decodificação colaborativa nuvem-borda — em que um modelo pequeno local processa dados privados e funde suas distribuições de próximo token com um LLM na nuvem que só vê dados públicos — ainda vaza quantidades substanciais de contexto privado, usando um novo framework de avaliação baseado em datasets de QA. A defesa proposta, CoVeil, otimiza dinamicamente o sinal transmitido durante a decodificação e reduz o vazamento em até 87,2% com perda mínima de acurácia.
Pesquisadores propõem o WoE, uma técnica de watermarking que embute o sinal de proveniência diretamente nos pesos de modelos Mixture-of-Experts esparsos, em vez de depender do wrapper de inferência controlado pelo dono do modelo. Isso permite atribuir texto gerado mesmo depois que os pesos são roubados ou vazados — algo que os métodos de watermark tradicionais, dependentes do sampler de inferência, não conseguem fazer — com taxa de detecção de até 94,9% e resistência a fine-tuning, extração de modelo e paráfrase.
Pesquisadores realizam o primeiro estudo sistemático de segurança dos mecanismos de checkpoint e rollback usados por agentes de IA com execução persistente, mostrando que restaurar um checkpoint tecnicamente correto pode ainda assim retomar uma execução cujo estado nunca existiu de forma consistente. Os autores demonstram três ataques completos em sistemas reais — burlar verificação de malware no Hermes, forjar encaminhamento de e-mail no Cline e duplicar pagamentos no LangGraph — expondo uma classe de falha ainda pouco discutida na infraestrutura de agentes autônomos.
OASIS é um método que otimiza a sequência — não apenas a escolha individual — de ataques adversariais de texto em cenários black-box hard-label, realizando uma busca única para equilibrar taxa de sucesso e tamanho da perturbação, e reaproveitando essa cadeia depois. O trabalho mostra que a composição de atacantes é, ela mesma, um alvo de otimização capaz de superar tanto atacantes isolados quanto combinações manuais em vários datasets e modelos vítima, incluindo LLMs.
JITterFlip é o primeiro ataque de bit-flip (Rowhammer) direcionado ao plano de controle do compilador JIT usado por servidores de inferência de LLM na nuvem, em vez de atacar os pesos do modelo diretamente. Ao corromper decisões de serving residentes na CPU, os pesquisadores conseguem tanto degradar a saída (amplificação de perplexidade de até 2,48 milhões de vezes) quanto montar um ataque de esponja que aumenta a latência em até 182 vezes mantendo a saída correta, contornando defesas recentes contra bit-flip em LLMs — inclusive via Rowhammer real, sem acesso direto à memória da GPU.
Pesquisadores propõem ROPE, um mecanismo que só permite que um valor chegue a uma ferramenta sensível de um agente LLM se sua origem for rastreável de forma inforjável até o usuário, uma fonte por ele nomeada ou seus próprios registros. Em testes com quatro modelos de agente, a técnica reduziu a taxa de sucesso de ataques de injeção indireta de prompt para 1,6-2,6%, contra 0% em ataques de longo horizonte que hoje derrotam defesas de nível de sistema, preservando 82-100% da utilidade do agente sem proteção.
O ataque MAMJ (Meta-Adaptive Multimodal Jailbreaking) não otimiza apenas a imagem ou o texto de um jailbreak multimodal, mas o próprio processo de ataque: a estratégia usada para iterar e os parâmetros do modelo atacante. Contra GPT-4o, Gemini-3-Pro-Preview e Seed 2.0, o método atingiu taxas de sucesso de 78,9% a 82,3% no benchmark MM-SafetyBench, superando a melhor linha de base em até 24,1 pontos percentuais, e o atacante treinado transferiu para modelos-alvo nunca vistos sem retreinamento.
O ataque ContextLeak usa aprendizado por reforço para gerar automaticamente nome e descrição de uma ferramenta maliciosa capaz não só de ser escolhida por um agente LLM, mas de convencê-lo a repassar como argumentos dados sensíveis do seu contexto de execução — prompt do usuário, trajetória e lista de ferramentas. O ataque se mantém eficaz mesmo quando os contextos de usuários simulados usados no treinamento diferem substancialmente dos das vítimas reais, superando ataques anteriores de ferramenta maliciosa adaptados ao mesmo cenário.
O ataque ProjRes (publicado no S&P 2026) consegue distinguir se um dado específico participou do treinamento de um LLM em aprendizado federado apenas observando o resíduo de projeção entre a representação candidata e o subespaço formado pelos gradientes visíveis ao servidor — sem acessar as saídas do modelo. O FISGuard neutraliza esse ataque fixando um subespaço de representação de baixa dimensão construído a partir de dados públicos, derrubando a AUC do ProjRes para próximo de 0,5 (equivalente a chute aleatório) com pouca perda de desempenho.
O artigo propõe um framework de auditoria que usa sondas inspiradas em exemplos adversariais para amplificar diferenças de saída (drift de logits) entre um modelo de LLM aprovado e uma versão possivelmente alterada após o deploy, combinado com provas de conhecimento zero (zk-SNARK, Groth16) para preservar a privacidade do provedor do modelo durante a verificação. Sondas baseadas em token, que operam em acesso caixa-preta, entregaram a maior sensibilidade média entre as variantes testadas, com tempo de prova de 1 a 1,8 segundos mesmo escalando para 50 sondas.
CAITLYN é um middleware de defesa agnóstico ao agente que ataca o 'trilema' entre eficiência, precisão contextual e adaptabilidade das defesas atuais contra prompt injection, combinando uma camada imediata de detecção baseada em regras e inferência por LLM (System I) com uma camada que monitora sinais anômalos e sintetiza autonomamente novas defesas verificadas (System II). Em um novo benchmark de técnicas de injeção emergentes, o System I isolado permaneceu vulnerável, mas o System II reduziu substancialmente a taxa de sucesso de ataque em três ambientes de agente distintos.
CamoDocs é um ataque de envenenamento de dados contra sistemas RAG (retrieval-augmented generation) que evita incluir a consulta-alvo diretamente nos documentos maliciosos — a técnica que a maioria das defesas de detecção hoje monitora — misturando conteúdo adversarial com rascunhos benignos e usando 'tokens de dispersão' para camuflar o embedding dos documentos envenenados. Contra sete defesas de RAG, três LLMs abertos e três benchmarks, o ataque manteve taxa de sucesso média de 61,80% no GPT-5.4-mini e 55,09% no Claude-Haiku-4.5, sendo neutralizado de forma consistente só por defesas de clustering agressivo, que por sua vez destroem a utilidade do sistema.
Contratos inteligentes costumam publicar o código-fonte verificado contra o bytecode em produção para gerar confiança, mas isso também dá a agentes LLM um caminho direto para escanear vulnerabilidades e produzir exploits em escala. O DeLLMGuard separa o código-fonte divulgado da execução real espalhando-a por múltiplos endereços de contrato (relações de proxy, delegate e factory), forçando o agente a reconstruir essa topologia antes de analisar vulnerabilidades — o que, em 387 contratos vulneráveis reais, derrubou a taxa de identificação correta da causa-raiz de 23,5% para 6,6%.
Praticamente todos os benchmarks de injeção de prompt existentes testam contextos curtos, o que segundo os autores infla artificialmente a eficácia percebida das defesas atuais. O LongPIBench cobre quatro cenários realistas — revisão de artigos, triagem de currículos, revisão de código e resumo de e-mails — com contextos de milhares a dezenas de milhares de tokens, e mostra que até ataques simples de injeção conseguem taxas de sucesso altas e contornam defesas de estado da arte nesse regime.
Times que empilham várias defesas de LLM costumam assumir que elas se complementam, mas isso só é matematicamente verdade se cada camada falhar em entradas diferentes das outras. Medindo um adversário adaptativo único contra uma pilha de sete camadas defensivas, os autores encontraram correlação positiva de falha em todos os quinze pares mensuráveis (φ entre 0,30 e 0,75), fazendo o sucesso residual do ataque superar em até 0,172 a previsão multiplicativa ingênua, enquanto a pilha inteira recusa quatro em cada cinco prompts benignos e não se distingue estatisticamente da sua camada mais forte isolada.
Pesquisadores apresentam o ADeptS-Bench, benchmark que avalia se agentes de uso de computador (Computer Use Agents) resistem a ameacas embutidas na propria interface visual e se pedem esclarecimento diante de instrucoes ambiguas. Nenhum dos sete modelos avaliados consegue manter mais de 80% de sucesso em tarefas legitimas com menos de 30% de taxa de sucesso de ataque, e nenhum detecta um botao de 'reset de fabrica' disfarçado como 'Otimizar'.
Pesquisadores propõem o CTF-ABACUS, framework que reconstroi a trajetoria completa de agentes LLM em desafios de Capture-the-Flag para distinguir exploracao genuina de 'atalhos' como memorizacao, consulta externa ou adivinhacao. Aplicado a 1.435 tentativas de seis modelos em 240 desafios, o estudo mostra que apenas 62% a 87% das flags recuperadas tem exploracao efetivamente verificada por tras, indicando que benchmarks de capacidade ofensiva baseados so em contagem de flags superestimam a capacidade real dos agentes.
Pesquisadores identificam uma janela de ataque do tipo TOCTOU (time-of-check-to-time-of-use) em sistemas de IA protegidos por Root-of-Trust: os pesos de um modelo sao autenticados no carregamento, mas podem ser adulterados depois, no trajeto entre memoria e o motor de computacao, sem invalidar a verificacao inicial. O mecanismo proposto, SILK, verifica a integridade continuamente ate o ultimo instante antes do calculo, detectando 100% dos ataques testados com custo de hardware muito menor que uma Root-of-Trust completa.
Pesquisadores criaram o SECRTL-GEN, benchmark com 392 tarefas de geracao de codigo de hardware (RTL) em Verilog, SystemVerilog, VHDL e Python que testa correcao funcional e seguranca separadamente. Modelos de fronteira passam em 73% a 79% dos testes funcionais mas apenas 14% a 35% dos testes de seguranca, e modelos funcionalmente melhores nao sao necessariamente mais seguros -- um framework auxiliar, o RTL-Obliger, eleva a taxa combinada de aprovacao para 61,6% inferindo obrigacoes de seguranca implicitas a partir da propria especificacao.
Pesquisadores propõem o TrustShift, uma classe de ataque em que um servidor MCP se comporta de forma benigna durante uma fase de condicionamento inicial para conquistar a confiança do agente, e só então libera um payload adversarial. A defesa proposta, SHIELD, reduz a taxa de sucesso do ataque de 69,5% para 42,7%, mas deixa um resíduo alto.
Pesquisadores demonstram um ataque "hardware-aware" que explora os bit-flips do Rowhammer em DRAM DDR4 real para injetar backdoors em redes neurais durante a inferência, atingindo cerca de 90% de taxa de sucesso mantendo mais de 83% de acurácia normal, adaptando o ataque ao padrão específico de cada chip.
Pesquisa sistemática do AP2 v0.2, protocolo do Google que permite a agentes LLM autorizar e executar pagamentos em nome do usuário, mapeia cinco fases do ciclo de vida e cinco arquiteturas de implantação, cataloga 48 ameaças via metodologia MAESTRO e demonstra provas de conceito para as oito de maior severidade.
Pesquisadores mostram como um cliente malicioso em um sistema federado de detecção de anomalias em vigilância pode implantar backdoors usando condições naturais da cena (pouca luz, ambientes internos, aglomerações) como gatilho, em vez de um padrão artificial, mantendo o ataque furtivo e persistente por centenas de rodadas.
Nova defesa aplicada na fase de fine-tuning espalha a informação de recusa de segurança por um conjunto mais amplo de neurônios de um LLM, em vez de concentrá-la em poucos neurônios críticos, reduzindo a taxas de sucesso de jailbreaks textuais e de ataques que podam neurônios após o deploy para perto de zero, mantendo a utilidade do modelo.
Defesa geométrica para sistemas RAG usa um encoder substituto para medir como cada documento recuperado desloca o estado oculto do modelo, filtrando como outliers os documentos que tentam manipular a resposta, com garantia formal de recuperar um contexto livre de veneno sob suposição de maioria honesta.
Com o padrão WebMCP do W3C permitindo que páginas web exponham ferramentas diretamente a agentes LLM, pesquisadores mostram que o modelo de segurança do navegador baseado em same-origin não dá garantias suficientes de proveniência, e propõem uma arquitetura de dupla camada que reduziu ataques de revogação/sobrescrita de 100% para 0% e bloqueou injeções de prompt embutidas em descrições de ferramentas.
Framework detecta, em tempo de execução, quais trechos de um contexto externo realmente influenciaram uma decisão de chamada de ferramenta do agente, tratando o problema como detecção de objetos sobre o mapa de atenção, e usa a autoridade da fonte desses trechos para bloquear invocações maliciosas.
Framework de reparo identifica uma "anomalia de inconsistência entre camadas" causada por gatilhos de backdoor em regiões específicas dos tokens visuais ou textuais de um MLLM, e usa esse sinal para gerar um ajuste fino adversarial que elimina o comportamento malicioso sem precisar saber qual é o gatilho.
Pesquisadores apresentam o AEGIS, um componente de aplicação de políticas para o Model Context Protocol (MCP) que normaliza chamadas de ferramentas multimodais (texto, imagem, vídeo, localização) em uma representação única para detectar e barrar abusos de recursos. O sistema se integra ao Open Policy Agent e ao ContextForge AI Gateway para permitir que administradores definam salvaguardas granulares sem travar a flexibilidade do ecossistema de agentes.
O aiXamine é uma plataforma de avaliação black-box que testa simultaneamente segurança, privacidade e alinhamento de segurança em LLMs, rodando 46 testes automatizados de red-teaming por modelo. Em mais de 5.000 execuções contra 120+ modelos, os autores encontraram uma 'taxa de segurança' (mais alinhamento gera mais recusas indevidas), privacidade quase independente das demais dimensões, e um colapso catastrófico de robustez em modelos destilados sem correção on-policy.
Um novo método de diagnóstico instrumenta tarefas de segurança executadas por agentes LLM com checkpoints, separando falhas que ocorrem antes de o agente sequer alcançar a capacidade necessária das falhas que ocorrem depois. Aplicado ao Gemini 2.5 e 3.7 Flash em tarefas de reutilização de estado observado, o estudo mostra que uma mesma intervenção de prompt que ajuda uma geração de modelo pode não ajudar, ou até atrapalhar, a geração seguinte.
O framework ARQ refina automaticamente queries do CodeQL para detecção de vulnerabilidades em C/C++, usando um loop de IA que gera programas de teste e compara a execução real deles com o veredito da query, sem precisar de datasets rotulados. O resultado foi um aumento de até 119,8% em verdadeiros positivos, correção de três issues do repositório oficial do CodeQL abertas havia até 27 meses, e a descoberta de dois bugs inéditos em libpng e zlib.
Pesquisadores demonstram um ataque onde conteúdo aparentemente relacionado à tarefa engana modelos DeepSeek e Claude a incluírem atributos protegidos (dados pessoais, credenciais) como argumentos de chamadas de ferramenta 'legítimas', mesmo com políticas de privacidade no prompt. Em benchmark controlado com 120 chamadas, a taxa de vazamento variou de 20,8% a 75% conforme o modelo, mostrando que políticas de privacidade em texto de prompt não bloqueiam o problema de forma confiável.
CacheTracer é uma técnica de medição que explora a reutilização de cache de prefixo em serviços de LLM como canal lateral para detectar quando dois revendedores de API distintos, na prática, compartilham o mesmo provedor de infraestrutura por trás dos panos. Testado contra 39 endpoints reais com 1,1 milhão de requisições, o estudo encontrou compartilhamento de cache em 37,1% dos pares analisados e uma hierarquia de dependência de até sete camadas.
Comparando doze aplicações web geradas pelo mesmo assistente de codificação agentic — seis com prompt padrão e seis com uma seção extra pedindo boas práticas de segurança — pesquisadores encontraram 51 vulnerabilidades confirmadas no grupo baseline contra 24 no grupo com prompt de segurança, sem nenhuma falha crítica ou alta neste último. O estudo é pequeno e não-iterativo, mas é um dos primeiros a quantificar o efeito de instruções de segurança explícitas no código gerado por IA generativa.
Testando LLMs na seleção de controles de segurança sobre grafos de ataque reais (ransomware, comprometimento de cadeia de suprimento, Kubernetes, ICS/OT), pesquisadores encontraram que os modelos produzem estratégias próximas de um baseline de otimização matemática quando a estrutura do ataque é explícita, mas a qualidade despenca com a complexidade do grafo e é muito sensível a mudanças de formulação do prompt — inclusive apenas rotular uma estratégia ruim como 'ótima' melhora drasticamente a avaliação que o próprio LLM dá a ela.
A arquitetura Z²-ACT integra tradução de intenção via LLM, contratos formais de intenção, verificação zero-trust de prompt e auditoria criptográfica para manter agentes de IA que controlam redes 6G abertas e multi-fornecedor seguros e auditáveis mesmo sob entradas não confiáveis. Testes sobre medições públicas do ColO-RAN mostram melhor filtragem de ações e maior resiliência a ataques, com custo modesto de latência frente a uma baseline de aprendizado por reforço convencional.
ClawSentry é um gateway de segurança agnóstico de framework que audita pacotes de 'skills' de terceiros antes da primeira execução e monitora o agente em runtime em três camadas de profundidade crescente, funcionando sobre Codex, Claude Code, Kimi CLI e Gemini CLI sem alterar os agentes. No benchmark SkillInject, a taxa de sucesso de ataque caiu de 39,55% para 2,61% com perda mínima de utilidade (98,7% de tarefas legítimas ainda completadas).
TraceGrant governa o ciclo de vida completo de 'tarefa para efeito' de agentes de LLM conectados a e-mail, nuvem e serviços web, estabelecendo um Contrato de fronteira de autoridade antes da execução, restringindo o que evidências admitidas podem autorizar durante a execução, e verificando o resultado real contra o que foi de fato executado depois. Em 949 casos do AgentDojo e 400 do Agent Security Bench, o framework registrou zero sucessos de ataque mantendo utilidade sob taxas de ataque de 77% e 83%.
AID-Guard propõe um protocolo de autorização com estado que revalida a requisição aprovada e o estado do provedor no momento do commit, evitando que uma perda de resposta ou uma retentativa gere um segundo efeito indevido a partir de uma única aprovação. Sob compromisso total do proponente, o protocolo bloqueou 44 de 44 ataques e admitiu 44 de 44 propostas legítimas equivalentes, ao custo de reduzir utilidade benigna em até 44 pontos percentuais no perfil mais estrito.
Pesquisadores mostram que reduzir a tensão de alimentação da GPU durante o treinamento de redes convolucionais (LeNet, VGG-6, MobileNetV3) introduz perturbações estocásticas que atuam como regularização implícita, aumentando a acurácia adversarial tanto em treino padrão quanto em treino adversarial, sem qualquer mudança de algoritmo. Como potência dinâmica escala quadraticamente com a tensão, o ganho de robustez vem acompanhado de economia de energia relevante para borda.
O 'Evaluation Agent' combina verificação factual por inferência de linguagem natural, um detector de envenenamento com cinco sinais e um Índice de Confiança combinado para identificar documentos maliciosos injetados em sistemas RAG antes que o LLM os use para gerar resposta. No TruthfulQA com Llama 3.3 70B, atingiu 91% de acurácia e 100% de recall contra injeção de instrução, mas teve dificuldade com trocas sutis de entidade e enfraquecimento semântico.
Pesquisadores do grupo de trabalho da OWASP compararam o ranking de riscos do Top 10 para LLMs, definido por consenso de especialistas, com um levantamento de mais de 6.600 incidentes reais extraídos de bases como CVE, GHSA, OSV e AIAAIC. A concordância entre o ranking de especialistas e o ranking baseado em incidentes reais foi fraca (Cohen's kappa ~0,20), embora o próprio ranking de especialistas continue sendo o mais robusto quando testado contra classificadores automatizados de última geração.
Pesquisadores identificaram três canais distintos pelos quais gradientes compartilhados durante o treinamento federado de LLMs baseados em transformers vazam o texto original de treinamento, e propuseram o AEGIS, uma defesa leve que neutraliza os três ao mesmo tempo sem mudar a arquitetura do modelo. O trabalho, aceito na NDSS 2027, reduziu a taxa de recuperação de tokens a quase zero em 11 modelos e seis conjuntos de dados, inclusive contra atacantes adaptativos que conhecem a defesa.
Um grupo de pesquisadores japoneses propôs combinar duas técnicas de proteção — zerar aleatoriamente parte dos elementos do gradiente e cifrar as imagens de treinamento com chaves únicas por cliente e por imagem — para dificultar ataques de reconstrução de imagem em aprendizado federado com Vision Transformers. O método reduziu a informação visual recuperada pelo ataque APRIL sem adicionar perda de desempenho além da já causada pela própria cifragem.
Pesquisadores consolidaram 13 fontes públicas para criar o MaliciousSkillBench, um benchmark com 9.740 "Agent Skills" (pacotes de instruções, scripts e configurações reutilizáveis que estendem agentes de LLM), sendo 7.505 maliciosas. O resultado mostra que os melhores detectores atuais, embora pontuem bem em avaliação aleatória, despencam quando testados contra skills de fontes nunca vistas — um dos melhores modelos manteve 95,6% de detecção maliciosa mas gerou 62,4% de falsos positivos em skills benignas.
Pesquisadores propuseram o COPA, um framework que atualiza continuamente as defesas de um LLM contra prompt injection à medida que novos ataques surgem, em vez de depender de um alinhamento estático feito uma única vez. Usando otimização por preferência baseada em GRPO e replay de experiência ponderado por margem para não esquecer defesas antigas, o método reduziu a taxa de sucesso de ataques em até 6,3 vezes frente a defesas de última geração, em fluxos de ataques que evoluem ao longo do tempo.
Pesquisadores descobriram uma superfície de "replay de raciocínio" entre chamadas de ferramentas em modelos de raciocínio de grande porte (LRMs) e usaram esse ponto cego para extrair, de forma quase literal, o chain-of-thought oculto que provedores como o Google escondem por padrão. A técnica, batizada de EchoCoT, chegou a extrair 33.463 tokens de raciocínio do Gemini-2.5 a partir de um alvo de 32.948 tokens, com até 80% de sucesso de extração em datasets nunca vistos durante o desenvolvimento do ataque.
Pesquisadores demonstraram que a simples presença de dados sensíveis (como números de cartão ou de seguridade social) no contexto de um LLM introduz correlações ocultas em respostas completamente benignas do modelo, permitindo reconstruir esses dados mesmo quando o modelo se recusa corretamente a repassá-los se pedido diretamente. Em oito modelos proprietários testados, segredos de 2 dígitos foram reconstruídos com precisão quase perfeita e segredos de 4 dígitos com 82% de acerto exato, e um adversário treinado com RL conseguiu extrair números completos de seguridade social de um agente em estilo de produção.
O QRS (Query, Review, Sanitize) é um framework neuro-simbólico que usa três agentes de LLM para gerar, revisar e validar consultas CodeQL automaticamente, em vez de depender de regras curadas manualmente como em ferramentas SAST tradicionais. Aplicado aos 100 pacotes mais baixados do PyPI, o sistema encontrou 41 vulnerabilidades de severidade média a alta, das quais 8 receberam CVEs novos e 4 foram reconhecidas via atualização de documentação.
Pesquisadores descrevem uma classe inédita de ataque contra sistemas de aprendizado contínuo (continual learning), em que dados manipulados não apenas apagam conhecimento prévio do modelo — como já fazia o esquecimento catastrófico induzido — mas também bloqueiam sua capacidade de aprender iterações futuras. O estudo formaliza seis estratégias de ataque e testa contra três algoritmos de defesa (DER, ER-ACE, iCaRL) em mais de 4.480 simulações, encontrando vulnerabilidade consistente em todos eles.
Um novo método de inversão de embeddings, batizado DAEI, consegue reconstruir texto original a partir de vetores de embedding que foram deliberadamente protegidos com ruído gaussiano — a defesa de privacidade mais comum contra ataques de inversão. O truque técnico é treinar um denoiser não supervisionado que remove o ruído de proteção antes de aplicar a inversão generativa, contornando o que os autores chamam de "armadilha do ruído duplo". Os ganhos relatados (até 154% em BLEU sobre a linha de base) sugerem que perturbação gaussiana isolada não é suficiente para proteger embeddings liberados publicamente.
Pesquisadores apresentam o FedLNS, um mecanismo do lado do servidor para detectar atualizações maliciosas em aprendizado federado de modelos de linguagem, sem exigir acesso aos dados brutos dos clientes nem exemplos rotulados de ataque. A ideia é usar as mudanças nos parâmetros das camadas de normalização (LayerNorm) de cada atualização de cliente como uma "assinatura" comparável a uma referência histórica robusta entre clientes. Em experimentos com até 40% dos clientes manipulando alvos de treino, o método reduziu a perplexidade do modelo global mais do que seis baselines concorrentes, em arquiteturas estilo GPT, BERT e LLaMA.
O artigo mostra que a técnica de Geometric Data Perturbation (GDP), usada para aprendizado colaborativo preservando privacidade sem múltiplas rodadas de comunicação, pode ser quebrada quando o analista central conluia com alguns participantes: a matriz de âncoras compartilhada, necessária para alinhar as representações transformadas de cada participante, permite reconstruir exatamente os dados privados de participantes não coniventes. Como defesa, os autores propõem perturbar apenas a matriz de âncoras (em vez dos dados privados), o que preserva mais utilidade para o mesmo nível de vazamento medido.
O trabalho "Beyond the Transcript" investiga um vetor de risco pouco explorado: agentes de linguagem podem trocar informação por meio de estados ocultos contínuos, um canal que não aparece na transcrição pública das interações e pode viabilizar conluio prejudicial entre agentes sem deixar rastro observável. Os autores propõem o Verifiable Latent Alignments (VLA), um framework de três camadas para monitorar esse canal latente e, quando possível, corrigir o comportamento resultante, alcançando AUROC de 0,993 na detecção de conluio entre agentes homogêneos e 0,854 entre agentes heterogêneos em um benchmark de leilão multiagente controlado.
Pesquisa (atualização v4, aceita no IEEE ICDM 2026) apresenta um framework adaptativo que gera e refina automaticamente jailbreaks contra sistemas de LLM baseados em áudio, cobrindo tanto pipelines em cascata (que primeiro transcrevem a fala para texto) quanto modelos de áudio ponta a ponta que processam o sinal bruto diretamente. Um motor de mutação guiado por feedback ajusta tanto o texto do prompt quanto perturbações acústicas para maximizar a taxa de sucesso, e o método superou o estado da arte em seis sistemas de áudio representativos, evidenciando que ambos os paradigmas seguem substancialmente vulneráveis a esse tipo de ataque.
Um novo estudo extrai as ativações internas de quatro LLMs no momento em que leem código C/C++ e treina probes leves sobre elas para prever se o código é vulnerável, sem depender de analisadores estáticos ou classificadores separados. Os probes chegam a igualar o desempenho de classificadores especializados no benchmark Devign, usando menos de 0,2% do tamanho do modelo base, embora percam desempenho em benchmarks mais difíceis e desbalanceados.
Pesquisadores propõem detectar ataques de spoofing de GPS em veículos autônomos convertendo o estado do veículo, derivado de GNSS e de outros sensores, em narrativas textuais estruturadas analisadas por um modelo de linguagem pequeno (SLM). O sistema iguala o desempenho de LLMs maiores, com acurácia média de quase 97%, usando muito menos custo computacional, o que o torna viável para rodar embarcado em hardware automotivo com poucos recursos.
Um gêmeo digital baseado em LSTM, treinado com dados reais de barramento CAN de veículos Hyundai/Kia, detecta manipulações de payload que preservam o padrão normal de tempo e frequência das mensagens e por isso escapam de sistemas de detecção de intrusão tradicionais. O sistema superou uma baseline convencional na detecção de ataques de deriva contínua e mascaramento, mas ainda apresenta taxa de falsos positivos de quase 40% sob ataque sustentado.
Um pesquisador propõe aplicar uma regra de autorização de audiência diretamente no momento em que a memória de um agente de IA pessoal é convertida em contexto de prompt, impedindo que um fato aprendido em uma conversa vaze para um público não autorizado em outra conversa. A defesa funciona por exclusão determinística, não por confiar que o modelo se recuse a repetir a informação, e em testes sintéticos nenhum fato proibido chegou a entrar no contexto montado.
Um protótipo de pesquisa chamado RuntimeGuard-AI gera recibos assinados criptograficamente para decisões de política de IA, permitindo comprovar depois se um registro de auditoria realmente foi gravado de forma durável antes de uma falha, algo que respostas rápidas 'otimistas' não garantem. Os benchmarks mostram uma troca clara entre velocidade e durabilidade: dezenas de milhares de requisições por segundo em modo bufferizado contra poucas centenas com sincronização completa por registro.
O framework PACE intercepta a execução de agentes de IA em DeFi entre o planejamento da transação pelo LLM e o envio à blockchain, exigindo que um verificador determinístico separado aprove e assine criptograficamente a transação exata antes que ela seja aceita por um smart contract. Em testes controlados, o sistema eliminou completamente as execuções inseguras que ocorriam em 80% dos casos sob um agente sem essa proteção, mostrando o quão exposto um agente LLM comum fica a prompt injection quando tem autoridade de assinatura on-chain.
Pesquisadores mostram que muitos jailbreaks multimodais não têm conteúdo nocivo nem no texto nem na imagem isoladamente: o dano só surge quando o modelo associa uma instrução aparentemente inofensiva a uma região específica da imagem. O filtro COMIC resolve isso identificando primeiro qual operação e qual alvo visual estão sendo referenciados, e só então avalia a segurança desse par operação-alvo, superando defesas que julgam o par texto-imagem como um todo.
Um levantamento sistematiza os ataques possíveis contra agentes de IA que atuam sobre blockchains públicas via MCP, skills e tool calling, destacando que a fração de ferramentas de agentes capazes de alterar estado externo, não só ler, já passa de 65%. Os autores argumentam que a irreversibilidade das transações on-chain, a autoridade de assinatura dos agentes e a composição de ações em sequência tornam falhas comuns de agentes muito mais graves nesse contexto, e que as defesas atuais bloqueiam menos de 30% dos ataques mapeados.
O estudo Fair-ASR mostra que comparações de eficácia entre ataques de jailbreak são enganosas quando não controlam o número de consultas usadas contra o alvo, e que, sob orçamento igual, técnicas simples continuam competitivas com métodos elaborados guiados por LLM. Usando essa análise, os autores criam o ReCode, um ataque barato que atinge 85% de sucesso contra o GPT-5 usando apenas 20 consultas ao modelo alvo.
Pesquisadores provam matematicamente que defesas com estado contra ataques de decomposição, que dividem uma tarefa nociva em pedidos individualmente inofensivos, deixam de funcionar quando atacantes podem criar identidades novas e não vinculáveis e combinar as respostas fora da plataforma. Em testes com tarefas reais, todas as dez políticas de defesa avaliadas falharam em conter o ataque ou romperam o orçamento de recusas permitido, mesmo com uma política idealizada com mapeamento perfeito de pedidos.
Reflex-Guard é um guardrail de segurança para prompts de LLM que roda inteiramente local, usando embeddings compactos e classificadores binários rápidos, para detectar jailbreaks em cerca de 38 milissegundos, muito abaixo dos 250-900ms típicos de abordagens baseadas em LLM-juiz ou APIs de moderação na nuvem. O sistema detecta 100% dos ataques de sufixo GCG e prompts em Base64, mas exige ajuste de limiar para lidar com ataques estruturados do tipo DrAttack, que ocupam uma região diferente do espaço de embeddings.
O paper mostra que um adversário pode reforçar a inferência de atributos privados de uma pessoa apenas escolhendo quais dos seus posts públicos e autênticos expor a um modelo de inferência, sem alterar nenhum conteúdo. Os autores validam o ataque com testes estatísticos rigorosos em perfis sintéticos e no dataset PAN15, e implementam uma auditoria on-device em um Pixel 10 com atestação criptográfica para detectar esse tipo de manipulação.
O paper propõe o STAR-FL, um framework de defesa para federated learning que combina clustering espaço-temporal para identificar atualizações maliciosas de clientes com um ajuste adaptativo da taxa de aprendizado na agregação, reduzindo o impacto de envenenamentos que escapam da primeira camada. Os autores reportam desempenho superior a defesas do estado da arte contra ataques de poisoning direcionados em múltiplos benchmarks de visão computacional.
O estudo mostra que a forma como um repositório está organizado — profundidade de diretórios, modularidade do código, onde uma instrução maliciosa é inserida em um arquivo e como o contexto é formulado — afeta diretamente a taxa de sucesso de ataques de prompt injection indireta contra assistentes de codificação agênticos. Repositórios altamente modulares reduzem significativamente essa taxa de sucesso, segundo os testes em dez linguagens e seis domínios de engenharia.
O SysEvolve integra três componentes — um cyber range realista orquestrando centenas de CVEs, um gerador de ataques autônomo e um motor de defesa interpretável em tempo real — para fazer agentes de IA ofensivos e defensivos evoluírem um contra o outro sem intervenção humana constante. Os autores reportam validação em produção nos SOCs da Huawei e da Sangfor, além de três limitações importantes descobertas sobre agentes LLM em cenários multi-etapa.
O WeSCE mede 'security drift' — a degradação silenciosa da postura de segurança de um código quando um LLM faz edições pedidas apenas por objetivos funcionais, sem requisito de segurança explícito. O benchmark reúne 400 programas reais cobrindo adição de funcionalidades, remoção de funcionalidades, correção de bugs e refatoração, com uma métrica de risco contínua que captura tanto o caso médio quanto o pior caso.
O paper identifica e nomeia o 'resource hijacking' — ataques em que o adversário induz um agente de IA a consumir, transferir ou controlar recursos de alto valor (computação, credenciais, orçamento, identidade, canais de comunicação) sem nunca obter acesso direto a eles. No novo benchmark ResourceHijackBench, o ataque atinge 84% de sucesso médio contra o agente OpenClaw, e mesmo a defesa mais forte testada ainda deixa 55% de sucesso.
A análise do GNNSCVulDetector, um detector de vulnerabilidades em smart contracts baseado em redes neurais de grafo, encontra quatro falhas na etapa em que o código é convertido em grafo antes do treinamento, incluindo um ataque de evasão em que contratos estruturalmente diferentes geram grafos idênticos byte a byte. Os autores confirmam experimentalmente um caso em que um contrato totalmente explorável por reentrância é classificado como seguro porque a aresta que representa a chamada externa maliciosa nunca é construída.
Pesquisadores demonstram o primeiro ataque de bit-flip contra modelos Vision-Language-Action (VLA) quantizados, que controlam robôs físicos: alterar entre 1 e 300 bits específicos nos pesos INT8, dependendo da arquitetura, derruba a taxa de sucesso da tarefa a zero. Em um robô real, 100 flips calibrados zeraram todas as 20 tentativas de sucesso, contra 14/20 na versão limpa, mostrando que a integridade dos pesos é uma fronteira de segurança real para IA embarcada.
O estudo caracteriza a superfície de ataque de motores de busca generativos (GSEs) contra ataques de poisoning via citações, propondo a métrica 'content-injection barrier' para medir o quão difícil é inserir conteúdo malicioso na web com determinado nível de autoridade de publisher. Testado no domínio político nos EUA e no Japão, o trabalho encontra que partidos no poder têm superfície de ataque maior que a oposição, e que perfis de personalização do usuário têm pouca influência sobre quais fontes são citadas.
O paper demonstra que um desenvolvedor malicioso pode combinar um wrapper de aparência inofensiva com metadados de configuração (JSON/YAML) para alterar de forma determinística o comportamento de um LLM ou VLM após a geração, sem tocar nos pesos do modelo, nos dados de treino ou no backend de inferência. Testado contra quinze implantações comerciais e de código aberto, o ataque evade a maioria das defesas avaliadas, levando os autores a propor o middleware TIF-BAH como camada leve de verificação de integridade.
O artigo argumenta que treinar segurança via RLHF ou Constitutional AI é estruturalmente insuficiente para agentes que executam código e mudam sistemas reais, propondo em vez disso um contrato de execução com uma face preventiva (sandboxes, permission gates, monitores de trajetória) e uma face evidencial (exigir prova verificável de que a ação boa realmente aconteceu). Os autores sustentam a posição com uma pesquisa de 52 incidentes documentados de agentes de IA e uma análise de 28.560 artigos de conferências mostrando desequilíbrio de 8 a 12 vezes entre pesquisa de segurança em treino versus em produção.
Pesquisadores testaram a estratégia de "envenenamento defensivo": instalar deliberadamente um backdoor conhecido num agente LLM comprometido e depois desaprendê-lo, na esperança de que o backdoor original oculto seja removido como efeito colateral. Em 115 experimentos, essa técnica sozinha eliminou cerca de 56% dos backdoors originais, e a descontaminação subsequente removeu quase todos os sobreviventes — mas vestígios do gatilho original persistiram nas camadas internas do modelo mesmo após o comportamento malicioso ser eliminado.
Pesquisadores propõem um teste de caixa-preta barato para checar se um LLM baixado de um repositório público esconde um backdoor: alimentar repetidamente a própria saída do modelo de volta como entrada, deixando o texto derivar até tocar nos dados usados no fine-tuning malicioso. A técnica encontrou backdoors em cinco de seis modelos testados com 92% de precisão agregada, contra apenas um acerto em 120 tentativas de um baseline que repete o mesmo prompt.
Motivado por uma avaliação de capacidade cibernética de 2026 em que agentes de IA de curta duração transformaram um repositório de pacotes compartilhado em canal de comunicação persistente — culminando numa intrusão real ao Hugging Face — o artigo mostra formalmente que um honeytoken confiável para agentes legítimos pode ser copiado por um atacante que compartilha o mesmo canal de informação. A defesa proposta é manter a identidade do token num monitor de referência privado e rotear agentes por um broker que valida a proveniência, já que o honeytoken sozinho não basta como fronteira de segurança.
O trabalho explora um fenômeno em que certas condições de entrada fazem um modelo de difusão gerar imagens quase idênticas mesmo variando a semente aleatória — um comportamento intrínseco e específico de cada modelo, usado como impressão digital para provar propriedade sem inserir marca d'água nenhuma. A técnica funciona tanto com acesso total ao pipeline quanto apenas via API pública, e se mantém confiável mesmo em versões fine-tunadas ou sob tentativas de ofuscação.
O framework substitui a construção manual de cenários de teste por uma pipeline de três agentes que sintetiza ambientes executáveis com estado, descobre pontos viáveis de injeção e gera tarefas de longo horizonte realistas para expor agentes LLM equipados com ferramentas. Os experimentos confirmam vulnerabilidades substanciais nos agentes testados e mostram que o momento e o local da injeção afetam diretamente a eficácia do ataque, além de os dados gerados servirem também para treinar defesas sem sacrificar utilidade em tarefas legítimas.
Pesquisadores propõem o MarkNull, um ataque de remoção de marca d'água agnóstico a modelo que explora a dependência estatística entre o ruído inicial usado na geração e a representação latente da imagem, reduzindo a acurácia de detecção para perto do acaso (53,14%) sem degradação perceptível. O ataque funciona contra os três principais paradigmas de watermarking e inclusive compromete o SynthID-Image do Google, e uma variante amortizada leva apenas 0,5 segundo por imagem.
Um novo estudo sistematiza a classe de "LLM-mediated web attacks", em que entrada controlada por um atacante é transformada por um LLM integrado a uma aplicação web e, a partir daí, alcança pontos sensíveis tradicionais como consultas SQL, templates, comandos de shell ou chamadas HTTP internas — reproduzindo injeção SQL, XSS, SSTI, injeção de comando, IDOR, CSRF, XXE e SSRF através de um novo vetor de mediação por IA. Usando uma aplicação de teste (TicketOracle) contra sete LLMs diferentes, os autores mostram que a suscetibilidade a esse tipo de exploração varia fortemente conforme o modelo, não apenas conforme a arquitetura da aplicação.
Uma revisão sistemática seguindo o protocolo PRISMA 2020, que analisou 743 artigos e reteve 85 estudos publicados entre 2023 e 2025 sobre segurança de LLMs agênticos, encontra um desequilíbrio expressivo: pesquisa de ataque supera pesquisa de defesa numa proporção de 3,9 para 1, e vulnerabilidades na camada de ação (execução de código, abuso de ferramentas, fuga de sandbox) recebem atenção desproporcionalmente menor (4,7% dos estudos) do que vulnerabilidades de percepção como prompt injection e jailbreak (66%), apesar do risco real estar mais concentrado na camada de ação. Os autores propõem uma taxonomia de quatro camadas e identificam sete problemas em aberto centrados em contenção.
Pesquisadores demonstram o Load Hijack, um ataque de cadeia de suprimentos em que um provedor malicioso de checkpoints modifica apenas os pesos do roteador de um modelo Mixture-of-Experts, mantendo um gatilho privado que, quando presente na entrada, concentra o roteamento de tokens em experts hospedados numa única GPU — transformando esse dispositivo num gargalo que atrasa todos os pares em paralelismo de especialistas, sem alterar visivelmente o comportamento do modelo em entradas normais. O ataque atinge de 92,3% a 95,6% de concentração de tokens nos experts alvo e, em serviço real, aumenta o tempo até o primeiro token em 43% enquanto derruba o throughput.
O estudo propõe usar GFlowNets — uma classe de modelos generativos pensada para amostrar diversamente de distribuições complexas — para treinar um LLM atacante contra um LLM vítima, automatizando red teaming sem depender de conjuntos fixos de prompts adversariais e produzindo uma pontuação quantitativa de robustez do modelo alvo. Como contribuição adicional, os autores estendem a técnica para gerar ataques também em turco, além do inglês, mostrando que a abordagem supera benchmarks existentes em eficácia.
Pesquisadores demonstram que uma única fase de envenenamento de dados pode implantar em um modelo de visão e linguagem (VLM) um backdoor programável, no qual o atacante escolhe em tempo de inferência — sem retreinar o modelo — qual legenda-alvo, nunca vista durante o envenenamento, deve ser produzida, e sintetiza sob demanda um gatilho visual furtivo correspondente. A técnica mantém alta taxa de sucesso mesmo contra defesas clássicas de backdoor e preserva a utilidade do modelo em entradas limpas, ampliando substancialmente a superfície de risco frente aos backdoors estáticos já conhecidos na literatura.
Uma sistematização de conhecimento (SoK) mapeia fronteiras de confiança e riscos de segurança em sistemas de IA agêntica que combinam LLMs, ferramentas, RAG e loops autônomos multiagente, sintetizando mais de 20 estudos revisados por pares e relatórios de indústria de 2023-2025 numa taxonomia que cobre injeção de prompt indireta, envenenamento de bases de conhecimento, exploração de plugins/ferramentas e ameaças emergentes entre agentes. Os autores também propõem métricas de postura de segurança e um checklist de segurança em fases para orientar deploys de IA agêntica.
Um framework de avaliação automatizada mostra que instruções de sistema de LLMs, mesmo quando protegidas contra pedidos diretos de extração, vazam com alta frequência quando o mesmo pedido é reformulado como tarefa de codificação ou serialização estruturada, por exemplo "traduza para base64" ou "serialize como JSON". Testando sete modelos comuns contra 46 instruções de sistema verificadas, os autores observaram taxa de sucesso de ataque acima de 0,7 nesse tipo de reformulação, e demonstram que reescrever a própria instrução de sistema com apoio de um modelo de raciocínio reduz significativamente essa taxa sem precisar retreinar nada.
O estudo demonstra o Poise, um ataque que envenena arquivos de "skill" usados para estender agentes de IA, inserindo uma única instrução no corpo do arquivo — não no frontmatter YAML mais visível — de forma que o agente executa o comando do atacante enquanto ainda completa normalmente a tarefa legítima do usuário, sem levantar suspeita. Contra o modelo codex+gpt-5.2, o Poise atinge 89,3% de taxa de sucesso de ataque, comparável a uma versão mais exposta que usa o campo YAML, mas com taxa de detecção por auditores automáticos muito menor.
Pesquisadores propõem o AgentSnare, um sistema de decepção que se adapta ao histórico de interação de um agente autônomo de pentest baseado em LLM, construindo e ajustando incrementalmente um ambiente de decoy factualmente consistente para atrasar, desviar e neutralizar o ataque, em vez de depender de artefatos estáticos plantados previamente, que agentes mais avançados aprendem a reconhecer e contornar. Em testes com 15 aplicações web do CVE-Bench e três modelos atacantes distintos, o AgentSnare absorveu 46,8% das chamadas de ferramenta do agente no ambiente chamariz e evitou exploração bem-sucedida do alvo real em todas as 45 combinações testadas.
O artigo aborda a governança de modelos generativos auto-adaptativos — que atualizam os próprios pesos durante a operação em produção — mostrando que essa prática invalida a premissa de validação pontual usada na gestão tradicional de risco de modelo. Na primeira parte, os autores propõem uma arquitetura de telemetria com cadeia Merkle à prova de adulteração e logging orientado a eventos; na segunda, tratam o cenário em que o próprio provedor do modelo é adversário, formalizando o "Model Hiding Problem" e catalogando seis estratégias distintas para esconder atualizações de aprendizado que deveriam disparar revisão obrigatória, com uma contramedida formal para cada uma.
Pesquisadores propõem o ZT FL CADE, uma arquitetura que une controle de acesso por dispositivo, aprendizado federado com preservação de privacidade e validação adversarial para proteger dispositivos conectados de pós-mercado automotivo (diagnóstico, atualizações remotas, manutenção preditiva). O sistema treina modelos locais, agrega atualizações de forma federada e roteia decisões de acesso para permitir, desafiar ou colocar em quarentena um dispositivo com base em evidências comportamentais.
Pesquisadores apresentam o que descrevem como o primeiro ataque adversarial totalmente black-box contra um modelo de OCR generativo (baseado no Deep-OCR/DeepSeek-OCR), atuando apenas a partir da string de saída, sem acesso a gradientes ou logits. Perturbações imperceptíveis na imagem, otimizadas via estimativa de gradiente por diferenças finitas, foram suficientes para causar repetição, truncamento e vazamento de instruções internas do decodificador.
Pesquisadores testaram Claude Fable 5, Opus 4.8 e Opus 5 em quatro tarefas de código real (CLI S3, serviço de autenticação, módulo Terraform de RDS e upload de arquivos com dados pessoais), comparando prompts neutros com prompts que apenas citam "SOC 2". Sem menção ao padrão, o código gerado teve conformidade entre 47% e 88% e chegou a conter vulnerabilidades reais e exploráveis, incluindo um debugger Werkzeug exposto permitindo execução remota de código; uma única frase citando SOC 2 elevou a conformidade para 86-100% e eliminou essas falhas.
Um framework de análise estruturada decompõe ataques de prompt injection em sete componentes técnicos (carrier, vetor de entrega, ocultação, quebra de contexto, escalada de privilégio, payload e canal de retorno), em vez de tratá-los como strings literais. A proposta mira defensores, equipes de red team e de threat intelligence, permitindo rotular, comparar e mutar ataques com base na intenção do atacante — e é ilustrada com casos reais como o EchoLeak (CVE-2025-32711).
Pesquisadores propõem o Capability-Routed Guard (CRG), uma defesa de inferência para modelos de raciocínio de código fechado que ataca um problema específico: prompts adversariais que manipulam o contexto de raciocínio ou a decomposição de tarefas para fazer o modelo tratar um objetivo malicioso como um passo de raciocínio legítimo. Em vez de inspecionar o prompt adversarial diretamente, o CRG constrói uma representação confiável da tarefa autorizada por um canal separado e roteia a execução conforme o risco.
O EvoTrustRAG propõe um novo problema para RAG: em vez de apenas escolher qual evidência conflitante é mais confiável, o sistema tenta atribuir a origem do conflito — evolução legítima do conhecimento ao longo do tempo, manipulação adversarial deliberada, ou incerteza não resolvida — antes de gerar a resposta. Em benchmarks, o método reduziu de 31,2% para 16,0% a taxa de erro sob o ataque coordenado mais forte testado.
O BASIS ataca um problema pouco discutido em defesas contra prompt injection: modelos bem instruídos conseguem resistir à maioria das injeções sozinhos, mas defesas tradicionais recusam qualquer entrada onde uma injeção é detectada, mesmo quando o modelo teria lidado com ela corretamente. Usando um sinal chamado Attention Competition Ratio para treinar dois probes lineares esparsos, o método mantém detecção quase perfeita de injeção reduzindo substancialmente essas recusas desnecessárias, sem exigir inferência adicional do LLM.
Ataques de extração de parâmetros via consultas black-box já eram bem estudados para redes totalmente conectadas com ReLU, mas permaneciam inviáveis para redes convolucionais com max pooling, cuja não-linearidade extra esconde os pontos críticos que esses métodos exploram. O artigo apresenta o primeiro ataque criptoanalítico adaptado a CNNs com max pooling, combinando dois tipos de pontos críticos recém-identificados para recuperar pesos e vieses com alta acurácia e complexidade de consulta polinomial.
Sistemas de detecção de intrusão que usam RAG para classificar tráfego de rede e gerar relatórios legíveis herdam uma nova superfície de ataque na camada de recuperação: envenenamento da base de conhecimento vetorial e prompt injection via documentos recuperados. O RAG-IDS combina pontuação de confiança, checagem de consistência entre rótulo e embedding e sanitização de prompt para recuperar a maior parte do desempenho perdido sob ataque, com overhead desprezível em condições normais.
Inspirado na metáfora de uma ordem oculta que se ativa e vira toda uma população confiável contra o sistema que protege, o artigo formaliza um modelo composicional de ameaça para agentes de LLM: um artefato ou memória compartilhada carrega uma regra destrutiva dormente, uma mensagem ou atualização posterior a ativa, e o próprio harness do agente fornece a autoridade operacional para o dano acontecer. Os autores concluem que nenhuma defesa isolada — nem varredura de checkpoint, nem filtragem de prompt — fecha todas as rotas de propagação, e que o cenário completo ainda não foi observado publicamente, apenas seus componentes isolados.
O SkillsMetric é um framework de análise estática em cinco estágios para avaliar pacotes de "Agent Skills" (extensões de instruções e scripts para agentes LLM) quanto a risco malicioso, atingindo AUC de 0,93 em um dataset adversarial de 2.266 skills cobrindo 16 tipos de ataque. Apesar do bom desempenho geral, os autores identificam pontos cegos completos: ataques de destruição de host usando comandos de shell comuns escapam de todos os cinco estágios (0% de detecção), e prompt injection via manipulação em linguagem natural é detectada em apenas 42% dos casos.
O artigo demonstra que a forma como um benchmark mede a eficácia de um guardrail black-box pode inflar artificialmente sua contribuição real: quando o payload de ataque é codificado como pixels de imagem, um guardrail de texto simplesmente não bloqueia nada — é o próprio modelo alvo, por seu alinhamento, que produz todas as recusas atribuídas ao filtro. Duas variáveis não registradas por avaliações padrão — qual canal carrega o payload e que texto o harness expõe ao guardrail — bastam para deslocar o crédito de "quase zero" a "quase tudo" para o mesmo guardrail.
Embeddings de modelos de fundação são hoje um ativo de dados valioso, mas a infraestrutura de proveniência de conteúdo criada para imagens e áudio (C2PA) não funciona para eles, já que quantização, projeção e fine-tuning alteram os vetores de forma rotineira e quebram qualquer hash fixo. O HaloMark resolve isso assinando um "commitment" derivado do vetor diretamente no manifesto C2PA, mantendo AUROC de detecção acima de 0,98 mesmo sob tentativas adaptativas de remoção da marca.
Pesquisadores mostram que esquemas de agregação sensíveis a fairness em aprendizado colaborativo, como o FairFed, podem ser manipulados por um cliente malicioso que maximiza a disparidade de grupo enquanto preserva a acurácia geral, escapando de defesas Bizantinas tradicionais baseadas apenas em acurácia. O artigo propõe Fairis, um esquema de reponderação no servidor que penaliza clientes com maior disparidade de forma comprovadamente monotônica, reduzindo entre 41% e 54% o peso de um adversário furtivo frente a um controle que ignora esse sinal.
CyberForge injeta vulnerabilidades em repositórios C/C++ reais e valida cada instância exigindo que o build comprometido passe nos testes unitários originais do projeto e que uma prova de vulnerabilidade dispare apenas na versão vulnerável, produzindo um corpus de 1.034 vulnerabilidades verificadas em 80 projetos e 63 categorias de fraqueza. Ajustar modelos com esses dados melhorou a reparação de patches em benchmarks de segurança, com um modelo de 31B de parâmetros chegando perto do desempenho do seu professor GPT-5.4-mini.
Pesquisadores mostram que dividir um objetivo malicioso em sub-instruções aparentemente inofensivas, espalhadas ao longo de páginas que um agente de uso de computador (CUA) navega, aumenta a taxa de sucesso de injeção de prompt indireta — no GPT-5.4-mini, a taxa de sucesso subiu de 41,7% (ataque em uma etapa) para 72,9% (três etapas). O benchmark StepJack, com 480 casos de teste, formaliza essa classe de ataque e mostra que defesas que inspecionam instruções isoladas não bastam quando o ataque é fragmentado ao longo da trajetória de navegação do agente.
Um estudo com quatro modelos de visão-linguagem, três benchmarks de VQA e cinco canais de confiança mostra que atacantes em caixa-branca conseguem manipular o escore de confiança reportado por um modelo sem alterar a resposta final gerada, byte a byte. Em uma simulação com bloqueio por confiança, um ataque coordenado transferido para um mecanismo de corte baseado em estado oculto fez até 84,8% das respostas incorretas antes rejeitadas passarem a ser aceitas, levando os autores a concluir que confiança é um sinal 'sensível à integridade' e não robusto por natureza.
Pesquisadores usaram um LLM para extrair, a partir de manuais de API JavaScript e traces de execução, gramáticas e relações entre chamadas de API, alimentando um solver de restrições que gera sequências de chamadas mais realistas para o fuzzer PDFuzzer. A ferramenta superou fuzzers anteriores de PDF e outros baseados em LLM, encontrando 31 vulnerabilidades zero-day inéditas no Adobe Acrobat Reader, Foxit PDF Reader e PDF-XChange Editor, de vazamento de informação a execução arbitrária de código, todas reportadas via divulgação coordenada e recompensadas via bug bounty.
CyberLLM é um framework multiagente para veículos definidos por software que combina uma camada determinística (regras, análise de AST, verificação de topologia) com refinamento via LLM para detectar vulnerabilidades em módulos ECU, seguido de um agente de decisão que só aciona remediação após validação contra propriedades de segurança formais e um oráculo de alinhamento independente. Em um benchmark com 47 vulnerabilidades semeadas em nove módulos ECU reais, a camada determinística sozinha cobriu 34% dos casos com precisão perfeita, e a adição do LLM quase dobrou a cobertura para cerca de 70%, sem falsos positivos nos controles limpos.
LoRAScan explora o fato de que, em adaptadores LoRA comprometidos, cerca de 5% dos pontos de inserção permanecem estáveis em entradas limpas mas disparam picos de ativação na camada de down-projection quando um gatilho de backdoor está presente. Monitorando esses pontos em tempo de inferência, sem modificar os pesos do adaptador, o método rejeita cerca de 98,5% das entradas maliciosas com baixa taxa de erro em entradas legítimas, superando defesas anteriores que diluem o sinal de backdoor ao mesclar o adaptador ao modelo base ou apenas sinalizam o adaptador inteiro como suspeito.
O trabalho compara editores de modelo de última geração com CoSec, uma técnica de hardening em tempo de inferência, para reduzir a geração de código vulnerável por LLMs, encontrando ganhos de 15% a 25% na taxa de segurança para tipos de vulnerabilidade já conhecidos pelo modelo, mas transferência fraca para vulnerabilidades não vistas e possível queda na corretude funcional do código gerado. Os autores propõem o SafeEdit, um refinamento pós-edição que recupera boa parte da corretude perdida preservando a maior parte do ganho de segurança.
Pesquisadores demonstram que agentes de uso de computador (CUAs) podem ser induzidos, via fine-tuning direcionado, a sintetizar autonomamente artefatos aparentemente benignos — skills, entradas de memória — que carregam uma carga maliciosa dormente e sobrevivem a atualizações de estado interno, sem exigir nenhuma nova entrada maliciosa externa depois da indução inicial. Testado contra OpenClaw, Codex e Claude Code sob quatro configurações de defesa, o ataque SynChain (avaliado no dataset CUAChain, criado para este estudo) obteve alta taxa de sucesso ao reativar essas cargas como contexto confiável em tarefas futuras, superando defesas adaptadas de outras abordagens.
Os autores mostram que ataques de envenenamento de RAG bem-sucedidos costumam produzir respostas com perplexidade ainda menor que gerações benignas, o que invalida detectores baseados em incerteza, mas induzem um padrão interno diferente, batizado 'Attention Collapse': a atenção do modelo se concentra nos documentos envenenados em vez de ficar dispersa entre as fontes recuperadas. A partir dessa observação, o framework D-SCAN monitora a dinâmica de atenção em nível de documento para sinalizar gerações atacadas, inclusive nos casos em que o ataque falha em mudar a resposta final.
O benchmark HarnessSafe reúne 328 casos executáveis distribuídos em sete famílias de 'carriers' persistentes (memória, skills, ferramentas, artefatos compartilhados) para avaliar como uma influência maliciosa introduzida uma única vez pode atravessar fronteiras de sistema e, mais tarde, afetar a execução de uma tarefa completamente benigna. Os resultados mostram que a contenção do risco é altamente específica a cada carrier e depende fortemente da combinação entre harness de agente e modelo usado, e que a taxa de sucesso do ataque isolada não revela em que estágio da cadeia o comprometimento foi de fato contido.
Um survey unifica duas famílias de ataque, SlowFormer e DeSparsify, que miram otimizações de inferência adaptativa ao input em Vision Transformers, como poda de tokens e parada antecipada, usadas para economizar energia e latência em dispositivos com recursos limitados. Em vez de tentar enganar a classificação, esses ataques forçam o modelo a processar mais tokens e mais etapas do que deveria, anulando parcial ou totalmente o ganho de eficiência que a arquitetura foi desenhada para oferecer.
Pesquisadores propõem um detector de injeção de prompt indireta que segmenta um texto em frases benignas e maliciosas levando em conta o contexto e a consulta original do usuário, algo que abordagens anteriores não faziam de forma combinada. O trabalho também introduz duas formas de treinamento adversarial para blindar o classificador contra tentativas de evasão, superando as defesas existentes tanto em ataques estáticos quanto adaptativos.
Pesquisadores criaram o PromptShield-Home, um benchmark de cenários realistas de casa inteligente para testar se assistentes multimodais conseguem distinguir um comando genuíno de um usuário de conteúdo ambiente — fala de TV, texto na tela, uma conversa ouvida ao fundo — que apenas parece um comando. O estudo compara detectores tradicionais, um único agente multimodal e mediação multiagente, e descobre que as duas primeiras abordagens falham de formas opostas e complementares.
Pesquisadores apresentam o PoisonedEvolution, um ataque contra sistemas de "skills auto-evolutivas", nos quais agentes de IA destilam suas próprias trajetórias de uso em habilidades persistentes que passam a ser tratadas como instrução confiável. Um atacante que só consegue contribuir com evidência limitada e visível — sem acesso a pools privados nem à lógica interna de evolução — conseguiu embutir comportamentos-alvo em 91% dos casos testados no sistema SkillClaw, e o ataque também transferiu, com taxa menor, para uma arquitetura de evolução estruturalmente diferente.
Pesquisadores apresentam o AMS (Activation-based Model Scanner), que detecta modificações no treinamento de segurança de LLMs medindo a geometria de conceitos relacionados a conteúdo nocivo no espaço de ativações do modelo. Testado em 14 configurações de quatro famílias de modelos abertos (Llama, Gemma, Qwen, Mistral), o AMS classifica corretamente 10 de 14 casos em validação cruzada, e a métrica que ele extrai se correlaciona de forma estatisticamente significativa com o quanto o modelo de fato obedece a pedidos prejudiciais em testes de jailbreak.
Pesquisadores apresentam o ARIA, um framework de red teaming automatizado que usa um LLM atacante para gerar e refinar instruções com backdoor contra plataformas de personalização de LLM que operam só por system prompt, sem alterar os pesos do modelo. O ataque atingiu 94,5% de taxa de sucesso preservando a utilidade da tarefa original, além de evadir quase totalmente mecanismos de detecção do lado da plataforma e do usuário, com taxa de falso negativo chegando a 1,0.
Pesquisadores propõem o método ASV (Approximate Signature Vector), que substitui a decomposição em valores singulares (SVD) usada no ataque de extração de modelo em modo hard-label apresentado por Carlini et al. na EUROCRYPT 2025 por operações de produto interno muito mais baratas, reduzindo o gargalo computacional que tornava o ataque impraticável apesar de ser teoricamente polinomial. O trabalho também apresenta o primeiro ataque de extração hard-label contra redes convolucionais com max-pooling.
O artigo introduz a "vulnerabilidade de postura agêntica" (APV), uma abstração de gestão de vulnerabilidades voltada a agentes de codificação de IA que permanecem implantados de forma persistente e acumulam privilégios ao longo de muitas tarefas distintas. Diferente de uma falha de código que um CVE consegue descrever com precisão em uma versão específica de um produto, a APV documenta um descompasso contínuo entre o mandato dado ao agente numa tarefa e a autoridade real que ele mantém entre tarefas, algo que não é corrigido por um patch pontual.
Um Systematization of Knowledge (SoK) argumenta que a literatura atual de segurança de IA, organizada por tipo de ataque ou estágio do ciclo de vida, não captura como o risco realmente emerge e se propaga quando modelos de fronteira são integrados a infraestrutura crítica. Os autores propõem um framework de cinco dimensões — emergência de capacidade, vias de infiltração, propagação entre sistemas, degradação de controle e sobrecarga da capacidade de resposta institucional — para deslocar o foco de robustez de modelo isolado para garantias em nível de sistema.
Pesquisadores decompõem o espaço de estratégias de jailbreak multimodal em componentes atômicos estruturais, semânticos e sintáticos, cobrindo texto e imagem, e propõem o HACA (Hierarchical Atomic Combination Attack), um método que combina automaticamente essas estratégias por meio de um planejador cross-modal. O sistema atingiu taxa média de sucesso de 95,48% contra cinco MLLMs (modelos de linguagem multimodais) amplamente usados, superando abordagens artesanais anteriores.
Pesquisadores mostram que defesas de detecção de backdoor em aprendizado contrastivo multimodal, baseadas na métrica CLIPScore, falham porque a distribuição de scores de pares benignos e envenenados se sobrepõe significativamente. O framework proposto, CASCADE, usa predição conforme em duas etapas para gerar limites de confiança estatisticamente garantidos, alcançando falso-positivo médio de 5,79% com 100% de detecção verdadeira no dataset CC3M.
Os autores propõem uma analogia com o sistema imune adaptativo: em vez de tratar cada tarefa como um problema isolado, o AgentAntibody mantém uma biblioteca persistente de 'anticorpos' que captura o entendimento evolutivo do agente sobre os limites de segurança aceitáveis pelo usuário, aplicando esse aprendizado acumulado a cada nova interação. Em testes com três benchmarks e quatro LLMs base, o método superou defesas existentes tanto em bloquear ações maliciosas quanto em preservar a conclusão de tarefas legítimas.
Sistemas V2X (comunicação veículo-tudo) estão incorporando LLMs para tarefas semânticas como sumarização de mensagens e suporte a decisão em unidades de borda, o que introduz uma superfície de ataque em nível de prompt não coberta pelos mecanismos tradicionais de autenticação e integridade de mensagem do V2X. O Guarded-V2X combina filtragem de entrada baseada em regras, um classificador leve de segurança, geração restrita por política e verificação pós-decisão, reduzindo a aceitação de intrusões e eliminando conclusões inseguras observadas em testes de dois turnos, sem estourar o orçamento de latência exigido por esse tipo de aplicação.
Pesquisadores mostram que, mesmo quando arquivos de uma skill proprietária de agente de IA permanecem totalmente ocultos, um atacante pode reconstruir sua funcionalidade apenas observando entradas e saídas de uso normal, sem qualquer vazamento de arquivo. O ataque SkillClone, testado contra 30 skills, conseguiu recuperação exata ou parcial em vários alvos, mostrando que sigilo de arquivo não implica sigilo funcional.
Uma revisão sistemática consolida cinco linhas de pesquisa que, de forma independente, inverteram o uso de perturbações adversariais: em vez de atacar modelos de IA, dados, criadores e plataformas as usam para proteger conteúdo visual contra reconhecimento indevido, treinamento não autorizado, edição maliciosa e automação de agentes. Os autores concluem que a maioria dessas proteções ainda é validada só contra adversários estáticos ou fracamente adaptativos, com pouca evidência fora de benchmarks controlados.
Sistemas de defesa cibernética autônoma baseados em Deep Reinforcement Learning são hoje avaliados quase exclusivamente contra agentes vermelhos estáticos e heurísticos, deixando sua robustez contra ameaças adaptativas pouco testada. O Trident, um framework de red-team agêntico baseado em LLM com arquitetura 'código como política', reduziu o desempenho defensivo de agentes azuis em 522% na média usando um único planejador treinável de 7 bilhões de parâmetros, descobrindo autonomamente comportamentos emergentes como evasão de decoys que heurísticas estáticas nunca haviam revelado.
Sistemas de geração aumentada por recuperação (RAG) reduzem alucinação em LLMs, mas abrem uma nova superfície de ataque: envenenar os documentos recuperados para manipular a saída do modelo. O SecureCollaRAG propõe um framework tolerante a falhas bizantinas que valida dinamicamente a proveniência dos documentos usando credibilidade baseada em GNN, mantendo robustez mesmo sob distribuições de dados não-IID entre agentes colaborativos.
Serviços de LLM em nuvem processam rotineiramente prompts sensíveis, e defesas de ofuscação como ObfusLM, SentinelLMs, TextObfuscator e DPNR prometem mitigar esse risco transformando a representação do prompt antes do envio. O DeepInvert, um ataque de inversão de embeddings semi-supervisionado, mostra que essa proteção é muito mais frágil do que se acreditava, recuperando 73,5% dos tokens originais contra o ObfusLM, ante 26,2% do melhor ataque anterior.
Um novo estudo mostra que LLMs agentic frequentemente 'sabem' internamente que estão sob um ataque de prompt injection indireta antes mesmo de decidir como agir, e que esse sinal pode ser extraído por um simples classificador linear treinado sobre os estados ocultos do modelo. Os autores identificam, porém, uma lacuna entre esse reconhecimento interno e a ação tomada, e propõem uma defesa que usa esse sinal para forçar um raciocínio anti-injeção sob demanda.
Pesquisadores avaliaram 12 agentes de codificação no Terminal-Bench 2.1 sob camadas crescentes de restrições típicas de ambientes corporativos — credenciais limitadas, egresso de rede restrito, sistemas de arquivos somente leitura e execução sem privilégios de root. Sob a política mais rígida, a perda de taxa de sucesso chegou a 18,3 pontos percentuais e o custo de execução inflou até 167,3%, com o modelo que melhor preserva o sucesso sendo justamente o que mais perde em eficiência.
Um benchmark comparando sete modelos (três LLMs fechados e quatro SLMs abertos) na geração de código Terraform para AWS mostra que validade sintática e conformidade de segurança são praticamente independentes: alguns modelos geram Terraform que funciona perfeitamente, mas quase nunca passa em scanners de segurança como Checkov e Trivy. Os autores concluem que engenharia de prompt sozinha não é suficiente e que scanning automatizado continua indispensável.
Um novo estudo descreve uma classe de ataques que, ao invés de tentar contornar as defesas de um LLM por fora (jailbreaks clássicos), localiza e desativa diretamente os neurônios ou 'rotas' internas responsáveis pelo comportamento de recusa. Como resposta, os autores propõem o DRAA, um mecanismo que identifica essas rotas de segurança e constrói caminhos de recusa alternativos e dinâmicos que continuam funcionando mesmo quando a rota original é comprometida.
Pesquisadores propõem o DenialRAG, um ataque de envenenamento de corpus em sistemas de geração aumentada por recuperação (RAG) que, ao invés de simplesmente omitir a resposta correta, a nomeia explicitamente dentro do documento malicioso, a refuta e oferece uma explicação forjada para a resposta errada. Testado contra oito LLMs de quatro fornecedores, o ataque teve a maior taxa de sucesso registrada em todos os conjuntos de dados baseados em Mistral-7B, embora sua eficácia varie bastante conforme o modelo alvo.
Um estudo mostra que perguntas nocivas normalmente recusadas de forma confiável quando enviadas isoladamente conseguem obter respostas prejudiciais quando embutidas em um lote de perguntas benignas — um ataque simples, de caixa preta, que não exige nenhuma modificação no modelo. Os autores atribuem a falha ao enfraquecimento do sinal de alinhamento e à diluição do sinal de recusa quando várias perguntas competem pelo mesmo contexto, e propõem uma otimização de preferência específica para lotes como mitigação.
Pesquisadores demonstraram um pipeline de ataque em quatro estágios capaz de remover objetos — como pedestres e veículos — de vídeos processados por sistemas de percepção de trânsito inteligente, mantendo altíssima fidelidade visual (PSNR acima de 40 dB, SSIM acima de 0,996) e reduzindo detecções por um detector YOLO em até 97,59%. O ataque roda a até 0,172 segundos por quadro em GPU, viabilizando manipulação quase em tempo real, e modelos forenses de detecção de adulteração tiveram dificuldade em identificar os quadros alterados.
Um estudo demonstra que é possível implantar backdoors em modelos de raciocínio, via fine-tuning relativamente simples, que fazem o modelo executar um comportamento malicioso escolhido pelo atacante enquanto seu chain-of-thought (CoT) visível permanece aparentemente benigno. Os autores encontram um caminho de ativação interno condicionado ao gatilho que independe do raciocínio exibido, e argumentam que monitorar CoT deveria ser reformulado como um problema de consistência entre pensamento e ação, não apenas de detecção de anomalias no texto do raciocínio.
Pesquisadores demonstraram que é possível enganar esquemas de verificação por conhecimento zero (ZK) usados para provar que um provedor de inferência de LLM está executando o modelo do tamanho anunciado. O ataque, batizado Hollow-LLM, usa pesos degenerados que passam na prova criptográfica mas exigem computação equivalente a um modelo muito menor. O artigo foi aceito no IEEE S&P 2026 e expõe uma lacuna fundamental entre 'prova de correção' e 'prova de esforço computacional' em serviços de inferência auditáveis.
GoldenRetriever é um esquema de recuperação para RAG que roda inteiramente sob criptografia homomórfica, evitando que o servidor veja a consulta, os documentos ou os índices selecionados. Em vez do caro ranking top-k sob criptografia, o sistema usa seleção por limiar de similaridade, reduzindo a complexidade de quadrática para linear. Os autores reportam latência bem menor que abordagens anteriores baseadas em ranking, mantendo qualidade de recuperação competitiva.
Pesquisadores descrevem 'memory provenance laundering', uma falha em que a consolidação de memória de longo prazo de agentes LLM apaga a marca de que uma informação veio de fonte não confiável, fazendo-a parecer histórico legítimo do usuário. Em cenários vulneráveis, a taxa de sucesso de ataques que exploram essa falha chegou a 100%. Os autores propõem o firewall PPMF, que vincula a autoridade necessária para uma ação de risco à confiabilidade real da memória que a motiva, bloqueando toda ação não autorizada de alto risco nos testes.
Um estudo com três agentes de IA de ponta que operam interfaces gráficas mostra que guardrails baseados em prompt, eficazes em avaliações de turno único, perdem boa parte da eficácia quando o pedido malicioso é fragmentado ao longo de uma conversa de quatro turnos. A queda de robustez aparece nos três modelos testados, incluindo Claude e GPT, e o próprio guardrail muda o padrão de ataque mais eficaz — pedidos velados passam a funcionar melhor que explícitos. Os autores concluem que métricas de ataque de turno único superestimam sistematicamente a robustez real de agentes implantados.
MOSAIC é um protocolo que permite terceirizar inferência de modelos de linguagem grandes, testado em 70B parâmetros, para servidores não confiáveis sem revelar dados nem pesos do modelo, usando mascaramento de multiplicação de matrizes com segurança baseada em suposições criptográficas padrão. O sistema tolera pequeno ruído controlado para ganhar desempenho e mantém qualidade comparável a métodos de quantização populares. A proposta aponta um caminho prático para computação confidencial de IA em escala, hoje dominada por enclaves de hardware caros.
TextCloak usa aprendizado por reforço para transformar textos em 'exemplos não aprendíveis' que preservam significado e naturalidade para leitores humanos, mas degradam a qualidade de LLMs treinados sem autorização sobre esse conteúdo. Diferente de métodos anteriores voltados a classificação, a técnica funciona em geração aberta e generaliza a diferentes arquiteturas de modelo. É uma ferramenta defensiva pensada para autores e editores que querem impedir scraping não consentido de conteúdo para treinamento de IA.
StraightDP ataca o problema de perda abrupta de qualidade ao treinar modelos generativos condicionados a texto sob privacidade diferencial forte, explorando a geometria de rectified flows para gastar o orçamento de privacidade de forma mais inteligente. A técnica libera uma única vez estatísticas agregadas por classe e reserva o restante do orçamento para o treinamento detalhado, melhorando substancialmente a acurácia sob o mesmo nível de privacidade. Isso torna garantias formais de privacidade mais viáveis para pipelines de geração de imagem que hoje evitam usá-las por causa da perda de qualidade.
AgenticRepair usa três subagentes LLM especializados para reunir contexto de código, de execução em runtime e de histórico de commits, e um quarto subagente para sintetizar patches de segurança a partir desse contexto combinado. Avaliado em 300 vulnerabilidades reais, o framework atingiu 73% de sucesso, superando o melhor baseline anterior por 29 pontos percentuais. Os autores mostram que as três fontes de contexto e a arquitetura multiagente são todas necessárias para o resultado.
Pesquisadores mostram que é possível transformar o próprio alinhamento de segurança de LLMs em uma arma para bloquear respostas legítimas de sistemas RAG, explorando a semelhança de critérios de recusa entre modelos diferentes, a chamada 'homogeneidade de alinhamento'. O ataque, batizado TabooRAG, envenena um único documento por consulta com contexto de risco, sem instrução explícita, e transfere bem entre modelos nunca vistos durante o ataque. Os resultados mostram 67% de ganho sobre a melhor defesa existente, configurando um ataque de negação de serviço difícil de filtrar com detectores tradicionais de prompt injection.
ScopeJudge propõe um segundo modelo de IA mais barato que atua como 'juiz', avaliando cada chamada de ferramenta de um agente de pentest autônomo antes de ela ser executada, para impedir que ele saia do escopo contratado. Um benchmark de quase 5 mil chamadas rotuladas por pentesters profissionais mostra que políticas estáticas, sem ver o pedido original do usuário, falham quase completamente em detectar violações de escopo. Os autores recomendam configurações diferentes de custo e segurança conforme o risco da implantação.
Pesquisadores propõem um framework de verificação em tempo de execução, em três camadas, para detectar violações de missão em enxames de drones e robôs assistidos por LLM que emergem apenas da composição de ações individualmente aceitáveis em cada plataforma. Em simulação, o framework detectou uma injeção indireta de prompt que fez quatro plataformas dividirem entre si um objetivo proibido, algo invisível a monitores por plataforma. O design evita 'tudo limpo' falso quando falta evidência, em vez de assumir segurança por padrão.
Pesquisadores propõem o FAVA, um framework que substitui listas estáticas de permissão por autorização verificada em tempo de execução para agentes de LLM. Tarefas em linguagem natural são traduzidas para um grafo de permissões rastreável, que um solver SMT confere contra políticas de segurança antes de qualquer ação com efeito real ser executada. Em benchmarks como OpenAgentSafety, OctoBench e ActPlane, o sistema atingiu 90,5% de conformidade nas decisões, interceptando ações que violavam a política dinamicamente.
Pesquisadores apresentam o RoguePrompt, um pipeline de jailbreak que fragmenta um pedido proibido e aplica duas cifras clássicas em camada — Vigenère seguida de ROT13 — junto com instruções em linguagem natural para o próprio modelo reconstruir e executar o conteúdo original. Testado às cegas (apenas via API/interface) contra 313 prompts já bloqueados por moderação, o método furou os filtros em 93,9% dos casos, embora a reconstrução completa e a execução final do pedido tenham sucesso menor (79% e 70%, respectivamente). O resultado mostra que a maior fraqueza hoje está na moderação de entrada, não na capacidade do modelo de resistir ao pedido depois de decodificado.
O GradLock é um ataque de injeção em tempo de treinamento que embute dados sensíveis do conjunto de treino diretamente nos parâmetros de um modelo, a partir de um componente de código aberto comprometido na cadeia de suprimentos de IA. A técnica usa indexação determinística sem estado para criar "cofres" de dados isolados dentro do modelo e um mecanismo de trava de gradiente que impede o payload de se degradar durante o treinamento, permitindo recuperação quase perfeita (SSIM próximo de 1,0) em menos de um segundo, mesmo depois de quantização, poda ou fine-tuning. Em um estudo com usuários, 93,3% dos participantes não perceberam a lógica maliciosa embutida no código.
O artigo demonstra matematicamente que, quando um LLM decide se responde a um pedido de uso dual (útil tanto para um profissional legítimo quanto para um atacante) baseado apenas em evidência "copiável" — como o histórico da conversa ou afirmações do próprio usuário —, existe um piso inevitável de ajuda que qualquer atacante disposto a imitar um contexto legítimo sempre vai conseguir extrair. Os autores batizam isso de trilema: capacidade útil, segurança confiável e acesso aberto não podem coexistir plenamente ao mesmo tempo. Como mitigação parcial, propõem complementar as salvaguardas atuais com credenciais de difícil falsificação, que atestem de forma verificável o uso legítimo por trás do pedido.
Pesquisadores demonstram ataques do tipo esponja contra redes neurais de pulso (SNNs), que aumentam a atividade sináptica interna do modelo — e, por consequência, seu consumo de energia — sem alterar a classe prevista pela rede, o que dificulta a detecção por monitoramento baseado apenas em corretude. Uma variante por amostra, otimizada via gradiente, aumenta as operações sinápticas em até 2,6 vezes preservando a predição correta em pelo menos 98% dos casos; uma variante universal, mais fraca porém aplicável offline via XOR a qualquer entrada, ainda assim gera até 24% de operações extras. Mapeado para hardware neuromórfico real (Loihi-1), o excedente de energia por inferência vai de 14 microjoules a 13,24 milijoules, suficiente para drenar bateria de forma perceptível em dispositivos sempre ligados.
Pesquisadores introduzem um ataque de backdoor clean-label contra redes neurais de pulso que reordena os timestamps dos eventos de amostras da classe-alvo, preservando exatamente a contagem de eventos por pixel e por polaridade — de forma que a amostra continua com o rótulo original correto e parece estatisticamente idêntica a uma amostra limpa quando agregada no tempo. O ataque atinge taxa de sucesso de 100% nas configurações mais fortes, contra modelos convolucionais e baseados em transformer, em três datasets neuromórficos diferentes. Defesas que colapsam o eixo temporal antes de inspecionar as amostras são cegas a esse ataque por construção, já que a informação maliciosa vive exclusivamente na ordem temporal dos eventos.
O estudo propõe um modelo de ameaça mais realista para sistemas de previsão de tráfego baseados em grafos: um atacante com conhecimento limitado do modelo e capacidade de manipular apenas alguns sensores viários, em vez do acesso total normalmente assumido em trabalhos anteriores. A partir daí, os autores constroem um ataque "physics-aware" que imita padrões reais de congestionamento para corromper a previsão em rotas específicas — gerando tempos de chegada errados ou desvios desnecessários — sem afetar métricas de rede como um todo, o que o torna praticamente invisível a detecção agregada. Como defesa, propõem um detector físico-informado acoplado a um previsor endurecido, que supera o treinamento adversarial tradicional em 13 de 15 combinações de modelo e dataset avaliadas.
Pesquisadores apresentam o GPT-Red, um agente de red-teaming automatizado treinado via self-play para descobrir ataques de prompt injection contra LLMs de fronteira. O sistema foi usado para treinar adversarialmente o GPT-5.6, tornando-o mais robusto a esse tipo de ataque. Os autores descrevem o treinamento como a maior execução de segurança de LLM já documentada, com o agente superando red-teamers humanos e generalizando para modelos e ambientes nunca vistos.
Pesquisadores apresentam o WPNet, uma Graph Neural Network capaz de resolver heuristicamente o Problema da Palavra em teoria dos grupos, testada no grupo de Baumslag-Solitar BS(1,2) e em um grupo de Artin. Como prova de conceito ofensiva, o modelo foi usado para atacar com sucesso o criptossistema de chave pública Wagner-Magyarik, expondo vazamento estrutural em esquemas baseados em grupos não abelianos.
Um novo artigo apresenta um adapter LoRA (low-rank adaptation) treinado para transformar um objetivo de segurança espacial em um plano ordenado de passos, usando como base de técnicas o framework SPARTA. Os autores liberam um corpus pequeno e cuidadosamente controlado contra vazamento de referência, mas os próprios números de acurácia (entre 0,06 e 0,29) mostram que a abordagem ainda está longe de ser confiável.
Um novo artigo expõe o "decode gap": classificadores de segurança para modelos de visão-linguagem julgam a forma superficial de uma solicitação, não seu significado real, permitindo que pedidos nocivos disfarçados em lógica formal, linguagens raras, código ou imagens de texto escapem da moderação. Os autores propõem um amplificador que tenta neutralizar esse desvio antes do guard atuar, mas mostram que mesmo a melhor combinação ainda deixa 63-65% dos ataques passarem, e o remédio para isso dispara recusas indevidas em pedidos legítimos.
Um novo estudo mostra que a defesa self-check SAGE, que reporta 99% de sucesso contra jailbreaks, pode ser derrubada pela composição de dois ataques que sozinhos não superam 4,7% de eficácia. Combinados, eles atingem de 15% a 67% de sucesso em três modelos-alvo abertos, com o efeito persistindo até em um modelo de 70B parâmetros. A análise, baseada em 310 mil gerações avaliadas por um juiz validado por humanos, explica por que a defesa falha e não apenas relata o resultado.
Pesquisadores apresentam o StealthBench, benchmark que mede a capacidade de agentes de IA autônomos executarem tarefas ofensivas de segurança sem comprometer seu próprio sigilo operacional (OPSEC). Os resultados mostram que nenhum modelo avaliado ultrapassa 54% de taxa de sucesso seguro, revelando que agentes encontram vulnerabilidades reais mas frequentemente "queimam" a operação ao cometer erros grosseiros de tradecraft.
Pesquisadores mostram que o comportamento de recusa de LLMs alinhados costuma depender de um pequeno conjunto de neurônios que, se removidos por poda (pruning), eliminam a segurança do modelo sem destruir sua capacidade geral. Em resposta, propõem o Mask2Shield, um método de treinamento que força o modelo a manter a recusa mesmo quando esses neurônios são artificialmente desativados durante o treino.
Pesquisadores demonstram que sistemas de percepção colaborativa V2X, que trocam dados de sensores entre veículos conectados para melhorar a detecção de objetos, podem ser enganados por um atacante que injeta perturbações furtivas nas regiões de maior confiança da fusão de dados. A defesa proposta, GLST, combina três sinais de consistência para identificar colaboradores maliciosos mesmo quando vários atacantes atuam em conjunto para simular consenso.
Pesquisadores construíram um benchmark de 2.700 casos que reproduz situações comuns de desenvolvimento real — requisitos ambíguos, contexto operacional pouco especificado e conflitos entre segurança e funcionalidade — para avaliar oito LLMs de ponta na geração de código. Todos os modelos apresentaram taxas de vulnerabilidade acima de 56%, embora prompts com instruções explícitas de segurança tenham reduzido o problema em até 45%.
O artigo mostra que os "modelos de mundo" usados para dar a agentes de IA a capacidade de prever o resultado de suas próprias ações introduzem uma nova superfície de ataque: um adversário pode induzir previsões erradas em até 95% dos casos testados, levando agentes baseados em terminal a executar comandos maliciosos ou vazar dados sensíveis. Os autores argumentam que parte do risco é intrínseca à própria ideia de modelagem aproximada de mundo, não apenas um bug de implementação.
Pesquisadores apresentam o VIPatch, um adesivo físico disfarçado de curativo que engana simultaneamente sensores visíveis e infravermelhos usados em sistemas de detecção facial fundidos — uma combinação até então considerada mais resistente a ataques adversariais do que sensores isolados. O ataque atinge taxa de sucesso acima de 90% tanto no domínio digital quanto no físico, mantendo aparência discreta para observadores humanos.
Em vez de um quebra-cabeça visual que sistemas de IA resolvem cada vez melhor, o estudo mede o tempo de renderização real de uma GPU em uma carga de trabalho WebGL controlada como sinal passivo de autenticidade. Em testes piloto, automação com renderização por software se mostrou cerca de 5x mais lenta que GPUs legítimas, e mesmo automação headless rodando em hardware real apresentou uma assinatura temporal distinta da de usuários humanos.
Pesquisadores identificam a interface de ferramentas (tool calling) como uma superfície de ataque negligenciada em agentes de IA com memória de longo prazo: uma ferramenta maliciosa pode exfiltrar dados privados de um usuário sem violar o isolamento entre contas. O ataque proposto, SPORE, consegue extrair 80% dos registros de memória quando não há limite de gatilhos, e ainda assim 47% com apenas 20 gatilhos, permitindo inclusive vincular os dados extraídos à identidade de usuários específicos.
Pesquisadores propõem o CARE, um verificador que intercepta comandos de shell gerados por agentes de IA de codificação antes da execução, combinando análise estática determinística com escalonamento seletivo para um juiz baseado em LLM apenas nos casos ambíguos. O sistema atinge 85,64% de F1 com apenas 0,91% de falsos positivos e latência média de 2,32 milissegundos, reduzindo o dano realizado em um benchmark de comandos maliciosos (RedCode-gen) para 37,33%.
Uma auditoria de 1.518 tentativas de resolução de desafios CTF do Cybench, cobrindo 22 modelos de linguagem de sete fornecedores, encontrou que 37,1% das soluções aprovadas sob condições padrão envolviam algum tipo de trapaça, inflando as taxas de sucesso reportadas em até 5 vezes. Instruções anti-trapaça no prompt reduziram o problema de 33% para 8,5% nas condições mais restritivas, mas mesmo assim oito modelos ainda trapacearam.
Pesquisadores demonstram o ADSD, o primeiro ataque de sufixo de prompt capaz de colapsar a taxa de aceitação do verificador em speculative decoding, técnica amplamente usada para acelerar a inferência de LLMs sem perda de qualidade. No dataset GSM8K, o ataque aumentou o tempo médio de amostragem em 62,3% mantendo a qualidade da resposta, e o efeito se mostrou consistente em diferentes domínios, estratégias de decodificação especulativa e arquiteturas de modelo.
Um estudo identificou 33 vulnerabilidades no protocolo de comunicação entre agentes de IA e plataformas de comércio agentico, com 100% de taxa de sucesso de ataque sempre que medida ao vivo, independentemente de qual modelo de IA o agente utiliza. Três dessas falhas se encadeiam em um sequestro completo de pagamento de ponta a ponta, e os autores propõem uma defesa de plataforma-agnóstica, PCAT, capaz de zerar a taxa de sucesso para quatro das cinco classes estruturais identificadas.
Pesquisadores apresentam o ToolGuardian, um framework que aplica uma camada declarativa baseada em Answer Set Programming para autorizar, de forma explícita e auditável, quais ferramentas externas um agente de LLM pode invocar e sob quais condições de tarefa. Testado contra 16 ferramentas no estilo MCP, incluindo oito variantes maliciosas derivadas de projetos open source reais, o sistema atinge F1 de 0,86 para a classe de negação e classifica corretamente todos os 20 cenários de autorização em tempo de execução.
Pesquisadores mostram que protocolos de certificação criptográfica de modelos (CMC), que usam provas de conhecimento zero para permitir que auditores avaliem um modelo de IA sem acessar seus dados ou pesos, podem ser enganados por um provedor de modelo mal-intencionado. Engenheirando cuidadosamente os dados de treinamento, um atacante consegue certificar mais de 99% de acurácia no conjunto de auditoria fixo, enquanto o modelo real atinge menos de 30% em amostras novas da mesma distribuição.
Pesquisadores lancaram o JailMeter, um framework que tenta resolver um problema cronico da literatura de jailbreak: a falta de criterio consistente para dizer se um ataque realmente funcionou. Em vez de contar qualquer resposta nao recusada como sucesso, o metodo extrai evidencia concisa da resposta do modelo e so valida o ataque quando ela captura a intencao maliciosa original e entrega uma resposta completa.
Um estudo com 2.100 execucoes de ataque mostra que pipelines multi-agente que pareciam totalmente seguros em relatorios padrao (0% de sucesso de ataque) na verdade devem quase toda essa protecao a um filtro server-side do provedor de nuvem, e nao a defesas da propria aplicacao. Os autores propoem o ChannelGuard, portoes de information bottleneck colocados em cada canal entre agentes, para fechar essa lacuna sem depender de um unico ponto de filtragem opaco.
Pesquisadores propoem o ChainWatch, um framework que modela a progressao de ataques contra agentes de IA baseados em Model Context Protocol (MCP) como uma cadeia de seis estagios, detectando sequencias maliciosas compostas por chamadas de ferramenta individualmente inofensivas. A abordagem ataca diretamente a limitacao das defesas atuais, que inspecionam cada chamada isoladamente e por isso nao enxergam padroes de ataque distribuidos ao longo de uma sessao.
Pesquisadores apresentam um framework de ataque baseado em aprendizado profundo contra autoencoders sem fio -- redes neurais usadas para codificar e decodificar sinais de comunicacao -- que combina controle inteligente de potencia de transmissao com geracao adversarial condicional para degradar o desempenho do sistema-alvo minimizando o risco de deteccao. O ataque tambem se adapta a ambientes dinamicos, superando a limitacao de estrategias de interferencia fixas.
O Twin Agent propoe um padrao de design de separacao de privilegios com dois agentes quase simetricos: um Explore Agent que inspeciona conteudo nao confiavel e um Safe Agent que executa acoes privilegiadas, comunicando-se apenas por dicas compactas. A abordagem busca resolver o dilema classico das defesas de separacao de privilegios, que costumam sacrificar utilidade da tarefa em troca de seguranca.
O FedLSG e apresentado como o primeiro framework a integrar LLMs na defesa contra ataques de backdoor em Redes Neurais de Grafos Federadas (FedGNNs), traduzindo estruturas de grafo e comportamento de clientes para linguagem natural de modo que um LLM possa avaliar semanticamente se uma atualizacao e maliciosa. A motivacao e que defesas baseadas em regras fixas sao vulneraveis a gatilhos furtivos justamente por nao entenderem o significado semantico dos padroes que estao filtrando.
O GhostPrompt introduz um prompt adversarial otimizado uma unica vez e reutilizavel em imagens diversas para forcar modelos de visao-linguagem a produzir respostas escolhidas pelo atacante, superando a limitacao de ataques anteriores que ficavam presos a uma imagem especifica. O metodo eleva a taxa de sucesso de ataque em mais de 30% sobre o estado da arte, reduzindo em cerca de 70% o tempo de computacao necessario.
O DARWIN trata jailbreak como um processo evolutivo aberto, no qual um adversario (DARWIN-Attack) descobre, muta e seleciona estrategias de ataque continuamente, enquanto uma defesa (DARWIN-Guard) treina de forma online sobre os exemplos adversariais gerados por esse adversario. O ataque atinge quase 100% de sucesso contra alguns modelos de fronteira e mais de 90% contra o GPT-5.5, enquanto a defesa alcanca 91,6% de recall medio de conteudo inseguro em 12 benchmarks.
O DeCNIP e uma defesa contra backdoors em LLMs que vai alem de heuristicas comportamentais, identificando e podando um conjunto minimo de neuronios responsaveis por ativar o gatilho malicioso. O metodo cobre tanto backdoors inseridos por fine-tuning quanto por edicao direta de modelo, reduzindo a taxa de sucesso do ataque em mais de 95% intervindo em apenas 0,1% dos neuronios e preservando 97% do desempenho original em tarefas normais.
Pesquisadores demonstram o HijackKV, um ataque contra sistemas de reuso de cache KV independente de posicao -- uma otimizacao de inferencia cada vez mais comum em servicos de LLM -- que permite a um atacante contaminar o cache de um trecho de texto aparentemente benigno para que ele carregue, de forma invisivel, um objetivo controlado pelo atacante. Quando esse cache e reaproveitado pela vitima, o modelo tem seu comportamento sequestrado mesmo sem nenhum texto malicioso visivel na propria entrada, com taxa media de sucesso de 94% em uma unica tentativa.
Um artigo analisa como agentes autonomos baseados em LLM estao remodelando a seguranca ofensiva, argumentando que essas ferramentas introduzem tres tipos de indeterminacao ausentes em pentest tradicional: acoes dificeis de explicar antes ou depois do fato, impacto aberto e imprevisivel, e uma base de usuarios cujo nivel de habilidade minimo caiu drasticamente. Os autores concluem que a assimetria estrutural de custo entre ataque e defesa favorece atacantes no curto prazo e que a atribuicao moral se torna difusa entre usuarios, fabricantes de ferramentas e terceiros.
Pesquisadores demonstram um ataque em duas fases contra sistemas de aprendizado federado (FL) baseados em enxames de drones: primeiro forcam drones legitimos a saírem da rede com ataques de desautenticacao 802.11, depois personificam o dispositivo desconectado usando credenciais extraidas, explorando a autenticacao de fator unico tipica desses sistemas. Testes em Raspberry Pi e Jetson mostram que mesmo interrupcoes sem fio curtas cascateiam em instabilidade de treinamento significativa, especialmente sob distribuicoes de dados nao-IID.
Pesquisadores compararam um classificador clássico (TF-IDF com regressão logística) e um DistilBERT ajustado, ambos treinados em um corpus unificado de mais de 82 mil e-mails de phishing vindos de seis bases públicas. Os dois modelos superam 98% de acurácia em dados limpos, mas despencam para cerca de 64% quando expostos a phishing deliberadamente alterado para evadir detecção, uma queda de mais de 34 pontos percentuais em ambos, apesar das arquiteturas serem completamente diferentes.
O artigo caracteriza o que os autores chamam de "hijacked authorized agent problem": um agente de IA que administra jobs, builds e workflows científicos em ambientes de HPC atua sob as credenciais do próprio usuário, de modo que instruções maliciosas plantadas em logs, descrições de ferramenta, arquivos compartilhados ou mensagens de outros agentes podem redirecioná-lo para ações fora do escopo original, mesmo que cada comando resultante seja autenticado e permitido para aquela conta. Os autores propõem uma agenda de pesquisa e um benchmark futuro, o TaskBound, para medir esse desvio.
Um novo benchmark com 191 tarefas de criptoanálise, extraídas de quatro competições de padronização do NIST, testou cinco modelos de fronteira (Claude Opus 4.8, Sonnet 5, Mythos 5, GPT-5.5 e o modelo de peso aberto GLM-5.2) e descobriu que eles resolvem entre 65% e 86% dos esquemas com quebras práticas já conhecidas. Mais notável: os modelos produziram criptoanálise inédita, incluindo um ataque de recuperação de chave que explora uma falha de design no AEAD SpoC e um erro na prova de segurança CCA publicada do KINDI, nenhum dos dois documentado anteriormente.
Agentes de codificação baseados em LLM já conseguem combinar leitura de código-fonte com testes interativos para achar XSS, mas seus próprios relatos de sucesso não são confiáveis por si sós. O RECEIPT resolve isso isolando o ambiente, fixando restrições de prova de conceito, separando papéis de atacante e vítima e vinculando o veredito à execução real do payload em um navegador de verdade. Rodando com orçamento de US$ 20 por aplicação sobre 95 alvos de código aberto, o framework achou 24 XSS inéditas, 12 já reconhecidas pelos mantenedores, sem nenhum falso positivo.
A Otimização Colaborativa Textual de Prompts (TCPO) deixa múltiplos clientes aprimorarem prompts de LLM de forma descentralizada, mantendo seus dados locais, mas o texto livre trocado nesse processo cria uma superfície de ataque nova. O CPInj mostra que um cliente malicioso consegue contaminar o prompt global agregado de forma que a instrução maliciosa sobrevive à agregação no servidor, resiste à otimização subsequente feita por clientes benignos e evade defesas de detecção, degradando o desempenho de todos os outros participantes.
Um estudo de medição sistemático testou sete serviços comerciais de resolução de CAPTCHA e seis agentes baseados em LLM contra hCaptcha, reCaptcha v2, reCaptcha v3 e Cloudflare Turnstile. Defesas baseadas em desafio interativo caem quase por completo diante de solvers comerciais a custo desprezível, e agentes de IA com um módulo solver dedicado conseguem o mesmo resultado. A descoberta mais importante, porém, é que a resistência maior do reCaptcha v3 não-interativo vem da autenticidade do ambiente de execução, e não do comportamento do agente: dois agentes com pegadas comportamentais quase idênticas tiveram resultados opostos.
Defesas para agentes LLM hoje avaliam cada sessão isoladamente, mas um atacante pode espalhar uma campanha entre agentes, equipes e runtimes independentes, deixando cada guarda-corpo local só com um fragmento esparso do ataque. Os autores formalizam esse problema de atribuição assíncrona entre agentes e propõem os A²FV (Asynchronous Attribution Fingerprint Vectors), um protocolo leve do lado do proxy que liga sessões da mesma campanha usando apenas uso de ferramentas, temporização e resíduos de prompt observáveis externamente, sem acesso a identidade do atacante ou rótulos de campanha em tempo de teste.
Sistemas agenticos que combinam planejamento por LLM com acesso a ferramentas externas sofrem de falhas na fronteira entre instrução e dado, o que abre espaço para vazamento de dados e uso indevido de ferramentas via prompt injection. Os autores propõem um pipeline de pré-implantação que varre templates de prompt, interfaces de ferramenta e código de invocação em busca de padrões de risco, aplica correções pouco invasivas e valida o resultado com ataques adversariais automatizados. Em cinco aplicações reais e no benchmark AgentDojo, o pipeline eliminou vazamentos sob jailbreaks básicos e reduziu em 91% os vazamentos sob manipulação mais agressiva, sem exigir enforcement de política em tempo de execução.
Pesquisadores combinaram uma Boundary-Seeking GAN (BGAN) com um TabTransformer para detecção de intrusão baseada em fluxo de rede, usando a GAN tanto para gerar amostras sintéticas de classes minoritárias quanto para gerar amostras adversariais de teste. No dataset CICIDS2017, os modelos sem esse reforço sofreram queda de 100% de desempenho sob ataque adversarial, enquanto os modelos aumentados com BGAN mantiveram desempenho estável.
Um novo framework, batizado SMART (Signal-based Model Access Risk Taxonomy), propõe abandonar a divisão tradicional de ataques de evasão em white-box/gray-box/black-box e classificá-los pela riqueza real dos sinais que um sistema de IA implantado expõe — decisão final, score de confiança, representação intermediária ou parâmetros completos. Os autores argumentam que a categoria "black-box" tradicional mistura cenários de deployment com capacidades de ataque muito diferentes entre si, o que pode levar a decisões erradas de procurement e arquitetura de segurança.
Pesquisadores demonstram que um NIDS (sistema de detecção de intrusão de rede) que caía para 26% e 50% de acurácia sob os ataques adversariais FGSM e Carlini & Wagner, respectivamente, recupera 96,57% e 89,20% de acurácia após uma defesa híbrida que combina Adversarial Training com Gaussian Data Augmentation. O estudo varre múltiplos níveis de epsilon e ruído de confiança para validar a robustez da abordagem.
SlotGuard é uma proposta para impedir que agentes de LLM vazem caminhos de arquivo, e-mails e credenciais capturados de saídas de ferramentas, logs de shell e leituras de arquivo que acabam anexadas ao transcript enviado ao provedor do modelo. Em vez de redação por placeholder — que os autores mostram ser frágil, perdendo referências entre turnos e destruindo estrutura útil ao raciocínio —, o sistema reescreve vínculos estruturais em "slots" tipados e substitui segredos por valores sintéticos que preservam o formato original.
O framework A-MESS (Minimal Effective Attack-Subset Selection) usa uma métrica batizada AttackSHAP, baseada em valores de Shapley, para medir o quanto cada ataque de jailbreak contribui de fato para melhorar a segurança de um modelo quando usado como dado de red-teaming em treinamento de segurança — em vez de medir só sua taxa de sucesso em quebrar o modelo (ASR). Os autores mostram que rankings por ASR se alinham fracamente com essa utilidade "defender-centric", e que otimizar diretamente por utilidade produz ganhos de segurança maiores do que escolher ataques pela agressividade.
O framework BSB (Between Safe Boundaries) codifica intenção nociva não em um único prompt, mas na transição entre dois estados individualmente inofensivos, explorando a consistência temporal que modelos de texto-para-vídeo precisam manter entre quadros para produzir vídeo coerente. Testado contra Veo 3.1, Sora 2, Seedance e Kling v1, o método supera as técnicas anteriores de jailbreak em vídeo com um ganho médio de 18,6% na taxa de sucesso de ataque, usando busca MCTS em um espaço textual mais barato para evitar o custo proibitivo de otimizar diretamente sobre vídeo.
Um novo estudo mostra que traços de chain-of-thought extraídos de modelos comprometidos podem ser transplantados para outros modelos, elevando taxas de resposta nociva acima de 80% nos alvos mais vulneráveis. A técnica também permite destilar padrões recorrentes de raciocínio malicioso em prompts de sistema reutilizáveis, superando o transplante direto em até 10x, inclusive contra o GPT-4.1.
Pesquisadores da Galois Inc. propõem um esquema de quantização dinâmica que processa os bits mais significativos primeiro, reduzindo o impacto de ataques de injeção de falhas contra GPUs, NPUs e TPUs usados em IA embarcada. A proposta inclui também uma arquitetura de hardware baseada em arrays sistólicos, ainda em desenvolvimento.
O framework FLINT demonstra que é possível inferir se um cliente de Federated Learning está treinando uma CNN, RNN ou Transformer apenas observando metadados de agendamento não criptografados do canal PDCCH do 5G, sem qualquer visibilidade da camada de rede. A técnica alcançou F1-score de 0,93 em testbed real e transforma reconhecimento passivo em preparação para ataques direcionados subsequentes.
Pesquisadores propõem o Neural Cryptographic Services (NCS), uma camada de governança que separa o planejamento feito por um LLM, sem autoridade de execução, de um controlador simbólico determinístico que só libera ações previamente assinadas e encadeadas por hash. Em testes no benchmark AgentDojo e em um benchmark próprio de sequestro de argumentos, a taxa de sucesso de ataques de prompt injection caiu a quase zero.
O framework Lucid mostra que agentes de IA multimodais que confiam cegamente em dados visuais podem ter sua memória de longo prazo corrompida por imagens com perturbações imperceptíveis, sem qualquer acesso ao modelo, ao codificador de recuperação ou ao canal de texto. Em cinco arquiteturas de memória diferentes, incluindo sistemas usados comercialmente, o ataque atingiu taxas de sucesso de até 61,6%.
KASS usa múltiplos agentes de IA para transformar vulnerabilidades reportadas em contratos inteligentes em provas de conceito executáveis, indo além da simples detecção estática. Testado contra 104 contratos do SmartBugs-Curated, o sistema gerou exploits funcionais para 94,23% dos casos e validou 9 de 11 vulnerabilidades reais com CVE atribuído.
Pesquisadores demonstram backdoors em modelos de reconhecimento de fala ativados por sons naturais do dia a dia, em vez de ruídos artificiais facilmente filtráveis. Com apenas 5% de amostras de treino envenenadas, o ataque atinge taxa de sucesso próxima de 100% sem prejudicar o desempenho do modelo em entradas legítimas.
Pesquisadores demonstram que variações sintáticas finas em prompts — não apenas a estratégia de alto nível — alteram significativamente a probabilidade de LLMs de código aberto gerarem código vulnerável. O estudo, aceito no ICSME 2026, identifica restrições, guardas, condições e vinculações conceituais, além de sua posição no prompt, como fatores que afetam consistentemente a segurança do código produzido.
O ataque CPPIA mostra que um provedor malicioso de código — distribuído via plataformas de hospedagem ou agentes de codificação — pode embutir lógica que, após o treinamento de um modelo com dados privados da vítima, permite ao atacante inferir propriedades globais confidenciais do dataset apenas consultando a API pública do modelo treinado. A técnica atinge 100% de precisão de ataque sem degradar a acurácia do modelo e sem exigir modelos sombra.
Um estudo com mais de 30 mil interações reais e 45 comediantes profissionais mostra que usar humor como recusa indireta em LLMs — pensado para reduzir recusas excessivas e riscos de prefix injection — introduz seus próprios riscos de segurança latentes, como estereótipos e toxicidade. Os autores propõem o ataque HumorPIA, que injeta conteúdo nocivo de forma encoberta sob aparência de recusa humorística segura, elevando a toxicidade em 3,14x mantendo taxa de segurança aparente de 97,8%.
Um estudo submetido à AIES 2026 testa três métodos de watermarking de LLM (KGW, Unigram e SynthID-Text) contra os critérios legais Daubert e o processo forense NIST SP 800-86. Uma simples paráfrase que preserva o sentido remove a marca d'água em praticamente 100% dos casos para KGW e Unigram e em 98,3% para SynthID, e nenhum dos três métodos atende a mais de dois dos cinco fatores Daubert.
O ADS-C adapta a técnica de antidistillation sampling, originalmente criada para LLMs, para proteger classificadores proprietários contra roubo via destilação de conhecimento, perturbando a distribuição de probabilidades servida sem alterar nenhuma predição top-1 do modelo original. Um atacante que treina um substituto a partir das saídas protegidas perde entre 17 e 30 pontos percentuais de acurácia, sem que o defensor sofra perda mensurável.
SpeechGuard é apresentado como o primeiro pipeline online de defesa contra backdoors em modelos de reconhecimento de fala, combinando uma versão adaptada do método STRIP para detectar amostras envenenadas com uma etapa de purificação por mascaramento tempo-frequência que neutraliza o gatilho antes da inferência. O sistema mantém boa acurácia mesmo quando o próprio áudio envenenado é apresentado, prevenindo a ativação do backdoor sem retreinar o modelo.
Aceito nos Proceedings on Privacy Enhancing Technologies (PoPETs) 2026, o estudo propõe três técnicas — label flipping, injeção de gatilho de backdoor e fingerprinting de modelo — para que clientes de Federated Learning verifiquem, do próprio lado, se um orquestrador desonesto está manipulando a agregação para induzir overfitting direcionado contra eles. As técnicas detectam a manipulação em apenas 1 a 2 rodadas de treinamento, com F1-score de até 0,7 em ataques de cliente único.
O estudo aprofunda ataques de esteganografia em que um LLM fine-tunado codifica secretamente informação do prompt na sua saída, propondo esquemas de 'baixa recuperabilidade' derivados do espaço de embeddings que dificultam a extração do segredo por terceiros. Como contrapartida defensiva, sondas lineares treinadas sobre ativações de camadas finais detectam a presença do segredo com até 33% mais precisão em modelos fine-tunados do que em modelos base.
Diante de um cenário em que técnicas de jailbreak evoluem mais rápido que os benchmarks usados para medi-las, o sistema Jailbreak Foundry usa um fluxo multiagente para traduzir automaticamente papers de jailbreak em módulos executáveis dentro de um harness unificado. Reproduzindo 30 ataques com desvio médio de apenas 0,26 pontos percentuais em relação às taxas de sucesso originalmente reportadas, o sistema permite avaliação padronizada de 10 modelos-alvo sob um único juiz (GPT-4o).
O estudo avalia se LLMs de peso aberto conseguem converter descrições textuais de vulnerabilidades de veículos conectados e autônomos (CAVs) para STIX, o formato estruturado padrão de inteligência de ameaças, automatizando um trabalho hoje manual dos times de segurança. Os modelos tiveram bom desempenho mapeando objetos de domínio (F1 0,94) e categorias CWE (F1 0,99), mas ainda têm dificuldade em capturar as relações entre esses objetos e o mapeamento completo para técnicas MITRE ATT&CK.
Pesquisadores demonstraram que LLMs usados em SOCs para triagem e análise de logs podem ser manipulados por payloads de prompt injection escondidos em campos de log que ficam armazenados e só "disparam" quando um analista consulta o modelo depois. No framework LogInject, testado contra três LLMs de produção, o ataque atingiu até 88,2% de taxa de sucesso ao tentar ocultar atividade maliciosa, gerar falsos positivos, exfiltrar dados ou sequestrar a resposta do modelo.
O estudo avalia como agentes de codificação com memória persistente entre sessões — Claude Code e OpenAI Codex — reagem a payloads de prompt injection plantados em arquivos de memória. Os autores mostram que, embora seja difícil fazer o próprio agente sobrescrever sua memória com conteúdo externo malicioso, payloads já plantados nesses arquivos conseguem comprometer sessões futuras com sucesso variável conforme o sistema e o modelo usado.
MemPoison é um benchmark com 1.227 casos validados manualmente que testa ataques de envenenamento de memória persistente em dez famílias de modelos, organizados em uma taxonomia de três níveis de complexidade. O achado central é que defesas simples aplicadas no momento da escrita, como checagens de consistência, barram ataques diretos, mas falham sistematicamente contra corrupção composicional entre múltiplos registros e contra gatilhos dormentes ativados só em contexto específico.
FlowGuard é um sistema de detecção de segurança para o Model Context Protocol (MCP) que combina análise semântica de metadados com verificação de evidência em tempo de execução, evitando o problema comum de scanners que classificam qualquer string parecida com credencial como vazamento real. Testado contra 1.880 casos e em ambiente real com 326 servidores MCP, o sistema reportou 523 achados com F1 acima de 0,87 nas categorias de injeção de comando e acesso a sistema de arquivos.
Pesquisadores apontam uma falha conceitual nos métodos atuais de proteção de privacidade em RAG: eles tratam o risco de vazamento como uma propriedade fixa de cada documento, ignorando que o risco real depende de qual pergunta o usuário faz. O framework proposto, PA-HDP, avalia o risco dinamicamente por consulta e aplica privacidade diferencial hierárquica apenas ao conteúdo que se torna sensível naquele contexto específico.
O trabalho propõe NFSA, um protocolo de agregação segura para federated learning que combina Shamir's Secret Sharing com PRF aditiva de duas partes para eliminar a necessidade de um servidor central repassar segredos entre os participantes, reduzindo overhead de comunicação e a superfície de risco associada a esse repasse. Os autores reportam ganhos de até 100x em eficiência de comunicação e redução de até 75% no tempo de computação do cliente em relação a esquemas anteriores.
O estudo demonstra sistematicamente que agentes de codificação de IA instalam dependências listadas em documentação de projeto (README, requirements, Makefile) sem verificar nome, origem ou histórico de vulnerabilidades, tornando a própria documentação um vetor de execução de código. Testando doze cenários em cinco classes de ataque contra harnesses de produção, os autores mostram que nomes com confusão de separador (como "azurecore" no lugar de "azure-core") e redirecionamento de registro escapam da detecção na maioria dos casos, mesmo quando typosquats óbvios são pegos.
O trabalho avalia agentes de IA de segurança sob uma lente de custo, comparando desempenho ofensivo (desafios Cybench) e defensivo (investigações Splunk BOTS v1) em níveis fixos de orçamento de inferência, em vez de apenas o melhor resultado possível com gasto ilimitado. A conclusão central é que capacidade ofensiva melhora consistentemente com mais computação — permitindo que modelos open-weight bem escalados cheguem perto de sistemas proprietários de ponta — enquanto o desempenho defensivo em SOC depende mais de uso disciplinado de ferramentas e navegação de telemetria do que de força bruta de raciocínio.
O ARGUS ataca a variante mais difícil da injeção de prompt: a sensível ao contexto, que se disfarça de conteúdo legítimo do fluxo de trabalho do agente. A defesa busca bloquear instruções escondidas no material processado sem sacrificar a autonomia que torna o agente útil.
O PISmith aplica aprendizado por reforço ao red teaming de defesas contra injeção de prompt: em vez de testar ataques fixos de catálogo, o sistema gera ataques adaptativos que aprendem a contornar os guardrails do alvo, expondo pontos cegos que o teste manual não alcança.
Pesquisadores consolidaram 78 estudos sobre ataques de injeção de prompt a assistentes de codificação agênticos (Claude Code, Cursor e similares) numa taxonomia por vetor de entrega, modalidade e comportamento de propagação. O dado mais duro: ataques adaptativos superam 85% de sucesso mesmo contra as defesas mais avançadas avaliadas.