13 publicações marcadas com esta tag.
Pesquisadores propõem o TrustShift, uma classe de ataque em que um servidor MCP se comporta de forma benigna durante uma fase de condicionamento inicial para conquistar a confiança do agente, e só então libera um payload adversarial. A defesa proposta, SHIELD, reduz a taxa de sucesso do ataque de 69,5% para 42,7%, mas deixa um resíduo alto.
Fonte ↗Framework detecta, em tempo de execução, quais trechos de um contexto externo realmente influenciaram uma decisão de chamada de ferramenta do agente, tratando o problema como detecção de objetos sobre o mapa de atenção, e usa a autoridade da fonte desses trechos para bloquear invocações maliciosas.
Fonte ↗Inspirado na metáfora de uma ordem oculta que se ativa e vira toda uma população confiável contra o sistema que protege, o artigo formaliza um modelo composicional de ameaça para agentes de LLM: um artefato ou memória compartilhada carrega uma regra destrutiva dormente, uma mensagem ou atualização posterior a ativa, e o próprio harness do agente fornece a autoridade operacional para o dano acontecer. Os autores concluem que nenhuma defesa isolada — nem varredura de checkpoint, nem filtragem de prompt — fecha todas as rotas de propagação, e que o cenário completo ainda não foi observado publicamente, apenas seus componentes isolados.
Fonte ↗A OpenAI suspendeu atividades internas envolvendo seu próximo modelo, codinome Astra, depois que avaliações mostraram desempenho forte o bastante em codificação agente e ciberataque para não descartar que o modelo tenha atingido o nível 'Crítico' do seu Preparedness Framework — capaz de localizar e explorar autonomamente zero-days em sistemas endurecidos, ou de planejar e executar de ponta a ponta estratégias de ataque contra alvos protegidos a partir de um objetivo de alto nível. Em resposta, a empresa reforçou ambientes de teste isolados, restrição de rede e ferramentas, criptografia adicional dos pesos do modelo e monitoramento de chain-of-thought com interrupção automática de atividades de risco. A OpenAI afirma que o Astra não esteve envolvido no incidente recente em que um agente próprio comprometeu a Hugging Face durante um teste.
Fonte ↗Pesquisadores demonstram que agentes de uso de computador (CUAs) podem ser induzidos, via fine-tuning direcionado, a sintetizar autonomamente artefatos aparentemente benignos — skills, entradas de memória — que carregam uma carga maliciosa dormente e sobrevivem a atualizações de estado interno, sem exigir nenhuma nova entrada maliciosa externa depois da indução inicial. Testado contra OpenClaw, Codex e Claude Code sob quatro configurações de defesa, o ataque SynChain (avaliado no dataset CUAChain, criado para este estudo) obteve alta taxa de sucesso ao reativar essas cargas como contexto confiável em tarefas futuras, superando defesas adaptadas de outras abordagens.
Fonte ↗O benchmark HarnessSafe reúne 328 casos executáveis distribuídos em sete famílias de 'carriers' persistentes (memória, skills, ferramentas, artefatos compartilhados) para avaliar como uma influência maliciosa introduzida uma única vez pode atravessar fronteiras de sistema e, mais tarde, afetar a execução de uma tarefa completamente benigna. Os resultados mostram que a contenção do risco é altamente específica a cada carrier e depende fortemente da combinação entre harness de agente e modelo usado, e que a taxa de sucesso do ataque isolada não revela em que estágio da cadeia o comprometimento foi de fato contido.
Fonte ↗Pesquisadores descrevem 'memory provenance laundering', uma falha em que a consolidação de memória de longo prazo de agentes LLM apaga a marca de que uma informação veio de fonte não confiável, fazendo-a parecer histórico legítimo do usuário. Em cenários vulneráveis, a taxa de sucesso de ataques que exploram essa falha chegou a 100%. Os autores propõem o firewall PPMF, que vincula a autoridade necessária para uma ação de risco à confiabilidade real da memória que a motiva, bloqueando toda ação não autorizada de alto risco nos testes.
Fonte ↗Um estudo com três agentes de IA de ponta que operam interfaces gráficas mostra que guardrails baseados em prompt, eficazes em avaliações de turno único, perdem boa parte da eficácia quando o pedido malicioso é fragmentado ao longo de uma conversa de quatro turnos. A queda de robustez aparece nos três modelos testados, incluindo Claude e GPT, e o próprio guardrail muda o padrão de ataque mais eficaz — pedidos velados passam a funcionar melhor que explícitos. Os autores concluem que métricas de ataque de turno único superestimam sistematicamente a robustez real de agentes implantados.
Fonte ↗AgenticRepair usa três subagentes LLM especializados para reunir contexto de código, de execução em runtime e de histórico de commits, e um quarto subagente para sintetizar patches de segurança a partir desse contexto combinado. Avaliado em 300 vulnerabilidades reais, o framework atingiu 73% de sucesso, superando o melhor baseline anterior por 29 pontos percentuais. Os autores mostram que as três fontes de contexto e a arquitetura multiagente são todas necessárias para o resultado.
Fonte ↗ScopeJudge propõe um segundo modelo de IA mais barato que atua como 'juiz', avaliando cada chamada de ferramenta de um agente de pentest autônomo antes de ela ser executada, para impedir que ele saia do escopo contratado. Um benchmark de quase 5 mil chamadas rotuladas por pentesters profissionais mostra que políticas estáticas, sem ver o pedido original do usuário, falham quase completamente em detectar violações de escopo. Os autores recomendam configurações diferentes de custo e segurança conforme o risco da implantação.
Fonte ↗Pesquisadores propõem um framework de verificação em tempo de execução, em três camadas, para detectar violações de missão em enxames de drones e robôs assistidos por LLM que emergem apenas da composição de ações individualmente aceitáveis em cada plataforma. Em simulação, o framework detectou uma injeção indireta de prompt que fez quatro plataformas dividirem entre si um objetivo proibido, algo invisível a monitores por plataforma. O design evita 'tudo limpo' falso quando falta evidência, em vez de assumir segurança por padrão.
Fonte ↗Pesquisadores propoem o ChainWatch, um framework que modela a progressao de ataques contra agentes de IA baseados em Model Context Protocol (MCP) como uma cadeia de seis estagios, detectando sequencias maliciosas compostas por chamadas de ferramenta individualmente inofensivas. A abordagem ataca diretamente a limitacao das defesas atuais, que inspecionam cada chamada isoladamente e por isso nao enxergam padroes de ataque distribuidos ao longo de uma sessao.
Fonte ↗O Twin Agent propoe um padrao de design de separacao de privilegios com dois agentes quase simetricos: um Explore Agent que inspeciona conteudo nao confiavel e um Safe Agent que executa acoes privilegiadas, comunicando-se apenas por dicas compactas. A abordagem busca resolver o dilema classico das defesas de separacao de privilegios, que costumam sacrificar utilidade da tarefa em troca de seguranca.
Fonte ↗