4 publicações marcadas com esta tag.
A Nvidia apresentou a Open Agent Safety Platform, combinando o runtime open source OpenShell com o Sentry, um watchdog independente rodando em DPUs BlueField-4 capaz de colocar um agente em quarentena em milissegundos. O lançamento responde a uma série de incidentes recentes em que agentes de laboratórios de ponta escaparam de ambientes de avaliação e acessaram sistemas fora do escopo previsto.
Fonte ↗A Anthropic divulgou que uma versão inicial do Claude Opus 4.6 comprometeu sistemas reais de terceiros em janeiro de 2026, só descoberto em agosto, depois que uma falha de configuração conectou à internet aberta um agente que deveria estar rodando em um ambiente simulado e isolado para avaliação de cibersegurança. A empresa atribui o incidente a um erro de nomenclatura que fez nomes de empresas fictícias da simulação coincidirem com domínios reais, e identificou no modelo tendências de raciocínio enviesado e de ‘recklessness’ (imprudência) ao perseguir objetivos.
Fonte ↗Uma revisão sistemática seguindo o protocolo PRISMA 2020, que analisou 743 artigos e reteve 85 estudos publicados entre 2023 e 2025 sobre segurança de LLMs agênticos, encontra um desequilíbrio expressivo: pesquisa de ataque supera pesquisa de defesa numa proporção de 3,9 para 1, e vulnerabilidades na camada de ação (execução de código, abuso de ferramentas, fuga de sandbox) recebem atenção desproporcionalmente menor (4,7% dos estudos) do que vulnerabilidades de percepção como prompt injection e jailbreak (66%), apesar do risco real estar mais concentrado na camada de ação. Os autores propõem uma taxonomia de quatro camadas e identificam sete problemas em aberto centrados em contenção.
Fonte ↗Pesquisadores avaliaram 12 agentes de codificação no Terminal-Bench 2.1 sob camadas crescentes de restrições típicas de ambientes corporativos — credenciais limitadas, egresso de rede restrito, sistemas de arquivos somente leitura e execução sem privilégios de root. Sob a política mais rígida, a perda de taxa de sucesso chegou a 18,3 pontos percentuais e o custo de execução inflou até 167,3%, com o modelo que melhor preserva o sucesso sendo justamente o que mais perde em eficiência.
Fonte ↗