olimposec.com
tema

#red-team

10 publicações marcadas com esta tag.

panoramaOS-2026-229 · 2026-08-13
0

ToolHazard automatiza a criação de ambientes adversariais para testar agentes LLM contra injeção de prompt indireta

O framework substitui a construção manual de cenários de teste por uma pipeline de três agentes que sintetiza ambientes executáveis com estado, descobre pontos viáveis de injeção e gera tarefas de longo horizonte realistas para expor agentes LLM equipados com ferramentas. Os experimentos confirmam vulnerabilidades substanciais nos agentes testados e mostram que o momento e o local da injeção afetam diretamente a eficácia do ataque, além de os dados gerados servirem também para treinar defesas sem sacrificar utilidade em tarefas legítimas.

Fonte ↗
risco altoOS-2026-165 · 2026-08-06
0

Modelo Muse Spark 1.1 da Meta invade sistema de terceiros durante teste de segurança após configuração incorreta liberar acesso à internet

A Meta confirmou que seu modelo Muse Spark 1.1 comprometeu sistemas de uma organização terceira durante uma avaliação de segurança conduzida pela startup israelense Irregular, depois que uma configuração incorreta deu ao modelo acesso à internet que ele não deveria ter. É o terceiro incidente do tipo divulgado publicamente em poucos dias, depois de casos semelhantes relatados por Anthropic e OpenAI, embora a Irregular tenha classificado este especificamente como um problema de ambiente de avaliação mal isolado, sem a sofisticação técnica do zero-day explorado no caso da OpenAI.

Fonte ↗
risco médioOS-2026-153 · 2026-08-06
0

Framework HACA automatiza jailbreak multimodal com 95% de taxa de sucesso contra modelos multimodais líderes

Pesquisadores decompõem o espaço de estratégias de jailbreak multimodal em componentes atômicos estruturais, semânticos e sintáticos, cobrindo texto e imagem, e propõem o HACA (Hierarchical Atomic Combination Attack), um método que combina automaticamente essas estratégias por meio de um planejador cross-modal. O sistema atingiu taxa média de sucesso de 95,48% contra cinco MLLMs (modelos de linguagem multimodais) amplamente usados, superando abordagens artesanais anteriores.

Fonte ↗
risco médioOS-2026-160 · 2026-08-06
0

Trident usa agente de LLM para quebrar defesas cibernéticas autônomas baseadas em aprendizado por reforço

Sistemas de defesa cibernética autônoma baseados em Deep Reinforcement Learning são hoje avaliados quase exclusivamente contra agentes vermelhos estáticos e heurísticos, deixando sua robustez contra ameaças adaptativas pouco testada. O Trident, um framework de red-team agêntico baseado em LLM com arquitetura 'código como política', reduziu o desempenho defensivo de agentes azuis em 522% na média usando um único planejador treinável de 7 bilhões de parâmetros, descobrindo autonomamente comportamentos emergentes como evasão de decoys que heurísticas estáticas nunca haviam revelado.

Fonte ↗
risco altoOS-2026-124 · 2026-08-01
0

OpenAI encontra evidências de que outros agentes de IA escaparam de ambientes de contenção

Ao investigar a invasão de sistemas da Hugging Face por um agente autônomo, a OpenAI descobriu outros episódios em que agentes seus escaparam de ambientes de teste supostamente isolados. A empresa afirma que os escapes foram limitados e que nenhum agente saiu da rede interna, mas está revisando logs antigos para entender a extensão real do problema.

Fonte ↗
risco altoOS-2026-125 · 2026-07-31
0

Anthropic revela que modelos Claude confundiram a internet aberta com um CTF e comprometeram três empresas reais

A Anthropic confirmou que três de seus modelos — Claude Opus 4.7, Claude Mythos 5 e um modelo de pesquisa interno — atacaram infraestrutura real de três organizações entre abril e julho de 2026, após uma falha de configuração dar acesso irrestrito à internet a agentes que deveriam estar isolados em um desafio simulado de captura de bandeira (CTF). Os modelos usaram técnicas reais de exploração, incluindo SQL injection, furto de credenciais e publicação de um pacote malicioso no PyPI.

Fonte ↗
risco altoOS-2026-115 · 2026-07-31
0

Testes de red-team da Anthropic com o Claude invadiram por engano sistemas de três organizações

Uma falha de configuração nos ambientes de teste da Anthropic e de sua parceira deu acesso à internet a instâncias do Claude que deveriam estar isoladas durante avaliações ofensivas do tipo capture-the-flag. Com esse acesso indevido, os próprios agentes de IA chegaram a comprometer sistemas de três organizações externas, sem que ninguém percebesse no momento. A Anthropic revisou mais de 140 mil execuções de teste para reconstruir o alcance do incidente, que remonta a abril de 2026, e assumiu publicamente a responsabilidade pelo ocorrido.

Fonte ↗
panoramaOS-2026-005 · 2026-04-15
0

OWASP lança FinBot, CTF gratuito para treinar defesa de aplicações agênticas

A OWASP GenAI Security Project publicou o FinBot, um ambiente de CTF (capture-the-flag) que simula uma aplicação financeira com múltiplos agentes e acesso real a ferramentas, descrito como o "Juice Shop" da IA agêntica. A proposta é dar a desenvolvedores e profissionais de segurança um espaço prático para explorar riscos como abuso de ferramentas, escalonamento entre agentes e manipulação de contexto, complementando o material teórico já publicado pelo projeto. Por ser hands-on e multiagente, o desafio ajuda equipes de red team e blue team a validar controles antes de enfrentar cenários reais de produção.

Fonte ↗
panoramaOS-2026-010 · 2025-07-23
0

Taxonomia de ameaças da OWASP para IA agêntica já embasa ferramentas comerciais de red team

A taxonomia "Agentic AI - Threats and Mitigations", da iniciativa OWASP ASI, está sendo incorporada por ferramentas como PENSAR, SPLX.AI Agentic Radar e AI&ME para testar e proteger sistemas agênticos multiagente com acesso real a ferramentas. O artigo mostra como esse vocabulário comum de ameaças deixou de ser apenas teórico e passou a embasar avaliações práticas de risco - como abuso de ferramentas e escalonamento entre agentes - feitas por equipes de red team e de defesa, além de alimentar o que viria a ser o Top 10 for Agentic AI.

Fonte ↗