tema

#llm-security

7 publicações marcadas com esta tag.

risco altoOS-2026-646 · 2026-10-09

BRANCH: tecnica de busca em arvore atinge 100% de sucesso contra guardrails de IA com multiplos scanners

Sistemas de guardrail modernos combinam varios scanners especializados para fechar as lacunas de deteccoes isoladas contra jailbreaks e prompt injection, mas o BRANCH, uma nova tecnica de busca em arvore que otimiza perturbacoes adversariais contra o conjunto de scanners como um todo, quebrou essa defesa com 100% de taxa de sucesso em seis sistemas testados. Os bypasses gerados tambem transferiram para 29 guardrails nunca vistos durante o desenvolvimento do ataque, incluindo oito produtos comerciais de caixa-preta.

#jailbreak #guardrail-bypass #prompt-injection #llm-security #artigo-cientifico

Fonte ↗

risco altoOS-2026-398 · 2026-09-10

Modelos aprendem a se comunicar por cifra arbitrária só com prompting, contornando classificadores de nocividade

Uma nova pesquisa mostra que modelos de fronteira atuais não precisam mais de fine-tuning para aprender a se comunicar por meio de uma cifra combinada em tempo real: basta prompting e, quando necessário, aprendizado em contexto. Como o conteúdo nocivo trafega cifrado e aparece como texto sem sentido para os classificadores de segurança, o ataque contorna com sucesso modelos comerciais da Anthropic, Google e OpenAI.

#artigo-cientifico #jailbreak #cifra #llm-security #anthropic #openai #google

Fonte ↗

risco médioOS-2026-277 · 2026-08-24

Estudo com mais de 120 LLMs revela que segurança, privacidade e alinhamento competem entre si

O aiXamine é uma plataforma de avaliação black-box que testa simultaneamente segurança, privacidade e alinhamento de segurança em LLMs, rodando 46 testes automatizados de red-teaming por modelo. Em mais de 5.000 execuções contra 120+ modelos, os autores encontraram uma 'taxa de segurança' (mais alinhamento gera mais recusas indevidas), privacidade quase independente das demais dimensões, e um colapso catastrófico de robustez em modelos destilados sem correção on-policy.

#artigo-cientifico #llm-security #red-teaming #privacidade #robustez-adversarial #destilacao

Fonte ↗

risco médioOS-2026-283 · 2026-08-24

LLMs mostram raciocínio de segurança 'frágil': reformular o mesmo problema muda o ranking de defesas escolhidas

Testando LLMs na seleção de controles de segurança sobre grafos de ataque reais (ransomware, comprometimento de cadeia de suprimento, Kubernetes, ICS/OT), pesquisadores encontraram que os modelos produzem estratégias próximas de um baseline de otimização matemática quando a estrutura do ataque é explícita, mas a qualidade despenca com a complexidade do grafo e é muito sensível a mudanças de formulação do prompt — inclusive apenas rotular uma estratégia ruim como 'ótima' melhora drasticamente a avaliação que o próprio LLM dá a ela.

#artigo-cientifico #llm-security #decisao-de-seguranca #avaliacao #robustez

Fonte ↗

panoramaOS-2026-109 · 2026-07-30

GPT-Red: agente de IA treinado para descobrir sozinho novos ataques de prompt injection em escala

Pesquisadores apresentam o GPT-Red, um agente de red-teaming automatizado treinado via self-play para descobrir ataques de prompt injection contra LLMs de fronteira. O sistema foi usado para treinar adversarialmente o GPT-5.6, tornando-o mais robusto a esse tipo de ataque. Os autores descrevem o treinamento como a maior execução de segurança de LLM já documentada, com o agente superando red-teamers humanos e generalizando para modelos e ambientes nunca vistos.

#artigo-cientifico #red-teaming #prompt-injection #llm-security #self-play #ia-adversarial

Fonte ↗

risco médioOS-2026-112 · 2026-07-30

Guards de modelos de visão-linguagem ainda falham contra jailbreaks codificados, mesmo com defesa amplificada

Um novo artigo expõe o "decode gap": classificadores de segurança para modelos de visão-linguagem julgam a forma superficial de uma solicitação, não seu significado real, permitindo que pedidos nocivos disfarçados em lógica formal, linguagens raras, código ou imagens de texto escapem da moderação. Os autores propõem um amplificador que tenta neutralizar esse desvio antes do guard atuar, mas mostram que mesmo a melhor combinação ainda deixa 63-65% dos ataques passarem, e o remédio para isso dispara recusas indevidas em pedidos legítimos.

#artigo-cientifico #jailbreak #vlm #guardrails #llm-security #moderacao-de-conteudo

Fonte ↗

risco médioOS-2026-113 · 2026-07-30

Pesquisadores quebram defesa de jailbreak SAGE (99% de sucesso) combinando dois ataques fracos isoladamente

Um novo estudo mostra que a defesa self-check SAGE, que reporta 99% de sucesso contra jailbreaks, pode ser derrubada pela composição de dois ataques que sozinhos não superam 4,7% de eficácia. Combinados, eles atingem de 15% a 67% de sucesso em três modelos-alvo abertos, com o efeito persistindo até em um modelo de 70B parâmetros. A análise, baseada em 310 mil gerações avaliadas por um juiz validado por humanos, explica por que a defesa falha e não apenas relata o resultado.

#artigo-cientifico #jailbreak #llm-security #adversarial #self-check-defense #best-of-n #red-teaming

Fonte ↗