#llm-as-judge — OlimpoSec

risco altoOS-2026-583 · 2026-10-05

Tese mapeia como LLMs falham sob variações adversárias de entrada — e propõe formas de medir e corrigir isso

Uma tese de doutorado propõe uma métrica formal de estabilidade para LLMs baseada em divergência de Jensen-Shannon e demonstra ataques práticos contra sistemas de LLM-as-a-Judge, detecção de trojans e agentes baseados em MCP. O destaque é um ataque evolutivo de caixa-preta contra juízes automáticos com taxa de sucesso de até 73,8%, além de defesas (comitês heterogêneos de modelos e atestação criptográfica de chamadas de ferramenta) que reduzem drasticamente esse número.

#llm #llm-as-judge #trojan #prompt-injection #mcp #artigo-cientifico

Fonte ↗

risco médioOS-2026-509 · 2026-09-25

Pesquisa mostra que texto de log falso engana juízes de IA em até 90% dos casos em agentes de geração de vídeo

Um estudo com agentes de geração de vídeo mostra que, quando o log de execução (trace) reporta falsamente que uma ferramenta teve sucesso, juízes multimodais baseados em modelos Qwen-VL aceitam de 78% a 90% dos vídeos com falha visual real, contra apenas 7%-19% quando esse texto auxiliar não é mostrado — mesmo quando o juiz recebe a instrução explícita de usar somente os frames. Modelos de juiz maiores e de ponta se mostraram resistentes ao mesmo ataque, sugerindo que a vulnerabilidade é uma característica aprendida de modelos menores, e não do desenho da tarefa.

#llm-as-judge #agentes-de-ia #contaminacao-de-verificador #geracao-de-video #artigo-cientifico

Fonte ↗