Estudo mostra que benchmarks de guardrails multimodais podem estar atribuindo ao filtro um mérito que é do próprio modelo
O artigo demonstra que a forma como um benchmark mede a eficácia de um guardrail black-box pode inflar artificialmente sua contribuição real: quando o payload de ataque é codificado como pixels de imagem, um guardrail de texto simplesmente não bloqueia nada — é o próprio modelo alvo, por seu alinhamento, que produz todas as recusas atribuídas ao filtro. Duas variáveis não registradas por avaliações padrão — qual canal carrega o payload e que texto o harness expõe ao guardrail — bastam para deslocar o crédito de "quase zero" a "quase tudo" para o mesmo guardrail.
Avaliar um guardrail de segurança como se o número de bloqueios reportado fosse inteiramente mérito seu é um erro metodológico comum, segundo os autores: um pipeline defendido tem dois componentes capazes de recusar uma requisição — o guardrail em si e o próprio modelo alvo, por conta de seu alinhamento nativo — e toda métrica reportada normalmente soma a contribuição dos dois sem separá-los, tratando o resultado combinado como se fosse só do guardrail.
Os autores mostram que essa contribuição real do guardrail varia de "nenhuma" a "praticamente toda", dependendo de duas variáveis que a maioria das avaliações não registra: por qual canal o payload do ataque é entregue, e que texto exatamente o harness de defesa expõe internamente ao guardrail para leitura. Em testes com um guardrail de texto sobre dois modelos alvo de peso aberto, quando o payload é renderizado como pixels de uma imagem, o guardrail não bloqueia nada — todas as recusas do sistema vêm do próprio alinhamento do modelo alvo. Quando o guardrail lê o prompt codificado que o atacante de fato enviou, ele produz apenas uma minoria das recusas atribuídas a ele. Mas quando o harness concede ao guardrail acesso à requisição já decodificada (o pedido "limpo" por trás do ataque, que o atacante nunca enviou daquela forma), o guardrail passa a bloquear quase tudo — e o modelo alvo simplesmente silencia, não tendo mais nada a recusar.
Os autores enfatizam que essa "cegueira" ao canal de imagem não é imprecisão aleatória: o mesmo guardrail também não bloqueia nenhuma entrada de imagem benigna, ou seja, sua decisão para o canal de imagem é essencialmente uma constante, não uma avaliação real de conteúdo. Ao isolar o efeito de conceder o texto decodificado dentro de uma única defesa multiestágio, eles mostram que esse acesso não melhora a detecção de fato — o estágio de "veredito de dano" não contribui em nada — mas sim o estágio que regenera a resposta final, sugerindo que parte do ganho medido em benchmarks vem de reescrever a resposta e não de identificar melhor o ataque.
O problema não é isolado ou raro: os autores mostram que a implementação de referência mais usada monta cada estágio a partir de um único campo de prompt que não consegue distinguir "o que o atacante realmente enviou" de "o que o benchmark registra", então qualquer porte fiel dessa implementação herda a falha silenciosamente — inclusive figuras publicadas anteriormente pelos próprios autores foram revisadas à luz desse achado. Para quem seleciona ou audita guardrails multimodais comerciais, a lição é direta: números de eficácia publicados sem controle explícito para esse vazamento de canal devem ser tratados com ceticismo, já que podem estar medindo o modelo alvo, e não o produto de segurança em si.