COMIC propõe filtro de segurança multimodal que avalia o alvo visual real de um pedido, não só o texto
Pesquisadores mostram que muitos jailbreaks multimodais não têm conteúdo nocivo nem no texto nem na imagem isoladamente: o dano só surge quando o modelo associa uma instrução aparentemente inofensiva a uma região específica da imagem. O filtro COMIC resolve isso identificando primeiro qual operação e qual alvo visual estão sendo referenciados, e só então avalia a segurança desse par operação-alvo, superando defesas que julgam o par texto-imagem como um todo.
Pesquisadores (Md Abdullahil Oaphy, Anhao Xiang, Zongxing Xie, Huayue Gu, Chenyu Wang, Honghui Xu) identificam uma falha de segurança específica em modelos multimodais (MLLMs): em muitos jailbreaks multimodais, nem o texto do prompt nem a imagem são nocivos quando julgados isoladamente, o dano só emerge quando o modelo associa uma operação aparentemente benigna, como 'resumir isso', 'traduzir isso' ou 'seguir esta instrução', a um alvo visual localizado e específico dentro da imagem.
Defesas atuais moderam o par prompt-imagem como um todo indiferenciado, o que não captura esse dano 'dependente de referência', já que ele é localizado e só se ativa depois que o modelo resolve a qual parte da imagem a instrução se refere. O COMIC (Context-Operation-Modality-Image-Classifier) inverte a ordem: primeiro infere a operação solicitada e o tipo de referência, constrói candidatos a alvo usando OCR e propostas de vocabulário aberto, resolve os referentes mais plausíveis, e só então avalia segurança sobre os pares explícitos operação-alvo; casos ambíguos são tratados de forma conservadora com agregação de risco máximo combinada a um roteamento sensível à qualidade da resolução, antes de decidir encaminhar ou bloquear o pedido.
Avaliado em múltiplos MLLMs de código aberto, em benchmarks de jailbreak multimodal tanto localizados quanto amplos, e em cenários benignos sensíveis a referência, o COMIC melhora consistentemente a robustez preservando utilidade benigna e eficiência prática, segundo os autores, sem um único número-headline no resumo, mas com a contribuição central de mostrar que segurança multimodal não pode ser garantida de forma confiável sem modelar explicitamente a operação pedida, o alvo visual ao qual ela se aplica, e a confiança dessa resolução de referência.
O trabalho articula de forma precisa por que a moderação genérica de 'esse par imagem+texto parece nocivo' é estruturalmente insuficiente para assistentes multimodais que leem capturas de tela, documentos escaneados e diagramas, um caso de uso em rápido crescimento em agentes de navegador, copilotos de processamento de documentos e bots de atendimento que aceitam upload de imagem. Um atacante não precisa embutir conteúdo obviamente nocivo na imagem: pode esconder o alvo nocivo dentro de uma imagem por si só benigna, por exemplo uma pequena região de uma captura de tela, e confiar em uma instrução de aparência inofensiva, como 'clique no elemento destacado' ou 'extraia o texto aqui', para fazer o modelo agir sobre ele, escapando de classificadores que só olham o par como um todo. Um gate consciente de referência, que resolve explicitamente a que parte da imagem uma instrução aponta antes de julgar segurança, é uma primitiva de defesa qualitativamente diferente, e provavelmente necessária, para qualquer produto que deixe um MLLM agir sobre instruções visualmente referenciadas.