Levantamento de incidentes reais reacende debate sobre o Top 10 OWASP para LLMs

O Top 10 OWASP para Aplicações LLM é hoje a referência mais citada para priorizar riscos de segurança em sistemas baseados em modelos de linguagem, mas sua metodologia sempre dependeu majoritariamente do julgamento coletivo de um grupo de praticantes de segurança. Neste trabalho, dois membros do grupo de trabalho da OWASP tentaram responder a uma pergunta simples: quando comparado a incidentes reais, esse consenso de especialistas se sustenta? Para isso, eles reuniram um corpus de 7.714 incidentes de segurança envolvendo LLMs, rotulando 6.639 deles segundo a taxonomia de 20 categorias do próprio grupo, usando como fontes bases públicas de vulnerabilidades (CVE, GHSA, OSV) e o repositório AIAAIC de incidentes de IA.

Tecnicamente, os autores não se limitaram a contar ocorrências por categoria — eles usaram um modelo bayesiano de erro de medição para corrigir a contagem bruta de cada categoria pela precisão e recall estimados do classificador que rotulou os incidentes, produzindo um ranking "baseado em dados" mais robusto a ruído de classificação. Esse ranking foi então combinado ao ranking de especialistas usando pesos fixos (0,75 para o voto de especialistas, 0,25 para os dados) para compor a lista candidata de 2026. O resultado da comparação surpreende: a concordância entre os dois rankings é fraca (Cohen's kappa em torno de 0,20, com intervalo de 90% que cruza zero), ou seja, estatisticamente não dá para dizer que os dois rankings medem a mesma coisa.

Apesar disso, os autores argumentam que o ranking de especialistas continua sendo o mais confiável na prática. Um teste comparativo pré-registrado com quatro classificadores de última geração para mapear incidentes às categorias de risco não encontrou nenhum vencedor: nenhum superou a acurácia balanceada de 0,863 obtida apenas pelo "piso" de incidência (a proporção bruta de ocorrências), e a ordenação desse piso manteve alta correlação (Spearman de 0,918) contra um conjunto de verdade fundamental. Isso sugere que, hoje, nem os melhores modelos de linguagem conseguem classificar automaticamente incidentes de segurança de IA com confiabilidade suficiente para substituir o julgamento humano.

Na prática, o estudo importa para qualquer equipe que usa o Top 10 OWASP como checklist de priorização: a fraca correlação com dados reais de incidentes indica que a lista pode estar sub ou super-ponderando certas categorias de risco. Também serve de alerta para quem tenta automatizar a triagem de incidentes de segurança de IA com classificadores baseados em LLM — pelo menos por enquanto, essa automação ainda perde para uma contagem estatística simples. Os autores fazem questão de frisar que a análise é exploratória e não substitui o processo oficial da OWASP.