Estudo mostra que detectores de phishing baseados em IA perdem mais de 34 pontos de acurácia sob ataque adversarial
Pesquisadores compararam um classificador clássico (TF-IDF com regressão logística) e um DistilBERT ajustado, ambos treinados em um corpus unificado de mais de 82 mil e-mails de phishing vindos de seis bases públicas. Os dois modelos superam 98% de acurácia em dados limpos, mas despencam para cerca de 64% quando expostos a phishing deliberadamente alterado para evadir detecção, uma queda de mais de 34 pontos percentuais em ambos, apesar das arquiteturas serem completamente diferentes.
O estudo avaliou os dois modelos em três condições: dados normais dentro da distribuição de treino, phishing sintético e phishing adversarial construído para escapar da detecção. Em dados limpos ambos passam de 98% de acurácia, o número que normalmente aparece em anúncios de produtos antiphishing. Sob ataque adversarial, porém, o TF-IDF com regressão logística cai para 64,00% e o DistilBERT cai para 63,64%, uma diferença de apenas 0,36 ponto percentual entre os dois, o equivalente a um único e-mail na amostra de teste adversarial de 275 itens.
Usando LIME, SHAP e análise de attention-rollout, os autores mostram que os dois modelos se apoiam em evidências textuais bem diferentes para tomar a decisão, mas ainda assim compartilham quase o mesmo grau de fragilidade sob ataque. Os erros dos dois modelos coincidem em 54,9% das amostras adversariais, e cada um comete um número parecido de erros exclusivos (24 e 25 respectivamente), o que sugere modos de falha parcialmente diferentes, mas não uma robustez estruturalmente maior de um sobre o outro.
A conclusão prática é direta e incômoda para quem compra ou avalia soluções antiphishing: acurácia em dados limpos não prediz robustez adversarial, mesmo comparando uma abordagem clássica simples com um transformer moderno fine-tuned. Isso significa que benchmarks estáticos, que é como a maioria dos produtos de detecção de phishing ainda é avaliada e vendida hoje, escondem uma fragilidade que um atacante minimamente motivado consegue explorar apenas ajustando o texto do e-mail. Os autores defendem que testes adversariais precisam virar parte padrão da avaliação de qualquer detector de phishing baseado em aprendizado de máquina antes da entrada em produção.