Detecção de intrusão baseada em LLM perde garantias estatísticas sob perturbação adversarial, mesmo com predição conforme
Pesquisadores mostram que a predição conforme, usada para dar garantias de cobertura estatística a LLMs de detecção de intrusão de rede, falha quando um atacante manipula features de tráfego controláveis. A calibração ciente do tráfego adversarial restaura a garantia contra atacantes que usam um mecanismo de perturbação conhecido, mas um atacante adaptativo que consulta o próprio modelo-alvo ainda consegue degradar essa proteção.
O trabalho parte de um problema prático: sistemas de detecção de intrusão (IDS) baseados em LLM ajustados finamente costumam emitir apenas um rótulo de predição, sem quantificar a confiança estatística dessa decisão. A predição conforme (conformal prediction) é uma técnica que promete cobrir o rótulo verdadeiro dentro de um conjunto de predição com uma probabilidade mínima garantida, mas essa garantia depende de que os dados de calibração sejam representativos do tráfego real em produção — uma suposição que se quebra assim que um atacante começa a manipular deliberadamente as features de rede que controla.
Os autores demonstram esse colapso em três benchmarks de detecção de intrusão: um limiar de conformidade calibrado em tráfego limpo perde a cobertura prometida assim que o tráfego é perturbado adversarialmente. A primeira contribuição é uma calibração “ciente do tráfego” (traffic-aware), que recalibra o limiar usando amostras geradas pelo próprio mecanismo de perturbação esperado do atacante — o que restaura a garantia formal, mas apenas se o defensor souber (ou conseguir amostrar) qual mecanismo de ataque será usado.
O ponto mais interessante do artigo é a segunda camada de ameaça: um atacante adaptativo que consegue consultar o escore do próprio modelo-alvo consegue otimizar sua perturbação para quebrar mesmo a calibração ciente do tráfego, algo equivalente a um ataque de caixa branca/gray-box contra o próprio pipeline de conformidade. A resposta dos autores é arquitetural, não estatística: excluir da representação pontuada as features que o atacante controla diretamente e todos os seus descendentes determinísticos (por exemplo, campos derivados matematicamente de portas ou tamanhos de pacote manipuláveis). Isso troca uma garantia probabilística por uma garantia exata “pathwise”, que se mantém inalterada sob qualquer ataque testado.
Na prática, essa robustez tem um custo real e não trivial: entre sete e catorze pontos percentuais de acurácia em tráfego limpo, o preço de descartar informação potencialmente útil só porque ela é manipulável. Isso é relevante para quem está avaliando LLMs como camada de decisão em NIDS de produção: garantias formais de cobertura estatística não substituem uma análise de superfície de ataque sobre quais features realmente entram no modelo, e o trade-off entre robustez adversarial e acurácia limpa precisa ser explicitado antes de qualquer deployment em ambiente hostil.