Estudo expoe falhas sistematicas de agentes LLM na triagem de alertas de SOC e propoe arquitetura adversarial
Um novo benchmark que reproduz um SIEM real mostrou que cinco estrategias representativas de agentes LLM para triagem de alertas de seguranca erram pelo menos 40% dos alertas ligados a um ataque real de multiplas etapas. Os autores propoem o AIDA, um framework multiagente com desafio adversarial obrigatorio antes de descartar um alerta, que reduziu essa taxa de falsos negativos para 3,1%.
Centros de operacoes de seguranca (SOCs) recebem um volume de alertas que nenhuma equipe humana consegue investigar integralmente, e a promessa de agentes LLM capazes de buscar evidencias e decidir sozinhos o que escalar e o que descartar e um dos usos mais visados de IA em seguranca defensiva hoje. O estudo questiona essa promessa diretamente: construiu o ALERT-BENCH, um benchmark interativo que reproduz telemetria corporativa real atraves de um SIEM ao vivo, e testou cinco abordagens de raciocinio amplamente usadas, uso de ferramentas em passagem unica, recuperacao iterativa de evidencias, investigacoes por amostragem, autorrevisao e verificacao explicita, contra 1.247 alertas extraidos de um cenario de ataque corporativo de multiplos estagios.
O resultado foi uniformemente ruim: todas as cinco abordagens deixaram passar pelo menos 40,4% dos alertas realmente ligados ao ataque. A analise dos rastros de raciocinio dos agentes revela os motivos tecnicos: alertas de ataque tem mais chance de ser descartados quando uma busca inicial nao retorna registros (o agente interpreta ausencia de evidencia como evidencia de ausencia), revisoes feitas no mesmo contexto da decisao original tendem a reforcar o erro em vez de corrigi-lo, e a decisao de descartar um alerta nao recebe, na pratica, um nivel de investigacao mais rigoroso do que a decisao de escalar, mesmo sendo a decisao de maior risco.
Para corrigir isso, os autores propoem o AIDA (Adversarial Investigation and Dialectical Analysis), que forca uma decisao proposta explicita a ser desafiada por um segundo agente independente antes de ser aceita, com exigencia de evidencia mais forte especificamente para descartar um alerta. A arquitetura mantem um "Investigation Ledger" apensado (append-only) com todo o historico da investigacao e isola o raciocinio do desafiante em um contexto separado do agente original, evitando que o vies de confirmacao contamine a revisao; um juiz final arbitra entre a decisao proposta e o desafio com base nas evidencias coletadas.
Os numeros confirmam o ganho: o F1 score sobe de uma faixa de 0,371 a 0,744 nas cinco abordagens convencionais para 0,958 com o AIDA, e a taxa de falsos negativos cai de 40,4% para 3,1%, as custa de escalar 18,4% dos alertas para analistas humanos em vez de decidir sozinho. O trabalho e relevante porque desloca o debate sobre IA em SOC de "quao bom e o modelo" para "como a arquitetura de decisao do agente evita que ele racionalize o descarte de um ataque real", um problema estrutural que afeta qualquer deployment de triagem autonoma hoje.