Estudo de custo-benefício mostra que agentes ofensivos escalam com mais poder computacional, mas defesa em SOC não
O trabalho avalia agentes de IA de segurança sob uma lente de custo, comparando desempenho ofensivo (desafios Cybench) e defensivo (investigações Splunk BOTS v1) em níveis fixos de orçamento de inferência, em vez de apenas o melhor resultado possível com gasto ilimitado. A conclusão central é que capacidade ofensiva melhora consistentemente com mais computação — permitindo que modelos open-weight bem escalados cheguem perto de sistemas proprietários de ponta — enquanto o desempenho defensivo em SOC depende mais de uso disciplinado de ferramentas e navegação de telemetria do que de força bruta de raciocínio.
Benchmarks de agentes de segurança tradicionalmente reportam apenas a melhor performance possível obtida com orçamento generoso de inferência, o que esconde o custo operacional real de rodar esses agentes no dia a dia. Os autores propõem medir sucesso em níveis fixos de gasto e decompor o resultado entre custo de raciocínio do modelo e custo de chamadas de ferramenta, uma mudança de perspectiva de "o que é possível" para "o que é economicamente viável".
O estudo usa Cybench, um conjunto de desafios ofensivos de CTF representando tarefas de red team, e Splunk BOTS v1, desafios de investigação defensiva de incidentes representando tarefas de blue team em um SOC, comparando vários modelos — tanto proprietários de fronteira quanto modelos open-weight — em pontos de custo equivalentes, e não apenas no melhor score absoluto de cada um.
A descoberta central tem relevância operacional direta: capacidade ofensiva escala com mais computação, mas capacidade defensiva não escala da mesma forma. Isso significa que investir mais "poder de raciocínio" — mais tokens, mais tentativas — em um agente de red team tende a compensar, enquanto times azuis não conseguem comprar desempenho equivalente simplesmente aumentando o orçamento de inferência. O gargalo real de um agente de SOC está na disciplina de navegar telemetria e escolher o que investigar e enriquecer, uma habilidade que não emerge automaticamente ao simplesmente treinar ou rodar modelos maiores.
Os autores defendem que benchmarks de agentes de segurança deveriam reportar eficiência econômica e adequação operacional lado a lado com taxa de sucesso bruta. Uma métrica que só mede sucesso pode elogiar um agente ofensivo caríssimo e inviável de operar em escala, ou subestimar um agente defensivo mais barato que resolve menos casos, mas com uma fração do custo — distorcendo decisões reais de quais modelos adotar em operações de segurança.