Benchmark mostra que políticas de segurança corporativas custam caro ao desempenho de agentes de codificação
Pesquisadores avaliaram 12 agentes de codificação no Terminal-Bench 2.1 sob camadas crescentes de restrições típicas de ambientes corporativos — credenciais limitadas, egresso de rede restrito, sistemas de arquivos somente leitura e execução sem privilégios de root. Sob a política mais rígida, a perda de taxa de sucesso chegou a 18,3 pontos percentuais e o custo de execução inflou até 167,3%, com o modelo que melhor preserva o sucesso sendo justamente o que mais perde em eficiência.
A motivação do trabalho é uma lacuna prática: benchmarks de agentes de codificação quase sempre rodam em sandboxes permissivos, mas na vida real esses agentes operam dentro de organizações com controles de segurança — credenciais com escopo restrito, egresso de rede bloqueado por padrão, sistemas de arquivo somente leitura e execução sem privilégios administrativos. Não havia, até então, uma forma sistemática de medir quanto esse tipo de "hardening" degrada o desempenho de um agente real.
Os autores construíram níveis aninhados de política de segurança, derivados de restrições comuns em ambientes corporativos, e reavaliaram 12 agentes de codificação sobre o Terminal-Bench 2.1 sob cada nível. O resultado principal é que o custo do hardening não é uniforme: sob a política mais restritiva, a perda de sucesso alcança 18,3 pontos percentuais e o custo de execução (tempo/recursos) infla em até 167,3% — e, de forma contraintuitiva, essas duas métricas não andam juntas: o agente que melhor preserva a taxa de sucesso sob restrição é justamente o que mais perde em eficiência, o que implica que a escolha de qual modelo usar depende da política de segurança do ambiente, não apenas do desempenho bruto do modelo.
Além dos números agregados, os pesquisadores caracterizaram como os agentes reagem quando uma política bloqueia uma ação: em vez de perceber o bloqueio e ajustar a estratégia ou parar cedo, os agentes frequentemente insistem, entrando em ciclos que terminam em timeout ou em soluções incorretas — e essa mistura de comportamentos de falha varia bastante conforme o modelo. Os autores também verificaram, sob a política mais estrita, quais tarefas continuavam de fato solucionáveis, separando falhas genuínas do agente de tarefas que a própria política torna impossíveis de completar.
O benchmark resultante, batizado Boundary-Bench, foi liberado como plugin de código aberto compatível com o Terminal-Bench e benchmarks similares. Para quem avalia ou implanta agentes de codificação em ambientes corporativos, o trabalho é um lembrete direto de que segurança e desempenho de agentes não podem ser avaliados de forma independente: escolher um modelo com base apenas em benchmarks de sandbox permissivo pode gerar surpresas de custo e confiabilidade assim que o agente entra em produção sob controles reais.