COPEX revela taxa media de sucesso de 64,4% em ataques adversariais contra LLMs via Model Context Protocol
O benchmark COPEX isola a susceptibilidade do proprio modelo de linguagem a influencia adversarial dentro de sistemas MCP, fixando o restante da pilha de agente e variando apenas o modelo que seleciona ferramentas, testando 25 tipos de ataque em 125 cenarios distribuidos por quatro superficies de entrada (modelo/agente, cliente, servidor/ferramenta e transporte). Em 3.375 execucoes com nove modelos, a taxa media de sucesso de ataque foi de 64,4%, e defesas combinadas de escaneamento de entrada e contexto reduziram esse sucesso em cerca de 49,6%.
O Model Context Protocol (MCP) se tornou um padrao comum para LLMs usarem ferramentas externas, mas essa integracao cria multiplos pontos pelos quais influencia adversarial pode entrar no sistema: instrucoes do usuario, esquemas de definicao de ferramentas, saidas retornadas pelas ferramentas, ou mensagens no nivel do protocolo de transporte. O problema que os autores do COPEX identificam em benchmarks anteriores e que a maioria avalia agentes totalmente implantados, misturando a susceptibilidade real do modelo de linguagem com o efeito de guardrails, orquestracao e capacidade geral de execucao de tarefas -- tornando impossivel saber se um ataque falhou porque o modelo 'resistiu' ou porque alguma camada externa de proteção o bloqueou antes de chegar ao modelo.
O COPEX resolve isso isolando o modelo como cliente MCP: toda a pilha de agente ao redor e mantida fixa, e apenas o modelo que seleciona ferramentas e variado entre testes, permitindo atribuir resultados especificamente a susceptibilidade do modelo, nao da arquitetura do agente. O benchmark cobre 25 tipos de ataque distintos, instanciados em 125 cenarios concretos, organizados em quatro superficies de entrada diferentes: nivel de modelo/agente, nivel de cliente MCP, nivel de servidor/ferramenta, e nivel de transporte do protocolo -- cobrindo essencialmente todos os pontos onde uma mensagem MCP passa de uma parte nao confiavel para o LLM.
Os resultados agregados sobre nove modelos e 3.375 execucoes mostram uma taxa media de sucesso de ataque de 64,4%, com variacao entre 58,3% e 71,4% dependendo da superficie de entrada especifica -- ou seja, mesmo a superficie 'mais dificil' de explorar ainda tem uma taxa de sucesso superior a metade das tentativas. Um achado tecnico particularmente importante e que alguns ataques no nivel de cliente e de transporte tiveram sucesso parcialmente fora da capacidade de observacao ou controle do proprio modelo -- evidenciando que parte da exposicao do sistema vem de camadas de infraestrutura MCP, nao do raciocinio do LLM em si, o que separa claramente 'exposicao do sistema' de 'susceptibilidade do modelo' como duas fontes de risco distintas que precisam de mitigacoes diferentes.
Na pratica, o dado mais utilizavel por equipes de seguranca e que defesas combinadas de escaneamento de entrada e de contexto, aplicadas a um subconjunto de oito tipos de ataque, reduziram a taxa media de sucesso em aproximadamente 49,6% frente ao cenario sem defesa -- uma mitigacao substancial, mas que ainda deixa mais da metade do risco original presente mesmo com defesas ativas. Para quem opera agentes LLM integrados via MCP a ferramentas de terceiros, o COPEX reforca que confiar apenas na robustez intrinseca do modelo e insuficiente: e necessario tratar cada superficie do protocolo MCP (instrucoes, esquemas, saidas de ferramenta, transporte) como uma fronteira de confianca separada que exige validacao propria, independentemente de qual modelo de linguagem esteja por tras do agente.