Estudo formaliza um 'trilema' de segurança para LLMs: capacidade útil, segurança confiável e acesso aberto não coexistem
O artigo demonstra matematicamente que, quando um LLM decide se responde a um pedido de uso dual (útil tanto para um profissional legítimo quanto para um atacante) baseado apenas em evidência "copiável" — como o histórico da conversa ou afirmações do próprio usuário —, existe um piso inevitável de ajuda que qualquer atacante disposto a imitar um contexto legítimo sempre vai conseguir extrair. Os autores batizam isso de trilema: capacidade útil, segurança confiável e acesso aberto não podem coexistir plenamente ao mesmo tempo. Como mitigação parcial, propõem complementar as salvaguardas atuais com credenciais de difícil falsificação, que atestem de forma verificável o uso legítimo por trás do pedido.
O ponto de partida do artigo é uma limitação estrutural das salvaguardas de LLMs hoje: elas decidem se respondem a um pedido antes de saber como a resposta será realmente usada, e a única evidência disponível para essa decisão — o texto do próprio pedido e o histórico da conversa — pode ser copiada ou forjada por qualquer atacante disposto a imitar o comportamento de um usuário legítimo.
Formalmente, os autores separam a "capacidade" que o modelo libera (a informação em si) da "evidência" disponível sobre o uso posterior dela. Quando essa evidência é copiável, eles derivam um piso matemático de pior caso: não importa quão bem calibrada seja a salvaguarda, sempre existirá uma quantidade mínima de ajuda que um atacante consegue extrair imitando um contexto benigno, sem sacrificar a utilidade das respostas para usuários legítimos. Esse resultado é o que dá nome ao "trilema da segurança": capacidade útil, segurança confiável e acesso aberto (sem barreiras de identidade) não podem coexistir plenamente ao mesmo tempo.
A relevância prática está em explicar, com rigor formal, por que abordagens populares de mitigação — reforçar o system prompt, adicionar mais exemplos de recusa via RLHF, checar o histórico da conversa em busca de "bandeiras vermelhas" — têm um teto estrutural para tarefas genuinamente de uso dual (por exemplo, informação de biossegurança ou química que serve tanto a um pesquisador quanto a um agente malicioso): elas não conseguem diferenciar quem está do outro lado só olhando texto que pode ser imitado.
A saída que os autores propõem é agregar ao filtro baseado em prompt uma camada de credencial confiável — informação difícil de copiar que ateste de forma verificável o uso legítimo (por exemplo, vínculo institucional ou programa de acesso credenciado) —, citando programas de acesso restrito já existentes como evidência de que essa abordagem tem precedente prático. Para times que decidem se e como liberar capacidades de uso dual em produtos de IA, o argumento central é que "melhorar a IA" para prevenir mau uso é matematicamente limitado, e a solução real passa por controle de identidade/acesso fora do próprio modelo.