Pesquisa revela que modelos de linguagem em loop tem seguranca inconsistente entre profundidades de recorrencia
Looped Language Models reutilizam os mesmos parametros em multiplas etapas recorrentes para economizar custo, mas cada profundidade de recorrencia pode ser lida de forma independente, criando uma superficie de saida muito mais ampla do que um LLM convencional. Os autores mostram que a taxa de sucesso de jailbreaks varia, e as vezes aumenta, conforme a profundidade escolhida, que ataques feitos contra uma profundidade transferem para outras, e propoem o SafeBridge para alinhar a seguranca atraves de todas as profundidades simultaneamente.
Looped Language Models (LoopLMs) sao uma arquitetura que busca eficiencia de parametros reaproveitando o mesmo bloco de camadas em multiplas passadas recorrentes durante a inferencia, em vez de empilhar camadas distintas. A particularidade relevante para seguranca e que, ao contrario de um LLM tradicional que so expoe uma saida final, cada profundidade recorrente de um LoopLM pode ser lida de forma independente, o que multiplica efetivamente o numero de "saidas" possiveis que um unico modelo pode produzir para a mesma entrada.
Os autores investigam se o alinhamento de seguranca se mantem uniforme atraves dessas profundidades e encontram que nao: o sucesso de ataques de jailbreak pode aumentar conforme a profundidade de inferencia escolhida aumenta, a mesma consulta pode provocar comportamentos de seguranca completamente diferentes dependendo da profundidade lida, e ataques otimizados contra uma profundidade especifica transferem, com algum grau de sucesso, para outras profundidades do mesmo modelo. Isso significa que avaliar a seguranca de um LoopLM testando apenas a profundidade padrao de saida pode mascarar vulnerabilidades presentes em outras profundidades igualmente acessiveis a um atacante que controle o parametro de inferencia.
O achado mais preocupante e que tecnicas de alinhamento convencionais, fine-tuning supervisionado e otimizacao de preferencia, nao eliminam essa inconsistencia entre profundidades quando aplicadas da forma usual, pois tipicamente otimizam para uma unica profundidade de leitura. Para resolver isso, os autores propoem o SafeBridge, que combina controle leve e especifico por profundidade sobre as camadas recorrentes compartilhadas, uma ponte seletiva de estado entre profundidades e supervisao de seguranca conjunta aplicada simultaneamente atraves de todas as profundidades de recorrencia durante o treinamento.
O resultado pratico e relevante para qualquer fornecedor que adote arquiteturas LoopLM visando eficiencia computacional: o parametro de profundidade de inferencia, normalmente tratado como uma escolha de desempenho/custo, se revela tambem um parametro de seguranca que precisa ser testado e alinhado explicitamente, nao herdado automaticamente do alinhamento feito em uma unica profundidade de referencia.