BASIS usa sinais de atenção para reduzir recusas desnecessárias em defesas de prompt injection
O BASIS ataca um problema pouco discutido em defesas contra prompt injection: modelos bem instruídos conseguem resistir à maioria das injeções sozinhos, mas defesas tradicionais recusam qualquer entrada onde uma injeção é detectada, mesmo quando o modelo teria lidado com ela corretamente. Usando um sinal chamado Attention Competition Ratio para treinar dois probes lineares esparsos, o método mantém detecção quase perfeita de injeção reduzindo substancialmente essas recusas desnecessárias, sem exigir inferência adicional do LLM.
A maioria das defesas de prompt injection hoje segue uma lógica binária: detectar a presença de uma injeção no input e, se detectada, recusar a resposta. O BASIS parte da observação de que essa lógica ignora um fato empírico importante — para muitos modelos bem alinhados, instruções bem elaboradas resistem à maior parte das tentativas de injeção por conta própria, então a robustez a uma injeção varia muito conforme a instrução e o modelo específico. O resultado prático dessa lógica binária é over-refusal generalizado: entradas que contêm uma injeção, mas que o modelo teria processado corretamente de qualquer forma, acabam sendo recusadas sem necessidade.
A solução técnica usa o Attention Competition Ratio (ρ) como feature para treinar dois probes lineares esparsos — um de existência de injeção e outro de violação ("breach") — que operam via um gating em cascata, sem exigir uma chamada adicional ao LLM para decidir. O pipeline tem três estágios: detecção de existência de injeção, previsão por amostra de risco de violação, e avaliação da robustez da instrução em questão; a cascata só recusa quando o modelo de fato seria comprometido, e não simplesmente porque uma injeção foi detectada em algum lugar da entrada.
Testado em quatro tarefas e seis LLMs de código aberto, o BASIS manteve detecção de injeção quase perfeita enquanto reduziu substancialmente as recusas sobre amostras de ataque que, na prática, eram seguras — um ganho especialmente visível sob templates de instrução mais robustos, onde a defesa tradicional recusaria de forma desnecessária com mais frequência.
Para times que operam produtos com LLM voltados a usuário final, o trabalho endereça uma queixa recorrente sobre guardrails de prompt injection: falsos positivos que quebram a experiência em casos legítimos. Uma defesa que decide com base em "o modelo seria realmente comprometido" em vez de "uma injeção foi encontrada" tende a ser mais aceitável em produção, desde que a promessa de detecção quase perfeita se sustente fora do conjunto de teste do artigo.