Attnlocate localiza instruções maliciosas escondidas em dados externos observando os padrões de atenção do modelo

Agentes LLM que incorporam dados externos — páginas web, saídas de ferramentas, documentos recuperados — são vulneráveis a injeção de prompt indireta, em que esse conteúdo não confiável é dinamicamente interpretado como instrução durante a inferência e sequestra a próxima ação do agente. Defesas existentes majoritariamente filtram texto de entrada/saída de forma estática e não capturam injeções que só se tornam "parecidas com instrução" através do próprio processo de raciocínio do modelo.

O Attnlocate trata a identificação de quais trechos de contexto de fato conduziram uma decisão de chamada de ferramenta como um problema de detecção de objetos sobre a matriz de atenção: agrega atenção entre múltiplas cabeças e camadas em um mapa de características em nível de token, roda uma U-Net 1D com cabeçalho de detecção livre de âncoras para desenhar um span delimitando o texto que efetivamente guiou o comportamento, e por fim verifica a autoridade da fonte daquele span (usuário, ferramenta ou documento de terceiro) para decidir se a invocação deve ser permitida.

Os números reportados (IoU médio de 0,743, AUROC médio de 0,956, taxa de verdadeiro positivo de 0,934 com taxa de falso positivo de 0,067, testados em dez configurações de agente e cinco famílias de modelo) sugerem boa generalização e transferência para modelos não vistos sem retreinamento. Diferente de filtros estáticos de texto, o método mira o mecanismo causal real — influência guiada por atenção — em vez de apenas casar padrões ou palavras-chave superficiais que atacantes conseguem ofuscar.

O framework foi testado tanto contra injeção de prompt indireta quanto contra cenários de envenenamento de ferramentas (tool poisoning), servindo como complemento útil a abordagens de sanitização de entrada, já que opera sobre o estado interno do modelo em vez de tentar adivinhar maliciosidade só a partir do texto bruto.