Novo vetor de ataque mira redes de aprendizado contínuo: os "bloqueadores de aprendizado"
Pesquisadores descrevem uma classe inédita de ataque contra sistemas de aprendizado contínuo (continual learning), em que dados manipulados não apenas apagam conhecimento prévio do modelo — como já fazia o esquecimento catastrófico induzido — mas também bloqueiam sua capacidade de aprender iterações futuras. O estudo formaliza seis estratégias de ataque e testa contra três algoritmos de defesa (DER, ER-ACE, iCaRL) em mais de 4.480 simulações, encontrando vulnerabilidade consistente em todos eles.
Sistemas de aprendizado contínuo são usados quando um modelo precisa incorporar dados novos ao longo do tempo sem re-treinar do zero e sem esquecer o que já sabia — cenário comum em dispositivos de borda, sistemas de recomendação e pipelines que processam fluxos de dados. A literatura de segurança para esses sistemas até agora focava quase exclusivamente em reativar o esquecimento catastrófico (fazer o modelo perder conhecimento antigo). O paper mostra que existe uma segunda superfície de ataque, simétrica e até então pouco explorada: impedir que o modelo aprenda o que viria a seguir.
Tecnicamente, os autores definem seis variantes cruzando dois eixos. No eixo "Atração", o atacante minimiza a distância, no espaço de representação, entre exemplos envenenados e os exemplos legítimos de uma iteração-alvo, forçando o modelo a tratar dados que deveriam ser distintos como se fossem semelhantes — o que embaralha a fronteira de decisão que a próxima iteração precisaria aprender. No eixo "Repulsão", o ataque faz o oposto: maximiza essa distância, empurrando representações para longe umas das outras, o que aciona os próprios mecanismos de estabilidade do algoritmo de aprendizado contínuo (concebidos para resistir a mudanças bruscas) e os transforma em barreira contra o aprendizado legítimo. Cada eixo ainda se divide em "coincidente" (o envenenamento atinge a mesma iteração que será prejudicada) e "precedente" (o envenenamento ocorre numa iteração anterior, corrompendo representações que tornam a iteração seguinte, ainda não vista pelo modelo, difícil de aprender).
O ponto mais delicado do threat model é justamente a variante "precedente": o atacante consegue prejudicar dados que o modelo ainda nem processou, o que dificulta detecção durante o treinamento da iteração corrente, já que os efeitos só aparecem depois. Nos experimentos com MNIST e Split-CIFAR10 contra três estratégias de defesa consideradas robustas na literatura (DER, ER-ACE, iCaRL), os autores relatam degradação consistente tanto na aquisição de conhecimento novo quanto na retenção do antigo quando os dois efeitos são combinados — o que chamam de "aprendizado catastrófico".
Na prática, isso importa porque pipelines de aprendizado contínuo frequentemente ingerem dados de fontes só parcialmente controladas (telemetria de usuários, feeds públicos, dados crowdsourced), exatamente o cenário em que um adversário poderia inserir exemplos envenenados sem acesso direto ao modelo. O resultado é mais um lembrete de que mecanismos de defesa contra um tipo de ataque (esquecimento) podem, eles mesmos, virar vetor de exploração para um ataque complementar (bloqueio de plasticidade), algo que times que operam ML em produção com atualização incremental deveriam considerar ao avaliar a proveniência dos dados de treino.