#aprendizado-continuo

panoramaOS-2026-563 · 2026-10-02

Survey propoe framework para rastrear como agentes de IA que se autoatualizam acumulam riscos de seguranca

O artigo revisa a literatura sobre seguranca de agentes autoevolutivos -- sistemas baseados em LLM que atualizam continuamente parametros, memorias, ferramentas e workflows a partir da propria experiencia -- e propoe o framework SAVER para mapear como esse estado reutilizavel pode se tornar inseguro mesmo sem nenhuma entrada maliciosa isolada. A conclusao central e que boa parte da pesquisa atual cobre bem a entrada e a contencao local de informacao nociva, mas quase nada sobre verificar se uma correcao de seguranca realmente se propaga e se mantem depois que o agente continua evoluindo.

#artigo-cientifico #agentes-de-ia #aprendizado-continuo #gestao-de-memoria #seguranca-de-ia

Fonte ↗

panoramaOS-2026-271 · 2026-08-21

COPA trata defesa contra prompt injection como um problema de aprendizado contínuo

Pesquisadores propuseram o COPA, um framework que atualiza continuamente as defesas de um LLM contra prompt injection à medida que novos ataques surgem, em vez de depender de um alinhamento estático feito uma única vez. Usando otimização por preferência baseada em GRPO e replay de experiência ponderado por margem para não esquecer defesas antigas, o método reduziu a taxa de sucesso de ataques em até 6,3 vezes frente a defesas de última geração, em fluxos de ataques que evoluem ao longo do tempo.

#prompt-injection #llm #aprendizado-continuo #reinforcement-learning #artigo-cientifico

Fonte ↗