TAKE: Estimativa de Conhecimento Ciente de Trajetória para Destilação de Conjuntos de Dados de Texto

arXiv:2607.11898v1 Tipo de anúncio: novo Resumo: Corpora de texto em larga escala tornaram-se um gargalo silencioso no PLN moderno, não apenas em termos de armazenamento, mas no custo acumulado de treinamento, ajuste fino e aprendizado contínuo. Propomos um arcabouço de destilação de conjuntos de dados de texto que reduz os corpora a apenas 0,1% de seu tamanho original, preservando ao mesmo tempo a fidelidade nas tarefas subsequentes. Abordamos a destilação sob a ótica das funções de influência, que quantificam a contribuição de cada amostra para a tarefa subsequente...