Transformando LLMs em Cross-Encoders eficientes por meio de destilação de conhecimento para reranking em RAG

arXiv:2607.11933v1 Tipo de anúncio: novo Resumo: Os cross-encoders alcançam alta precisão de reranking em pipelines de Geração Aumentada por Recuperação (RAG), mas impõem custos de inferência quadráticos que limitam a implantação em tempo real. Abordamos isso ajustando o LLaMA 3 (8B) como um reranker plug-and-play usando um pipeline de duas etapas: ajuste fino supervisionado em um conjunto de dados personalizado de relevância entre consulta e documento por meio do framework Unsloth com adaptadores LoRA, seguido de quantização de 4 bits para inferência eficiente. O modelo resultante r...