Do fraco para o forte: reaproveitar o ganho de um treino caro sem repeti-lo

Há um gargalo silencioso na fábrica dos modelos de raciocínio. Depois do pré-treino, os modelos passam por uma fase de aprendizado por reforço com recompensa verificável — o RLVR, sigla para reinforcement learning with verifiable rewards: o modelo tenta resolver problemas de matemática ou código, e só é recompensado quando a resposta bate com o gabarito. É essa etapa que transforma um modelo que "sabe" em um modelo que "acerta". O problema é que ela é lenta, instável e cara — e precisa ser refeita, do zero, cada vez que se troca o tamanho do modelo.

Um trabalho intitulado Weak-to-Strong Generalization via Direct On-Policy Distillation (arXiv 2607.05394), o paper mais votado do dia no Hugging Face com 92 upvotes, pergunta se é possível pagar essa conta uma vez só. A ideia: rodar o reforço apenas no modelo pequeno — barato — e depois transferir para o modelo grande não o resultado, mas a transformação que o reforço produziu. Fraco para forte, daí o nome.

Por que copiar o modelo pequeno não funciona

A saída óbvia seria destilar: pegar o modelo pequeno já treinado por reforço e usá-lo como professor do grande. Só que destilação direta copia tudo — inclusive o teto. O modelo pequeno é, por construção, mais fraco; imitá-lo faz o aluno herdar tanto o ganho do reforço quanto as limitações do professor. É como aprender a cozinhar decorando os pratos de um cozinheiro mediano: você absorve os truques dele, mas também os erros, e nunca ultrapassa a cozinha de onde copiou.

O truque do trabalho é separar o truque do cozinheiro do cozinheiro em si. O reforço, afinal, não cria um modelo novo — ele desloca um modelo existente, tornando certas respostas mais prováveis e outras menos. Esse deslocamento é a parte valiosa. A intuição do paper é que dá para isolá-lo.

O empurrão, não o destino

O método, batizado de Direct On-Policy Distillation (Direct-OPD), compara dois retratos do modelo pequeno: o antes e o depois do reforço. A razão entre as probabilidades que os dois atribuem a cada resposta — o log-ratio — funciona como uma recompensa implícita. Onde o modelo pós-reforço passou a favorecer uma jogada, há sinal positivo; onde passou a evitá-la, sinal negativo. Esse mapa de preferências é o "empurrão" que o reforço deu, destilado numa forma portátil.

A parte engenhosa é o "on-policy": em vez de aplicar esse sinal sobre exemplos prontos, ele é aplicado sobre as próprias tentativas do modelo grande, enquanto ele raciocina. O aluno gera suas respostas; o mapa herdado do professor diz, para cada passo, se o reforço teria aprovado ou reprovado aquela direção. O modelo grande aprende a favorecer o que o reforço ensinou a favorecer — mas partindo da sua capacidade superior, não da do professor.

Por que isso importa para quem paga a conta de GPU

A economia é o ponto. Reforço com recompensa verificável é caro justamente porque a recompensa é esparsa: o modelo tenta muitas vezes e acerta poucas, e cada tentativa consome computação. Fazer isso num modelo de fronteira, com dezenas ou centenas de bilhões de parâmetros, multiplica o custo. Se o mesmo ganho pode ser extraído de um modelo pequeno e depois "colado" no grande, a etapa mais cara do pipeline roda uma vez, na escala barata.

Há ainda a componibilidade, que é conceitualmente a parte mais interessante. Se cada treino de reforço vira um deslocamento portátil, eles podem ser somados — um empurrão para matemática, outro para código, outro para seguir instruções — sem retreinar o modelo grande a cada vez. O reforço deixaria de ser um evento monolítico e viraria um catálogo de módulos reutilizáveis.

O ceticismo de sempre

Vale a cautela. Os números vêm de um regime específico — modelos da família Qwen, na casa de 1 a 2 bilhões de parâmetros, e benchmarks de matemática. "Fraco para forte" é uma promessa sedutora, e a história do aprendizado de máquina está cheia de métodos que brilham na escala do experimento e desbotam na escala de produção. A pergunta decisiva é se o empurrão de um modelo pequeno continua útil quando o aluno é ordens de magnitude maior — ou se, a partir de certo ponto, o professor fraco tem pouco a ensinar ao aluno forte.

Também é um preprint: não passou por revisão por pares, e "supera reforço direto com passos equivalentes" precisa ser lido com o cuidado que se dá a toda comparação de eficiência, sensível a detalhes de calibragem. Mas a tese é limpa e testável, e ataca um custo real. Se o efeito se sustentar na escala grande, muda a aritmética de quem treina modelos de raciocínio.

O que fica

O que este trabalho propõe, no fundo, é tratar o aprendizado por reforço não como um estado final do modelo, mas como uma diferença — um vetor que aponta de onde o modelo estava para onde o reforço o levou. E diferenças, ao contrário de destinos, podem ser transportadas, somadas e reaplicadas. É uma mudança de contabilidade sutil, mas com consequências: o ganho mais caro de treinar deixa de ser algo que se possui e passa a ser algo que se transfere.

Perguntas Frequentes

O que é aprendizado por reforço com recompensa verificável (RLVR)?

É a fase de treino em que o modelo tenta resolver problemas com resposta objetivamente checável — matemática, código — e só recebe recompensa quando acerta. É o que afina modelos de raciocínio, mas é caro porque o acerto é raro no começo: muitas tentativas consomem computação até o modelo aprender.

Por que não basta destilar o modelo pequeno já treinado?

Porque a destilação direta copia o professor por inteiro — inclusive suas limitações. O modelo pequeno é mais fraco, e imitá-lo impõe esse teto ao aluno. O Direct-OPD transfere só o deslocamento que o reforço causou, aplicando-o à capacidade superior do modelo grande.

O ganho vale para qualquer tamanho de modelo?

Ainda não se sabe. Os resultados publicados são em modelos de 1 a 2 bilhões de parâmetros e benchmarks de matemática. A pergunta em aberto é se o empurrão de um professor pequeno continua informativo quando o aluno é muito maior — o teste que definirá se o método escala.