Blog
LLMs & Texto
Um subcircuito compartilhado permite que LLMs façam contagem regressiva em diferentes tarefas
arXiv:2607.12279v1 Tipo de anúncio: novo Resumo: Escrever uma frase com exatamente doze palavras; encerrar uma sequência de DNA no códon certo; formatar uma tabela ASCII. Essas são todas tarefas que os modelos de linguagem conseguem realizar e que exigem acompanhar quantos tokens faltam até um alvo. Neste trabalho, identificamos no Llama-3.1-70B-Instruct um mecanismo geral para executar essas tarefas: um "subcircuito de contagem regressiva" que compara a posição atual com um comprimento-alvo e estima o tempo restante até lá. Nós fir...
arXiv cs.CL
·Jacob Dunefsky, Wes Gurnee, Emmanuel Ameisen
·
// relacionados
Leia também
Blog
Orquestração agêntica: as organizações de IA corporativa têm um problema de implantação, não um problema de plataforma — e a maioria está chamando chatbots de agentes
Blog
Soofi Consortium lança o Soofi S 30B-A3B: um modelo de fundação MoE híbrido Mamba-Transformer aberto para alemão e inglês
Modelo
thinkingmachines/Inkling
Blog