O Que é um Transformer, em Português

Antes de 2017, processar linguagem com redes neurais era um desfile de gargalos. Os modelos liam texto palavra por palavra, em ordem, e tinham memória curta: o começo de um parágrafo já estava esquecido lá no fim. O transformer resolveu isso com uma ideia elegante — deixar o modelo olhar para todas as palavras ao mesmo tempo e decidir, sozinho, quais importam.

O problema que ele resolveu

Arquiteturas anteriores (as RNNs) eram sequenciais por natureza. Isso as tornava lentas de treinar e ruins em capturar relações de longa distância — como ligar um pronome no fim da frase ao nome que ele substitui lá no início.

A ideia central: atenção

O mecanismo de atenção permite que, ao processar cada palavra, o modelo pondere a relevância de todas as outras. Na frase "o cachorro não atravessou a rua porque ele estava cansado", a atenção é o que liga "ele" a "cachorro", e não a "rua".

Na prática, cada palavra emite três vetores — uma consulta, uma chave e um valor — e o modelo calcula o quanto cada palavra deve "prestar atenção" nas demais. É isso que o nome do artigo original celebrava: attention is all you need.

Camadas, e muitas

Um transformer empilha dezenas dessas camadas de atenção. Cada uma refina a representação do texto, e o resultado final alimenta uma previsão: qual o próximo token mais provável. Repita o processo, e o modelo escreve frases, parágrafos, código.

Por que isso mudou tudo

O transformer não é só melhor — ele escala bem. Aumente dados e parâmetros e a performance sobe de modo previsível. Foi essa propriedade que justificou os investimentos bilionários e levou aos modelos atuais. A mesma arquitetura, com adaptações, hoje gera imagens, processa áudio e entende vídeo.

Perguntas Frequentes

Transformer e LLM são a mesma coisa?

Não exatamente. O transformer é a arquitetura; o LLM é um modelo de linguagem construído com ela. A maioria dos LLMs é baseada em transformers, mas a arquitetura também aparece em visão, áudio e outros domínios.

Preciso entender a matemática para usar IA?

Não. Saber que o modelo pondera relevância entre palavras já dá uma intuição correta. A matemática importa para quem treina modelos, não para quem os usa.

Por que se fala tanto em "atenção"?

Porque foi o ingrediente que destravou tudo. Permitiu treino paralelo e memória longa ao mesmo tempo — a combinação que viabilizou modelos grandes o suficiente para surpreender.