A engenharia moderna de aplicações com LLMs exige mais do que saber chamar uma API. Exige compreender, ao menos em nível operacional, a arquitetura que tornou esses modelos viáveis em escala. Os Transformers surgiram em 2017 com a proposta de substituir arquiteturas recorrentes e convolucionais por um mecanismo centrado em atenção, permitindo maior paralelização e melhor eficiência em tarefas de linguagem. (arXiv)
Diferente de abordagens anteriores, que processavam texto de forma estritamente sequencial, os Transformers foram concebidos para modelar relações entre elementos de uma sequência sem depender de recorrência. Esse deslocamento arquitetural é decisivo: em vez de "caminhar" palavra por palavra para acumular contexto, o modelo aprende a estimar, de forma direta, quais partes da entrada são mais relevantes entre si. Foi essa mudança que tornou a arquitetura particularmente adequada para o avanço dos modelos de linguagem em larga escala. (arXiv)
Embora, do ponto de vista humano, pareça que o modelo "lê palavras", o processamento interno ocorre sobre tokens. Tokens são as unidades em que o texto é segmentado antes da inferência; podem corresponder a palavras inteiras, fragmentos de palavras, pontuação ou até caracteres isolados, a depender do vocabulário e do idioma. Em termos práticos, isso significa que todo prompt, toda instrução de sistema e toda resposta gerada são convertidos para essa representação intermediária antes de serem processados pelo modelo. (OpenAI Help Center)
Essa distinção é importante porque boa parte do comportamento percebido em aplicações com LLMs depende diretamente do volume, da ordem e da distribuição desses tokens na entrada. Em outras palavras, o modelo não opera sobre "ideias" abstratas, mas sobre uma sequência tokenizada que será transformada em representações vetoriais e contextualizada ao longo das camadas da rede. (OpenAI Help Center)
O conceito central dos Transformers é o self-attention. Em vez de tratar cada token como uma unidade isolada ou depender de uma memória sequencial longa, o mecanismo de atenção permite que cada token avalie a relevância dos demais tokens presentes no contexto. Na prática, isso dá ao modelo a capacidade de capturar dependências de curto e longo alcance de maneira muito mais direta do que arquiteturas recorrentes tradicionais. (Google Research)
Essa propriedade é especialmente importante em linguagem natural, onde a interpretação de um termo muitas vezes depende de elementos distantes na frase ou no parágrafo. A arquitetura Transformer foi projetada justamente para modelar essas relações de forma explícita, e esse é um dos motivos pelos quais ela se tornou a base dominante dos sistemas contemporâneos de geração e compreensão de linguagem. (Google Research)
Operacionalmente, o mecanismo de self-attention projeta cada token em três representações distintas: Query, Key e Value. Sem entrar em derivação matemática extensa, a intuição útil para engenharia é a seguinte: a Query representa o que um token "procura"; a Key representa o que cada token "oferece" como sinal de relevância; e a Value representa a informação efetivamente agregada quando essa relevância é confirmada. É a interação entre essas projeções que permite ao modelo ponderar quais partes do contexto devem influenciar a representação final de cada token. (Jay Alammar)
O resultado desse processo é uma representação contextualizada. Um mesmo token pode receber interpretações diferentes a depender do restante da sequência, pois o modelo recalcula sua relevância relacional a cada passo de processamento interno. Para a engenharia de prompts, isso tem uma implicação direta: mudar o contexto muda a interpretação dos tokens, mesmo quando o texto-base parece semelhante para o usuário. (Google for Developers)
Uma única operação de atenção já seria útil, mas os Transformers expandem essa ideia com o multi-head attention. Em vez de uma única leitura do contexto, o modelo executa múltiplas cabeças de atenção em paralelo. Cada cabeça pode aprender padrões relacionais distintos: concordância gramatical, dependências semânticas, resolução de referência, continuidade temática e outras estruturas relevantes. (Google for Developers)
Esse desenho arquitetural permite que o modelo construa representações progressivamente mais ricas ao empilhar várias camadas de atenção. Camadas iniciais podem capturar relações mais locais ou sintáticas; camadas posteriores tendem a compor estruturas mais abstratas e semanticamente densas. Para o desenvolvedor, isso ajuda a explicar por que modelos maiores ou melhor treinados conseguem sustentar tarefas como sumarização, geração de código e raciocínio contextual com muito mais consistência. (Google for Developers)
Há, porém, um problema estrutural: se a arquitetura processa tokens em paralelo, ela não possui, por si só, noção nativa de ordem. A frase "o sistema chamou a função" não deve ser tratada da mesma forma que "a função chamou o sistema". Para resolver isso, os Transformers incorporam mecanismos de codificação posicional, isto é, sinais adicionais que informam ao modelo onde cada token aparece na sequência. (IBM)
No trabalho original, essa informação posicional foi introduzida por meio de funções senoidais e cossenoidais, permitindo ao modelo preservar noções de ordem sem abrir mão da paralelização. Em variantes mais modernas, outras estratégias de codificação posicional também são utilizadas, mas o princípio permanece o mesmo: sem um mecanismo posicional, a arquitetura perderia parte crucial da estrutura do texto. (IBM)
Nota Técnica: É justamente essa combinação entre atenção e informação posicional que permite ao Transformer distinguir não apenas quais tokens existem, mas também como eles se organizam na sequência. (IBM)
Do ponto de vista arquitetural, os Transformers podem ser organizados em três famílias principais: modelos baseados apenas em encoder, modelos baseados apenas em decoder e modelos encoder-decoder. Encoders tendem a ser mais apropriados para tarefas de compreensão global da entrada; encoder-decoders são especialmente úteis em transformações de sequência, como tradução e sumarização; já os modelos decoder-only são os mais associados aos LLMs atuais voltados para geração de texto. (Hugging Face)
Nos modelos decoder-only, a atenção é causal ou unidirecional: cada token pode acessar apenas os tokens anteriores. Isso faz sentido porque a tarefa central é prever o próximo token com base no histórico já disponível. É esse regime operacional que sustenta boa parte dos modelos usados hoje em chatbots, assistentes de código e aplicações generativas em geral. (Hugging Face)
Outro conceito operacional importante é a janela de contexto. Como o modelo processa uma quantidade finita de tokens por vez, existe um limite prático para o volume de informação que pode ser considerado em uma única inferência. Além disso, o custo do mecanismo de atenção cresce rapidamente com o tamanho da sequência, já que cada token precisa comparar sua relevância com muitos outros tokens presentes no contexto. Em termos de engenharia, isso explica por que contexto é recurso valioso: ele afeta custo, latência e qualidade da resposta. (Google for Developers)
Esse ponto tem efeito direto sobre o design de aplicações. Prompts excessivamente longos, documentos mal segmentados ou histórico conversacional pouco curado podem degradar a eficiência do sistema e dispersar a atenção do modelo. Por isso, em pipelines profissionais, a orquestração de contexto não é detalhe de implementação; é parte central da arquitetura do produto. (Google for Developers)
Com essa base, torna-se mais claro por que prompt engineering funciona. Quando definimos um prompt de sistema, exemplos few-shot ou instruções de formato, estamos reorganizando a distribuição de tokens que o modelo receberá como contexto e, portanto, influenciando quais relações de atenção serão mais prováveis ao longo da inferência. Não se trata de "mágica conversacional", mas de controle contextual sobre um modelo que opera por previsão token a token em uma arquitetura sensível à organização da entrada. Essa é uma inferência direta a partir do modo como modelos decoder-only processam contexto e previsão autoregressiva. (Hugging Face)
É por isso que pequenas mudanças de formulação podem produzir saídas significativamente diferentes. Alterar papel, restrição, objetivo ou estrutura de entrada muda o ambiente informacional no qual o modelo realizará atenção e geração. Em aplicações reais, dominar esse princípio é mais útil do que memorizar definições isoladas, porque ele conecta arquitetura, inferência e comportamento observável do sistema. (Google for Developers)
Compreender Transformers em nível operacional não significa reproduzir toda a matemática do paper original, mas sim entender os blocos que explicam o comportamento prático dos LLMs: tokens, atenção, posição, arquitetura causal e janela de contexto. Esses elementos formam a ponte entre teoria e engenharia aplicada. (arXiv)
É precisamente sobre essa base que avançamos, no próximo passo, para a configuração do ambiente, a estruturação de mensagens e a execução da primeira inferência. Uma vez compreendido como o modelo processa contexto, a transição para chamadas de API, notebooks e construção de aplicações deixa de ser apenas um exercício de integração e passa a ser, de fato, engenharia de sistemas baseados em LLMs.