Tokenização, transformers, embeddings, atenção, geração de conclusões, engenharia de prompts e sistemas multiagentes
Tempo de estudo sugerido: 32 minutos • Nível iniciante • Conteúdo reescrito a partir dos objetivos do Microsoft Learn
Por João Ricardo Dutra••Conteúdo autoral completo
1. Introdução à
Objetivos de aprendizagem
Explicar como modelos de linguagem grandes e pequenos representam relações linguísticas e semânticas.
Descrever tokenização, vetores, embeddings, atenção, encoder, decoder e previsão de conclusões.
Distinguir prompts de sistema e de usuário e aplicar histórico, RAG e boas práticas de instrução.
Identificar os componentes de agentes de IA e a colaboração em sistemas multiagentes.
A ganhou visibilidade porque consegue produzir conteúdo novo com aparência humana, como poesia, prosa, imagens e código. O efeito pode parecer extraordinário, mas resulta da evolução de técnicas matemáticas desenvolvidas ao longo de muitos anos em estatística, ciência de dados e aprendizado de máquina.
Compreender os mecanismos em alto nível ajuda a avaliar as tecnologias atuais e a imaginar aplicações futuras. Também esclarece por que modelos generativos sustentam uma nova geração de agentes capazes de buscar informações, decidir próximos passos e executar tarefas.
O material original do Microsoft Learn pode ser acompanhado em vídeo ou em texto e imagens. A versão escrita normalmente oferece mais detalhes e pode servir de complemento à apresentação audiovisual.
2. Modelos de linguagem e previsão de conclusões
Modelos de linguagem grandes, ou LLMs, e seus parentes mais compactos, os modelos de linguagem pequenos, ou SLMs, codificam relações entre palavras, trechos e significados de um vocabulário. Essas relações permitem interpretar uma entrada em linguagem natural e gerar uma resposta coerente e pertinente.
Em essência, o treinamento ensina o modelo a concluir sequências iniciadas por um prompt. A ideia lembra o texto preditivo de um celular, porém em escala muito maior: a cada etapa, o modelo considera o que já apareceu, estima quais elementos mais influenciam a continuação e seleciona um próximo provável.
Na sequência “Eu ouvi um cachorro...”, por exemplo, “ouvi” indica que algum som deve aparecer e “cachorro” sugere sons associados a esse animal. Uma pessoa prevê “latir” porque dispõe de vocabulário, conhece estruturas da língua e associa palavras a conceitos. O treinamento procura oferecer capacidades semelhantes ao modelo.
O que sustenta uma previsão linguística.
Base
Contribuição
Vocabulário amplo
Fornece muitas unidades possíveis para formar a continuação.
Estrutura linguística
Representa padrões de ordem e relações que produzem frases significativas.
Semântica
Associa palavras e trechos a conceitos, contextos e usos semelhantes.
3. Tokenização: de texto a identificadores
O primeiro passo é construir um vocabulário muito grande a partir de extensos conjuntos de treinamento, incluindo conteúdo público da Internet e outras fontes. Modelos atuais podem trabalhar com centenas de milhares de .
não significa apenas palavra. O vocabulário também pode conter partes de palavras, sinais de pontuação e sequências frequentes de caracteres. Assim, um prefixo como “in” em “inacreditável” pode ser uma unidade independente. Cada distinto recebe um identificador inteiro único; quando o mesmo reaparece, reutiliza esse identificador.
Exemplo didático de tokenização por palavras.
ID
Eu
1
ouvi
2
um
3
cachorro
4
latir
5
alto
6
para
7
gato
8
O exemplo usa palavras inteiras apenas para facilitar a leitura. Em um sistema real, subpalavras e pontuação também participam, e o vocabulário cresce à medida que mais dados de treinamento são processados.
4. Transformer: encoder, atenção e decoder
Somente IDs não expressam significado. Cada recebe inicialmente um vetor, isto é, uma lista com vários números. O objetivo do transformer é converter esses vetores iniciais em representações que carreguem propriedades linguísticas e semânticas. Como essas propriedades ficam incorporadas aos vetores, o resultado é chamado embedding.
Uma explicação simplificada separa o transformer em dois blocos. O encoder cria embeddings usando atenção: ele examina um no contexto dos vizinhos, atribui pesos às influências e envia o resultado a uma rede neural totalmente conectada. A atenção multihead avalia diferentes características em paralelo para tornar o processo mais eficiente.
O decoder usa os embeddings para estimar o próximo de uma sequência iniciada pelo prompt. Ele também combina atenção e uma rede feed-forward. A arquitetura real possui mais detalhes; o ponto central é que a atenção captura características de cada conforme os contextos em que ele é utilizado.
O SVG redesenha a arquitetura conceitual: posição e alimentam o encoder, os embeddings contextualizam a linguagem e o decoder prevê a continuação.
5. Posição, atenção e embeddings
Antes do treinamento, os valores dos vetores de podem começar aleatórios. O modelo recebe esses vetores junto de uma codificação posicional, pois a posição altera o significado e a relação entre elementos da sequência. Uma tabela didática pode mostrar apenas três dimensões, mas modelos reais usam vetores com milhares de elementos.
Durante o treinamento, a camada de atenção avalia cada no contexto. Em “Eu ouvi um cachorro latir”, “ouvi” e “cachorro” exercem mais influência sobre “latir” do que artigos ou pronomes. No início, o modelo não conhece esses pesos; a exposição repetida a grandes volumes de texto revela padrões de proximidade e frequência, e os parâmetros são ajustados de forma iterativa.
O resultado é um espaço vetorial no qual usados em situações parecidas apontam para direções semelhantes. Embeddings de “cachorro”, “filhote” e “gato” tendem a ficar mais próximos entre si do que de “carro” ou “skate”. A similaridade de cosseno fornece uma forma matemática de medir essa proximidade semântica.
Vetores semanticamente próximos aparecem em direções semelhantes; um modelo real usa muito mais que três dimensões.
6. Como o decoder gera uma conclusão
Depois que os embeddings representam relações contextuais, o decoder pode prever uma continuação por . Na fase de treinamento, utiliza-se atenção mascarada: ao tentar prever uma posição, o modelo só considera os anteriores e ignora os que vêm depois.
Como a sequência correta já é conhecida durante o treinamento, a previsão pode ser comparada ao próximo real. O erro orienta ajustes nos pesos de iterações posteriores. Na geração, o próximo ainda é desconhecido; atenção e rede feed-forward avaliam candidatos, a escolha é anexada à sequência e o ciclo se repete até o modelo indicar o término.
Diante de “Quando meu cachorro era um...”, por exemplo, o contexto torna “filhote” mais provável que “gato” ou “skate”. A saída completa nasce dessa repetição de previsões condicionadas por tudo o que já foi gerado.
7. Prompts de sistema e de usuário
Prompt é a entrada enviada a um LLM para obter uma conclusão. Pode ser uma pergunta, uma ordem ou até um comentário que inicia a conversa.
Dois tipos principais de prompt.
Tipo
Responsabilidade
Exemplo reescrito
Prompt de sistema
Define comportamento, tom, papel e restrições permanentes da interação.
Atue como assistente prestativo e responda de modo cordial.
Prompt do usuário
Solicita uma resposta para uma pergunta ou instrução específica.
Resuma para um executivo os pontos de adoção de em até seis tópicos profissionais.
Em geral, a aplicação configura o prompt de sistema. O prompt do usuário pode ser escrito por uma pessoa em um chat ou montado automaticamente pela própria aplicação. A resposta deve atender à solicitação específica sem abandonar as orientações globais.
O sistema estabelece as regras gerais; o usuário fornece a tarefa que produz uma conclusão.
8. Histórico de conversa e RAG
Aplicações conversacionais frequentemente preservam o histórico e inserem versões resumidas das interações anteriores em novos prompts. Isso mantém continuidade e permite compreender referências como “quais são os riscos de privacidade?” depois de uma resposta sobre adoção corporativa de .
Mensagens anteriores e a nova pergunta formam um contexto que favorece uma resposta coerente.
A geração aumentada por recuperação, ou RAG, acrescenta contexto externo. A aplicação pesquisa documentos, e-mails ou outras fontes, seleciona trechos relevantes e os inclui no prompt. Assim, a resposta fica fundamentada nos dados recuperados, em vez de depender apenas do conhecimento geral do modelo.
Um assistente de despesas, por exemplo, pode receber uma pergunta sobre o limite de viagem, pesquisar a política interna, recuperar a seção correspondente e enviá-la junto da pergunta. Sem esse processo, o modelo provavelmente daria uma orientação genérica para consultar a política; com RAG, pode responder de acordo com as regras da organização.
RAG conecta uma pergunta a fontes relevantes e fundamenta a conclusão do modelo.
9. Como escrever prompts melhores
A qualidade da resposta depende tanto do modelo escolhido quanto da instrução recebida. Um prompt bem planejado diminui ambiguidades e comunica de forma explícita o resultado esperado.
Seja claro e específico: formule a pergunta ou tarefa sem linguagem vaga.
Adicione contexto: informe tema, público, objetivo e formato desejado.
Forneça exemplos quando quiser reproduzir determinado estilo ou padrão.
Peça estrutura: especifique tópicos, tabelas, etapas numeradas ou outro formato útil.
Clareza, contexto, exemplos e estrutura tornam a intenção mais fácil de seguir.
10. Agentes de IA e sistemas multiagentes
Um agente de IA é uma aplicação baseada em que não se limita a responder: ela raciocina sobre linguagem natural, utiliza ferramentas, considera as condições do contexto e executa uma ação apropriada em nome do usuário.
Três elementos de um agente.
Elemento
Função
Modelo de linguagem grande
Atua como núcleo de compreensão de linguagem e raciocínio.
Instruções
O prompt de sistema descreve o papel, o comportamento e os limites do agente.
Ferramentas
Fontes de conhecimento dão acesso a buscas e bancos de dados; ferramentas de ação enviam e-mails, atualizam calendários ou controlam dispositivos.
Os três componentes permitem que o assistente transforme contexto em uma ação controlada.
Vários agentes também podem colaborar. Em um sistema multiagente, cada participante recebe uma especialidade: um coleta dados, outro analisa e um terceiro executa a ação. Eles trocam prompts para determinar quais tarefas são necessárias, distribuir responsabilidades e compartilhar resultados, formando um fluxo capaz de tratar processos mais complexos.
A coordenação por prompts permite dividir um fluxo complexo entre agentes especializados.
11. Exploração prática e verificação de conhecimentos
O exercício do módulo utiliza um chat playground para interagir com um modelo generativo e observar, na prática, o efeito de prompts de sistema, ferramentas e fundamentação com dados.
O print da interface real foi preservado em PNG, conforme a regra de manter capturas de tela originais.