Lição 06 | Tokens e contexto: o que a IA realmente recebe
Nesta experiência, você vai descobrir como uma mensagem é transformada em unidades que um modelo consegue processar, compreender por que o contexto disponível muda a qualidade de uma resposta e praticar a seleção de informações relevantes.
O que você acha que chega até o modelo?
Quando você escreve uma frase em uma interface de IA, você enxerga palavras, números e pontuação. Antes de estudar o tema, registre como imagina que essa informação chega ao modelo.
Quando uma mensagem é enviada para um modelo de linguagem, o que acontece com o texto?
Do texto visível até a informação processável
Em uma explicação conceitual, podemos imaginar uma sequência simples. O texto que você escreve passa por uma etapa de tokenização. Os tokens recebem representações numéricas e, a partir daí, o modelo consegue trabalhar matematicamente com a informação.
Token não é sinônimo de palavra
Um token é uma unidade produzida por um processo de tokenização. Dependendo do tokenizador, uma unidade pode corresponder a uma palavra inteira, parte de uma palavra, pontuação, número ou outra combinação. Por isso, contar palavras não é o mesmo que contar tokens.
O token ajuda a transformar linguagem em partes que podem ser representadas e processadas pelo modelo.
Modelos e famílias de modelos podem usar tokenizadores diferentes. A mesma frase pode ser segmentada de maneiras diferentes.
Mais conteúdo geralmente significa mais unidades para processar. A contagem exata depende do sistema utilizado.
Desmonte a mensagem
Revele três exemplos de fragmentação didática. Observe como palavras, partes de palavras, números e pontuação podem aparecer como unidades diferentes.
Exemplo 01 | Frase curta
Exemplo 02 | Palavra longa
Exemplo 03 | Número e pontuação
O modelo trabalha com aquilo que está disponível
Contexto é o conjunto de informações que está disponível para orientar a tarefa naquele momento. Ele pode incluir a instrução atual, partes da conversa, documentos, regras, exemplos e outros conteúdos fornecidos pelo sistema ou pela aplicação.
Qual contexto tende a permitir uma resposta mais direcionada?
Monte o contexto certo
A Cafeteria Horizonte quer usar IA para criar três posts para Instagram e aumentar o movimento durante a tarde. Selecione apenas as informações que você consideraria adequadas para orientar essa tarefa.
Existe uma capacidade limitada de informação disponível
Modelos trabalham com uma quantidade limitada de informação em cada execução. Essa capacidade é frequentemente chamada de janela de contexto. Os limites variam entre modelos e sistemas, por isso a competência importante não é decorar um número, mas saber selecionar, resumir e organizar o que realmente precisa estar disponível.
Cabe tudo na janela?
Neste exercício, a janela possui uma capacidade didática de 70 unidades. Os pesos abaixo não representam tokens reais. Sua missão é escolher o conjunto mais útil para uma IA redigir um resumo executivo de uma reunião.
Recupere o que acabou de construir
Responda às cinco questões. O feedback faz parte da aprendizagem.
Qual afirmação descreve melhor um token?
A mesma frase é sempre dividida exatamente do mesmo modo em qualquer modelo?
O que significa contexto nesta lição?
Adicionar mais informação sempre melhora a resposta?
Qual é a ideia principal de uma janela de contexto?
Transforme uma instrução vaga em contexto útil
Instrução inicial: “Crie uma campanha para minha empresa.” Antes de escrever a campanha, quais informações você pediria ou forneceria para reduzir ambiguidades?
Leve o princípio para outra situação
Situação: uma pessoa pede para uma IA: “Monte um plano de revisão para minha prova.” Você não sabe qual prova, quando ela acontecerá, quais matérias serão cobradas nem quanto tempo a pessoa possui por dia.
Prepare o contexto para uma resposta de atendimento
Caso | Loja Aurora
Uma cliente deseja trocar um produto comprado há 18 dias. A empresa quer usar IA para preparar um rascunho de resposta, mas a IA só deve trabalhar com informações relevantes e verificadas.
Construa um pacote de contexto que você forneceria à IA. Inclua apenas o que ajuda a preparar uma resposta responsável e deixe claro quando existe uma condição que precisa de verificação humana.
Minha regra para selecionar contexto
Registre uma evidência que mostre como você decide o que deve ou não estar disponível para uma IA em uma tarefa profissional.
Compare seu ponto de partida com aquilo que consegue explicar agora
Você está aprendendo a controlar a informação disponível para a IA
Cada etapa concluída representa compreensão, seleção ou aplicação dentro desta webpage.
“Agora você já sabe que uma mensagem precisa ser representada em tokens e que a qualidade do contexto depende do que está disponível, relevante e organizado. Na próxima lição, vamos descobrir o que acontece depois que você envia a instrução.”
Ao avançar, você retornará à página inicial do Módulo 01 para seguir para a próxima lição.
