Quando você digita uma pergunta para o ChatGPT ou o Claude, intuitivamente imagina que a IA lê suas palavras da mesma forma que um humano leria. Uma palavra de cada vez, da esquerda para a direita, entendendo o significado de cada termo. Mas não é assim que funciona. A IA não lê palavras. Ela lê tokens — e entender essa diferença muda completamente a forma como você usa qualquer ferramenta de IA.
O que é um token, afinal?
Um token é a unidade mínima de texto que um modelo de linguagem processa. Não é uma letra, não é necessariamente uma palavra — é algo intermediário, definido por um algoritmo chamado tokenizador, que divide qualquer texto em pedaços antes de passá-lo para o modelo.
Na prática, tokens costumam corresponder a sílabas comuns, sufixos, prefixos ou palavras inteiras curtas. Uma palavra longa pode virar dois ou três tokens. Uma palavra muito comum vira um. Um número ou símbolo pode virar um token próprio.
Como a frase é dividida em tokens
igência
▁artificial
▁está
▁transform
ando
▁o
▁mundo
.
9 tokens para 7 palavras. O símbolo ▁ indica espaço antes da palavra.
e
o
IA
envolv
imento
Por que a IA não usa palavras inteiras?
A resposta é matemática e prática ao mesmo tempo. Um modelo de linguagem precisa transformar texto em números para processá-lo. A pergunta é: como você mapeia texto para números de forma eficiente?
A abordagem mais óbvia seria criar um número para cada palavra do dicionário. O problema é que idiomas têm centenas de milhares de palavras — e ainda há nomes próprios, termos técnicos, palavras em outros idiomas, erros de digitação, palavras novas. Um dicionário nunca seria completo.
A abordagem oposta seria usar letras individuais. Simples, mas ineficiente: a frase “o gato dormiu” viraria 14 unidades, e o modelo teria que aprender a juntar letras em significado do zero — um trabalho imenso.
Tokens são subpalavras — fragmentos que aparecem com frequência na língua. O sufixo “ção”, o prefixo “des”, a terminação “ando” aparecem em dezenas de palavras. Com um vocabulário de cerca de 50.000 tokens, é possível representar qualquer texto em qualquer idioma de forma eficiente — mesmo palavras que o modelo nunca viu antes.
Como o tokenizador decide onde cortar?
O tokenizador é treinado separadamente, antes do modelo principal. Ele analisa um enorme corpus de texto e aprende quais sequências de caracteres aparecem com mais frequência juntas. O algoritmo mais usado se chama BPE — Byte Pair Encoding.
O BPE começa com letras individuais e progressivamente une os pares que aparecem com mais frequência, até atingir o tamanho de vocabulário desejado. O resultado é um conjunto de tokens que reflete os padrões estatísticos do idioma.
Exemplo simplificado de BPE
O que isso muda na sua vida prática
Entender tokens não é só curiosidade — tem impacto direto em como você usa IA no dia a dia:
APIs de IA cobram por token, não por mensagem
Quando uma empresa integra o ChatGPT ou o Claude em um produto, o custo é calculado por token — tanto os tokens que entram (seu prompt) quanto os que saem (a resposta). Um prompt longo e detalhado custa mais. Uma resposta extensa custa mais. Otimizar o uso de tokens é uma das principais preocupações de quem desenvolve produtos com IA.
O limite de contexto é em tokens, não em palavras
Quando um modelo tem “128.000 tokens de contexto”, isso significa que ele consegue processar aproximadamente 96.000 palavras em português de uma vez — não exatamente, porque palavras em português tendem a gerar mais tokens do que em inglês, por conta dos acentos e das terminações mais longas. Um texto em inglês rende mais por token do que o mesmo texto traduzido.
Português gasta mais tokens do que inglês
Os tokenizadores dos grandes modelos foram treinados majoritariamente com texto em inglês. Isso significa que palavras em inglês tendem a virar menos tokens do que suas equivalentes em português. “Transforming” pode ser 1 token; “transformando” vira 2 ou 3. Na prática, usar modelos de IA em português custa mais e usa mais contexto do que usar em inglês — um detalhe importante para quem está desenvolvendo aplicações.
Explica comportamentos que parecem “burrice” da IA
Já percebeu que uma IA às vezes erra ao contar letras de uma palavra, ou se confunde ao rimar? É culpa dos tokens. Quando você pergunta “quantas letras tem a palavra ‘morango’?”, o modelo não vê sete letras — ele vê algo como dois tokens: “mor” e “ango”. Ele nunca “viu” a palavra inteira, então contar letras individuais é genuinamente difícil para ele.
Quanto vale um token na prática?
Uma regra geral útil para estimar:
em inglês
em português
em português
Para ter uma referência concreta: este artigo inteiro tem aproximadamente 1.800 palavras. Em tokens, isso representa algo entre 2.400 e 3.000 tokens em português — um número confortável para qualquer modelo moderno processar de uma vez, mas relevante quando você multiplica por milhões de requisições em uma aplicação comercial.
O que os tokens custam hoje
Os preços caíram drasticamente nos últimos anos. Para comparação, o GPT-4 custava US$ 30 por milhão de tokens de entrada em 2023. Hoje os valores são:
| Modelo | Entrada (por 1M tokens) | Saída (por 1M tokens) |
|---|---|---|
| GPT-4o (OpenAI) | US$ 2,50 | US$ 10,00 |
| Claude Sonnet (Anthropic) | US$ 3,00 | US$ 15,00 |
| Gemini 2.5 Flash (Google) | US$ 0,15 | US$ 0,60 |
| DeepSeek V3 | US$ 0,14 | US$ 0,28 |
Fonte: preços públicos das APIs — julho de 2025. Valores podem variar.
Segundo o Stanford AI Index Report 2025, o custo de usar um modelo no nível do GPT-3.5 caiu mais de 280 vezes entre novembro de 2022 e outubro de 2024 — de US$ 20 para US$ 0,07 por milhão de tokens. O que custava o equivalente a uma hora de consultoria agora custa centavos.
Token: a moeda da IA
O token é a unidade fundamental de tudo que acontece em um modelo de linguagem. É a forma como texto vira número, número vira cálculo e cálculo vira resposta. Entender isso explica por que a IA erra ao contar letras, por que usar português custa mais do que inglês, por que há um limite para conversas longas e por que o custo de uma API é medido da forma que é.
Na próxima vez que você interagir com uma IA, lembre: ela não está lendo suas palavras. Ela está processando pedaços — e transformando esses pedaços em probabilidades, uma de cada vez, até formar a resposta que aparece na sua tela.
