Por que meu texto em português gasta mais tokens que em inglês?
Deixe caracteres acentuados visíveis — é exatamente por isso que português custa mais.
Português usa 0% mais tokens que inglês.
Isso porque acentos quebram palavras em mais tokens. Caracteres não-ASCII precisam de mais espaço no vocabulário de um tokenizador.
Tokens não são palavras — são pedaços de texto que a rede neural processa. Caracteres acentuados e não-ASCII custam mais porque ocupam mais tokens. Por isso português é mais caro que inglês em IA, mesmo dizendo a mesma coisa. Compressão e cache importam muito mais do que você pensa.