Que é un token na IA e por que determina o que pago cada mes?

A primeira vez que un cliente me preguntou “pero por que me cobrades por palabras?” tiven que parar a reunión e explicarlle que non son palabras. Son tokens, e a diferenza importa máis do que parece cando chega a factura da API a fin de mes.

Un token é un anaco de texto, case nunca unha palabra enteira. “Gato” adoita ser un token. “Extraordinariamente” pode partirse en tres ou catro. Os modelos de OpenAI, Claude ou Gemini non len letras nin palabras soltas: len estes fragmentos, e cada chamada á API cóbrase por cantos entran (o prompt que mandas) e cantos saen (o que responde o modelo). En galego e castelán, ademais, adóitase gastar máis tokens que en inglés para dicir o mesmo. Descubrímolo ás malas nun proxecto dun cliente de hostalaría, cando o gasto mensual da API se disparou case un 40% respecto do que tiñamos estimado con textos de proba en inglés.

Iso ten consecuencias que afectan ao deseño dunha función con IA, non só ao que se paga:

• Un prompt de sistema moi longo (as instrucións fixas que lle mandas ao modelo en cada petición) cóbrase en cada chamada, aínda que o usuario só escriba dúas palabras.
• Se un chatbot mantén o historial completo da conversa para simular “memoria”, cada mensaxe nova arrastra todo o anterior, e o custo por quenda sobe segundo avanza a charla.
• Os modelos máis potentes non só cobran máis por token: encima adoitan escribir respostas máis longas se non lles pos un límite explícito, así que o custo se multiplica dúas veces.

Cando orzamentamos unha integración de IA para un cliente, o primeiro que facemos xa non é preguntarnos “canto vai custar a IA” en abstracto, senón estimar tokens por interacción. Collemos exemplos reais do que vai escribir o usuario, medimos co tokenizador de cada provedor (todos o publican, son de balde) e multiplicamos polo volume esperado ao mes. É un paso aburrido. Tamén é o que evita sorpresas.

Hai un matiz que case ninguén pregunta e que debería preguntar máis xente: o límite de contexto dun modelo tamén se mide en tokens, non en “mensaxes” nin en “páxinas”. Se un cliente quere que a IA “lea todo o catálogo de produtos” antes de responder, ese catálogo enteiro ten que caber, en tokens, dentro desa fiestra. Se non cabe, hai que trocealo ou montar unha base vectorial que traia só o relevante en cada consulta, e iso xa é outro proxecto con outro orzamento, non unha casiña que se marca na primeira reunión.

O que non me convence do todo é que case ningún provedor deixa ver a conta de tokens en tempo real mentres escribes o prompt, coma se preferisen que non penses niso ata que chega o cargo á tarxeta.