Que é a "fiestra de contexto" dunha IA e por que ás veces parece que esquece a conversa?

O outono pasado un cliente inmobiliario pediunos un asistente que contestase preguntas sobre os seus contratos de arras subindo o PDF directamente ao chat. Soaba trivial. Probamos primeiro cun contrato curto, de oito páxinas, e funcionou perfecto: preguntas sobre prazos, sobre a cláusula de penalización, sobre quen se queda coa sinal se cae a operación. Todo ben: o contrato enteiro cabía de sobra na fiestra de contexto do modelo.

O problema chegou cun dos seus contratos longos de verdade, deses que arrastran anexos técnicos e un historial de modificacións: corenta e tantas páxinas, moitas máis das que cabían nesa fiestra. O modelo empezou a responder con seguridade absoluta sobre cláusulas que non existían. Non é que se equivocase un pouco, é que se inventaba números de artigo enteiros. A fiestra de contexto é xustamente iso: o límite de canto texto pode “ter presente” un modelo á vez, e cando se supera, case nunca avisa cun erro claro, así que a IA “parece esquecer” o principio da conversa ou o documento e empeza a improvisar.

É un concepto que case ningún cliente coñece ata que lle estala na cara: ese límite mídese en tokens, non en páxinas nin en palabras (un token son máis ou menos tres ou catro caracteres). Un modelo cunha fiestra de 128.000 tokens pode manexar, a ollo, unhas 300 páxinas de texto normal. Soa xeneroso. Pero un PDF escaneado, con táboas mal convertidas ou con imaxes incrustadas, pode converterse no dobre ou no triplo de tokens do que parece a simple vista, e aí é onde a marxe desaparece sen avisar.

O que pasa na práctica, exactamente, é isto: segundo a ferramenta, corta o documento por onde pode, ou resume partes sen dicircho, ou simplemente enche ocos co que lle parece máis probable dado o patrón do texto. Iso é o que lle pasou ao noso cliente: o modelo non tiña o final do contrato na súa fiestra activa e, no canto de dicir “non o sei”, improvisou.

A solución que aplicamos non foi buscar un modelo cunha fiestra máis grande (hainos, ata dun millón de tokens, pero custan máis e van máis lentos). Traballamos con RAG: no canto de meter o contrato enteiro dun golpe, o sistema busca primeiro os fragmentos relevantes para a pregunta concreta e só eses entran na fiestra de contexto. Menos elegante ca “sobe o PDF e pregunta o que queiras”, pero moito máis fiable, e de paso máis barato, porque pagas polos tokens que realmente usa cada consulta.

Se alguén che vende un asistente de IA “sen límites” para documentos longos, pregúntalle que pasa exactamente cando o documento non cabe enteiro. Se a resposta é vaga, probablemente non o probaron cun caso real de corenta páxinas.