Que é un modelo de razoamento en IA e en que se nota a diferenza?

Hai un par de meses pedinlle a un modelo “normal” que revisase a lóxica dun sistema de descontos con regras que se pisaban entre si (cupón, oferta de tempada e prezo xa rebaixado, os tres á vez) e devolveume unha resposta segura, ben redactada e equivocada. Cambiei ao modo de razoamento do mesmo provedor, a mesma pregunta exacta, e tardou quince segundos en vez de dous. Esta vez si colleu o caso raro no que dúas condicións se anulaban entre elas.

Un modelo de razoamento é unha IA que, antes de escribir a resposta que ves, xera internamente unha cadea de pasos intermedios onde proba camiños e descarta os que non cadran, en vez de contestar á primeira como fai un chatbot normal. Iso custa máis tempo e máis tokens, pero mellora bastante o acerto en tarefas con varios pasos lóxicos encadeados: código con dependencias cruzadas, contratos con cláusulas que se contradín, ese tipo de cousa.

O problema é xustamente ese: pensar de máis non é de balde. Na maioría de provedores pagas tamén polos tokens do razoamento interno, os que nunca ves na pantalla, así que a mesma pregunta pode saír bastante máis cara que cun modelo normal. Para unha consulta de atención ao cliente do tipo “¿facedes envíos a Portugal?” é tirar o diñeiro: o modelo estándar responde igual de ben e nunha fracción do tempo. E aí é onde entender como se contan os tokens axuda de verdade a decidir que modelo pos en cada función, non só na de razoamento.

Nós usámolo dun xeito bastante cirúrxico.

Para xerar texto de mercadotecnia, resumir un correo ou clasificar un ticket entra un modelo estándar de gama media, sen dubidalo. Para revisar un cambio de arquitectura antes de tocar nada, depurar un bug que leva dous días resistíndose ou repasar un contrato antes de que o vexa un cliente, cambiamos ao modo razoamento sen pensalo dúas veces. A diferenza nótase sobre todo cando o problema ten unha trampa agochada: o modelo normal písaa con seguridade, o de razoamento ás veces vena vir e dío explicitamente antes de responder, algo tipo “espera, isto ten un caso límite raro”.

O que aínda non teño resolto do todo é cando delegar esa elección, modelo rápido ou modelo que pensa, no propio sistema en vez de decidila eu a man cada vez. Algúns provedores xa ofrecen un router automático que elixe por ti segundo a pregunta, pero as poucas veces que o probamos en produción acertaba menos do que nos gustaría. Así que, de momento, seguimos poñendo o interruptor nós.