¿Puedo entrenar una IA con los datos de mi empresa?

Un cliente que vende maquinaria industrial de segunda mano nos preguntó hace un par de meses si podíamos “entrenar una IA” con los quince años de correos y presupuestos que tenían guardados en un servidor. Quería un asistente que respondiera dudas técnicas de sus comerciales usando ese histórico. Le dije que sí se podía hacer algo parecido, pero que “entrenar” no era la palabra correcta, y que si alguien le ofrece “vamos a entrenar tu propio modelo” por dos mil euros, que desconfíe.

Entrenar un modelo desde cero, o incluso hacer fine-tuning sobre uno ya existente, requiere muchos más datos de los que tiene una pyme normal, y encima el resultado no suele ser mejor que la alternativa más barata: darle al modelo acceso a tus documentos en el momento de la pregunta, en vez de intentar que se los aprenda de memoria. Eso se llama RAG (retrieval-augmented generation), y es lo que casi siempre monta cualquier agencia cuando habla de “IA con los datos de tu empresa”, aunque no siempre lo diga con ese nombre.

La diferencia práctica es esta: con fine-tuning modificas los pesos del modelo, necesitas GPU, tiempo de entrenamiento, y cada vez que cambian tus datos tienes que volver a entrenar. Con RAG guardas tus documentos troceados en una base de datos vectorial, y cuando alguien pregunta algo, el sistema busca los fragmentos más relevantes y se los pasa al modelo como contexto antes de que responda. Añadir un presupuesto nuevo es literalmente subir un archivo. No hay reentrenamiento ni factura de GPU.

Con el cliente de la maquinaria montamos justo eso: los correos y presupuestos troceados y metidos en una base vectorial (usamos pgvector porque ya tenían Postgres, no hacía falta meter una herramienta nueva en el stack), y un asistente interno que un comercial usa para preguntar “¿qué le presupuestamos a tal cliente por una carretilla de tal modelo en 2024?” y le devuelve el documento relevante con la respuesta ya resumida. Costó una fracción de lo que habría costado el fine-tuning, y lo pusimos en producción en dos semanas.

Hay un caso en el que sí tiene sentido el fine-tuning: cuando necesitas que el modelo responda siempre con un formato o un tono muy específico y RAG no basta para forzarlo (por ejemplo, generar código en un estilo interno muy particular a partir de miles de ejemplos ya escritos). Pero eso es raro en el trabajo que hacemos con clientes de agencia pequeña, y cuando ha aparecido ha sido casi siempre para un caso muy concreto de generación de contenido, no para “responder preguntas sobre mis datos”.

Lo que más me molesta de este tema es la cantidad de propuestas que he visto circular ofreciendo “entrenar tu IA personalizada” cuando en realidad es un RAG con cuatro líneas de código alrededor. No es mentira exactamente, pero infla el precio y da a entender que hace falta mucha más infraestructura de la que hace falta de verdad. Si te lo ofrecen así, pregunta directamente si es fine-tuning o RAG. La respuesta te dice bastante rápido si quien te lo vende sabe lo que está haciendo.