Que diferenza hai entre usar unha IA "na nube" e unha que corro eu mesmo nos meus servidores?

Hai uns meses un cliente do sector legal pedíunos algo moi concreto: quería un asistente que axudase ao seu equipo a buscar en miles de páxinas de expedientes, pero negábase en redondo a que eses documentos saísen do seu servidor. Nin a OpenAI, nin a Anthropic, nin a ninguén. Aí é onde entra a diferenza entre usar unha IA “na nube” e usar unha de código aberto que corres ti mesmo.

Cando falas con ChatGPT ou con Claude, as túas preguntas viaxan a un servidor de OpenAI ou Anthropic, procésanse alí e devólvenche a resposta. Cómodo, rápido, e non tes que preocuparte de infraestrutura ningunha. O problema é que, para certos negocios, mandar información sensible a un terceiro non é unha opción, xa sexa por contrato, por normativa do sector ou simplemente porque o cliente non se fía.

Aí aparecen os modelos de código aberto (ou “open weight”, que é o termo máis preciso): Llama de Meta, Mistral, Qwen. Modelos que podes descargar e executar no teu propio hardware, sen que nin unha palabra do que preguntes saia da túa rede. Con ferramentas coma Ollama ou vLLM, montalo non é tan complicado como soa — un par de días de traballo, non semanas.

O que si custa é o hardware. Para o proxecto do bufete acabamos alugando unha máquina con GPU nun provedor cloud (mercar tarxetas gráficas propias é algo que desaconsellamos case sempre) e aínda así o gasto mensual multiplicaba por catro o que tería custado usar a API de Anthropic para o mesmo volume de consultas. E a calidade das respostas, sendo honestos, era peor: Llama fai un traballo digno, pero non está ao nivel de Claude ou GPT-4 en tarefas de razoamento sobre texto longo.

Así que a pregunta real non é “código aberto si ou non”. É “que me pesa máis, a confidencialidade ou a calidade”. Para a maioría dos nosos clientes a resposta é clara: usar a API dun provedor serio, cun bo contrato de tratamento de datos, sae máis barato, móntase antes e dá mellores resultados. O bufete foi un dos poucos casos sen volta atrás: os seus propios avogados tiñan obrigas de confidencialidade que non admitían intermediarios, por bo que fose o contrato.

Hai un punto intermedio do que se fala menos: algúns provedores (Azure OpenAI, Amazon Bedrock) ofrecen os mesmos modelos pechados pero con garantías contractuais de que os teus datos non se usan para adestrar nin se comparten con ninguén máis. Para bastantes clientes con dúbidas de privacidade iso resolve o problema sen montar servidores propios nin sacrificar calidade. Aínda non llo explicamos a ninguén sen que se lle relaxe un pouco a cara.

O que non teño tan claro é que pasa dentro de dous anos, cando os modelos abertos se acheguen máis en calidade aos pechados. Pode que a pregunta de “self-hosted si ou non” deixe de ser unha cuestión de sacrificar calidade e pase a ser puramente de custo operativo. Ou pode que os modelos grandes vaian sempre un paso por diante. Xa o veremos.