Por que a IA ás veces se inventa cousas e como o detecto a tempo?

Hai un par de meses un desenvolvedor do equipo pasou tres horas buscando un método dunha libraría de JavaScript que, segundo ChatGPT, existía. Non existía. Soaba tan plausible —algo tipo Array.prototype.groupByAsync— que ninguén o comprobou ata que o build petou. Iso é unha alucinación: a IA non di “non o sei”, inventa unha resposta coa mesma seguridade que se fose certa.

E non é un bug raro que lle pase só a un modelo mediocre. Pásalle a todos, incluídos os bos. Un modelo de linguaxe non “sabe” cousas como sabe unha base de datos: predí a palabra seguinte máis probable segundo o que viu adestrando, e cando o tema é moi específico ou pouco documentado, esa predición pode soar perfecta por fóra e estar baleira por dentro.

O que aprendemos na axencia, máis que desconfiar da IA en bloque, é desconfiar de forma selectiva. Cando lle pido a un modelo un dato verificable —unha versión de libraría, o nome exacto dun método, unha cifra— trátoo como hipótese, non como feito. Se podo comprobalo na documentación oficial en 30 segundos, compróboo. Se non podo, non entra no código do cliente. Punto.

Hai patróns que axudan a pillalo antes de que sexa tarde. Canto máis nicho ou recente sexa o tema, máis probable a invención: unha libraría lanzada hai dous meses é terreo fértil para que o modelo encha ocos con algo verosímil. Se lle pides ao modelo a fonte exacta do que acaba de afirmar e a resposta é vaga, ou cambia entre intentos, mala sinal. E cando xera código, execútase, sempre. Un import que non resolve detéctase en dous segundos correndo o proxecto; a ollo, nunha revisión rápida, cólase sen que ninguén se decate.

Con clientes que non son técnicos isto é máis delicado, porque moitos dan por feito que se a resposta “vén da IA” e soa coherente, é correcta. Explícolles que un chatbot de atención ao cliente que se inventa un prezo ou unha política de devolucións non é un fallo estético, é un problema legal e de confianza real. Por iso cando montamos algo así case sempre o atamos a datos reais da empresa (con recuperación de documentos ou con prompts moi restrinxidos) en vez de deixar que o modelo “lembre” a información de memoria.

O que aínda non teño resolto do todo é como explicar este risco sen que o cliente acabe desconfiando de toda a ferramenta. Dicir “pode inventar cousas” soa a que non funciona, e non é iso: funciona moi ben para case todo, menos para os datos que non pode permitirse fallar. Ese matiz é o que máis custa transmitir nunha reunión de venda, e aínda non atopei a frase que o resuma sen soar a advertencia legal.