Los modelos de IA divergen en dos de cada tres hechos, según un estudio

La industria de IA avanza rápido, a veces como un negociador que llega demasiado temprano a una sala aún poco iluminada. Sin embargo, sería peligroso convertir estos modelos en oráculos perfectos, colocados por encima de la realidad. Las versiones actuales siguen siendo betas masivas: poderosas, útiles, pero aún capaces de confundir matiz, contexto y verdad.

Cuando los gigantes de la IA negocian cada uno su propia realidad

Un estudio de Lenz Research sacude el ecosistema tecnológico. Los investigadores sometieron 1,000 afirmaciones reales a cinco modelos avanzados: GPT-5.4, Claude Opus 4.7, Gemini 3 Pro, Gemini 3 Pro con Search y Sonar Pro. Cada modelo debía elegir entre cuatro veredictos: verdadero, «mostly true», «misleading» o falso.

El resultado no es un simple error de bar. En 672 casos de 1,000, al menos una IA difiere de la mayoría, o no aparece ninguna mayoría estricta. En otras palabras, los modelos que se supone que verifican los hechos no firman el mismo contrato con la realidad. 

El informe precisa: 

Estas afirmaciones no son elementos de referencia con respuestas públicas; son afirmaciones presentadas por usuarios reales a una plataforma de verificación. 

Fuente: informe de Lenz Research

Este detalle pesa mucho: las IA ya no juegan en un terreno delimitado, sino en una negociación abierta con hechos rugosos.

Los modelos tecnológicos se agrietan tan pronto como el matiz entra en el trato

El problema no se limita a las alucinaciones clásicas, esas mentiras involuntarias servidas con traje de tres piezas. Aquí, las inteligencias artificiales a veces leen los mismos elementos, pero entregan juicios incompatibles. En el 34 % de los casos, el desacuerdo se vuelve sustancial, con al menos dos categorías de diferencia entre modelos.

La puntuación de Krippendorff alcanza solo 0.639. En derecho y en ciencia, esta cifra exige prudencia. Indica un acuerdo real, pero demasiado débil para tratar estos modelos como jueces intercambiables. El umbral frecuentemente aceptado para fiabilidad sólida ronda el 0.8.

El informe resume esta fractura: 

Los modelos convergen hacia veredictos definitivos; el medio de la escala es donde se fracturan.

 Fuente: informe de Lenz Research

De hecho, los consensos aparecen principalmente en los extremos. De 328 acuerdos unánimes, solo cuatro corresponden a «misleading». Ninguno se refiere a «mostly true».

Cuando varias máquinas verifican el mismo hecho, la sala se vuelve ruidosa

Los ejemplos citados muestran una dificultad concreta. Una afirmación sobre la cartera activa del Banco Mundial en Nigeria divide fuertemente a los modelos. GPT-5.4 elige «mostly true». Gemini 3 Pro responde «false». Gemini 3 Pro con Search prefiere «misleading». Por lo tanto, el usuario recibe tres tickets diferentes en la misma ventanilla.

Otro caso sensible: una afirmación relacionada con Donald Trump, Irán y una petición de aliados del Golfo. GPT-5.4 lo juzga falso, Claude Opus 4.7 responde «mostly true», Gemini 3 Pro responde falso, mientras que Gemini 3 Pro con Search responde verdadero. Para el lector, la promesa de clarificación se vuelve una feria de arbitraje algorítmico.

El estudio también recuerda que una mayoría de IA no equivale a verdad jurídica. Una máquina disidente puede tener razón contra cuatro otras. Esta reserva afecta a medios, docentes, empresas tecnológicas y servicios que ya automatizan sus controles.

Las cifras que agrietan el escaparate de IA

• Cinco modelos probados sobre 1,000 afirmaciones reales recientes;
• Desacuerdo observado en 672 afirmaciones de 1,000;
• Desacuerdo sustancial detectado en el 34 % de los casos;
• Acuerdo unánime obtenido solo en 328 afirmaciones analizadas;
• Ningún consenso «mostly true» entre los veredictos unánimes.

Este estudio no condena la IA; más bien recuerda su estado experimental. En septiembre pasado, una inteligencia artificial de Google había resuelto un problema matemático considerado imposible. La paradoja permanece espléndida: estos sistemas pueden dominar la abstracción científica, pero luego tropezar con verdades humanas ordinarias.