OpenAI explica por qué ChatGPT se inventa información

OpenAI explica por qué ChatGPT se inventa información: «Los incentivos están mal diseñados»

OpenAI ha lanzado un estudio que intenta abordar una cuestión crítica en el campo de la inteligencia artificial: ¿por qué ChatGPT se inventa información con tanta confianza a pesar de los avances tecnológicos? Este informe arroja luz sobre las alucinaciones de la IA, un fenómeno en el que los chatbots como ChatGPT generan respuestas que, aunque pueden sonar plausibles, son incorrectas.

 

¿Qué son las alucinaciones de la IA?

El término «alucinaciones de la IA» se refiere a errores en la interpretación de datos por parte de las máquinas. Por ejemplo, una inteligencia artificial que identifica objetos en imágenes podría «ver» un elefante en una playa donde no hay ninguno. Este tipo de errores no son inusuales en sistemas avanzados y se han multiplicado en los chatbots a medida que la tecnología ha evolucionado.

En su informe, OpenAI proporciona ejemplos específicos que dan a entender el motivo por el cual ChatGPT se inventa información. En una interacción, a un chatbot se le preguntó sobre el título de la tesis doctoral de Adam Tauman Kalai, uno de los autores del estudio, y ofreció tres respuestas incorrectas. Cuando le preguntaron sobre su fecha de cumpleaños, el modelo también proporcionó tres fechas distintas, ninguna de ellas correcta.

Las alucinaciones pueden surgir por diversas razones, como problemas en los datos de entrenamiento, errores en los algoritmos o restricciones en los sensores del modelo. Esto se traduce en generaciones que pueden incluir desde noticias ficticias hasta afirmaciones erróneas sobre personas o hechos científicos. OpenAI plantea que “los modelos de lenguaje producen declaraciones plausibles pero falsas” y señala que, a pesar de las mejoras, las alucinaciones seguirán siendo un “desafío fundamental”.

 

¿Por qué ChatGPT se inventa información y fallan los sistemas?

Una de las razones fundamentales que identifican los investigadores es el tipo de entrenamiento que reciben estos modelos. Estos sistemas son entrenados para predecir la próxima palabra en millones de frases pero no están diseñados para verificar la veracidad de los hechos que generan. Esto significa que el modelo puede ser bastante eficaz en contextos donde hay patrones típicos, como la gramática, pero cuando se enfrenta a datos menos comunes o más aislados, como fechas específicas o hechos poco repetidos, la IA tiende a inventar información.

Como se explica en el estudio, “los hechos arbitrarios de baja frecuencia no pueden deducirse de patrones, lo que provoca estas alucinaciones que el público generaliza como que ChatGPT se inventa información”, algo que también se ha mencionado en otros estudios sobre el comportamiento de modelos de lenguaje en contextos similares.

 

El problema de los incentivos

Más allá del entrenamiento, OpenAI también critica la forma en que se evalúan los modelos de IA. El problema no radica únicamente en la enseñanza sino en los criterios de evaluación que premian comportamientos incorrectos. En palabras del estudio, “las evaluaciones establecen incentivos erróneos”. Este concepto se asemeja al de exámenes de opción múltiple: si un estudiante se encuentra indeciso entre varias opciones, podría resultar más conveniente arriesgarse a adivinar que dejar la pregunta en blanco, que implicaría obtener un cero.

Los investigadores de OpenAI sugieren que, al igual que en algunos exámenes se penalizan las respuestas equivocadas, los modelos de IA deberían ser evaluados de manera que se penalice la información incorrecta con más severidad que la incertidumbre. “Las evaluaciones deben recompensar la expresión adecuada de dudas”, sugieren, enfatizando que, si un modelo no está seguro o sí ChatGPT se inventa información, debería reflejarlo en lugar de arriesgarse a proporcionar información incorrecta con seguridad.

 

ChatGPT se inventa información: Hacia nuevos indicadores de progreso en IA

Para lograr un progreso real en este ámbito, OpenAI argumenta que los benchmarks más utilizados en la industria deben cambiar su enfoque de puntuación. «Si solo modificamos pruebas secundarias, los incentivos para las evaluaciones principales seguirán promoviendo el error», advierten.

Este enfoque tiene la potencialidad de transformar cómo se entrenan y evalúan los sistemas de IA en el futuro, buscando la precisión y también fomentar la honestidad y la transparencia en sus respuestas, una evolución necesaria en la búsqueda de un avance responsable en la inteligencia artificial.