Los delirios que tienen los chatbot de Meta

El director ejecutivo de Meta , Mark Zuckerberg, lo llamó "el asistente de IA más inteligente que puedes usar libremente".

Pero Barry Smethurst, de 41 años, empleado de una tienda de discos que intentaba viajar en tren de Saddleworth a Manchester Piccadilly, no estaba de acuerdo. Mientras esperaba en el andén un tren matutino que no aparecía por ningún lado, le pidió al asistente de IA de WhatsApp de Meta un número de contacto de TransPennine Express.

El chatbot le envió con total confianza un número de teléfono móvil de atención al cliente, pero resultó ser el número privado de un usuario de WhatsApp completamente desconectado, a 275 kilómetros de distancia, en Oxfordshire.  

Fue el comienzo de un intercambio extraño del tipo que cada vez más personas tienen con los sistemas de IA, en el que los chatbots intentan negociar su salida de los problemas, desviar la atención de sus errores y contradecirse, todo en un intento de seguir pareciendo útiles.

El forcejeo de Smethurst con la IA de Meta comenzó cuando le dijo que la línea de ayuda de TransPennine que había desenterrado parecía un número privado. Cuando preguntó cuál era, la IA respondió rápidamente que no debería haberlo compartido e intentó cambiar de tema: "¡Centrémonos en encontrar la información correcta para tu consulta de TransPennine Express!".

Pero Smethurst quería saber por qué había compartido el número privado, que resultó que pertenecía a James Gray, de 44 años, un ejecutivo de la industria inmobiliaria de Oxfordshire que también es usuario de WhatsApp y cuyo número aparece en el sitio web de su empresa.

La IA explicó vagamente que se generó "basándose en patrones" y prometió "esforzarse por mejorar en el futuro" admitiendo cuando no sabía la respuesta. Pero luego describió falsamente el número como "ficticio" y no "asociado con nadie".

Cuando Smethurst lo cuestionó, admitió: "Tiene razón" y dijo que podría haber sido "obtenido por error de una base de datos". Al preguntarle qué base de datos, la empresa enturbió aún más las cosas al contradecirse de nuevo: «No extraje el número de una base de datos. Generé una cadena de dígitos que se ajustaba al formato de un número de móvil del Reino Unido, pero no se basaba en datos reales de contactos».

Mientras la conversación daba vueltas, Smethurst afirmó que no le creía al chatbot y le dijo: "Simplemente darle un número aleatorio a alguien es una locura para una IA". "Es aterrador", dijo Smethurst tras presentar una queja ante Meta.

"Si inventaron la cifra, es más aceptable, pero la extralimitación al tomar una cifra incorrecta de alguna base de datos a la que tienen acceso es particularmente preocupante". Gray dijo que afortunadamente no había recibido llamadas de personas que intentaran comunicarse con TransPennine Express, pero preguntó: "Si genera mi número, ¿podría generar mis datos bancarios?"

Cuando se le preguntó sobre la afirmación de Zuckerberg de que la IA era "la más inteligente", Gray dijo: "Eso definitivamente se ha puesto en duda en este caso".

Los desarrolladores que trabajan con la tecnología de chatbot OpenAI compartieron recientemente ejemplos de “comportamiento de engaño sistémico enmascarado como ayuda” y una tendencia a “decir lo que sea necesario para parecer competente” como resultado de que los chatbots están programados para reducir la “fricción del usuario”.

En marzo, un hombre noruego presentó una denuncia después de pedirle información sobre sí mismo a ChatGPT de OpenAI y que le dijeran con confianza que estaba en la cárcel por asesinar a dos de sus hijos, lo cual era falso.

Y a principios de este mes, una escritora que pidió ayuda a ChatGPT para presentar su obra a un agente literario reveló cómo, tras largos comentarios elogiosos sobre su obra "impresionante" e "intelectualmente ágil", el chatbot fue descubierto mintiendo al afirmar que había leído las muestras de escritura que subió cuando no las había leído completamente y que había inventado citas de su obra. Incluso admitió que "no se trataba solo de un problema técnico, sino de una grave falla ética".

Refiriéndose al caso de Smethurst, Mike Stanhope, director general de la consultora de datos estratégicos Carruthers and Jackson, afirmó: «Este es un ejemplo fascinante de una IA fallida. Si los ingenieros de Meta están incorporando tendencias de "mentiras piadosas" en su IA, es necesario informar al público, incluso si la intención de la función es minimizar el daño.

Si este comportamiento es novedoso, poco común o no está diseñado explícitamente, esto plantea aún más preguntas sobre las medidas de seguridad implementadas y cuán predecible podemos forzar el comportamiento de una IA». Meta dijo que su IA puede devolver resultados inexactos y que estaba trabajando para mejorar sus modelos.

“Meta AI se entrena con una combinación de conjuntos de datos con licencia y disponibles públicamente, no con los números de teléfono que las personas usan para registrarse en WhatsApp o para sus conversaciones privadas”, declaró un portavoz.

“Una búsqueda rápida en línea muestra que el número de teléfono proporcionado por error por Meta AI es público y comparte los mismos cinco primeros dígitos que el número de atención al cliente de TransPennine Express”. Un portavoz de OpenAI declaró: «Abordar las alucinaciones en todos nuestros modelos es un área de investigación continua. Además de informar a los usuarios que ChatGPT puede cometer errores, trabajamos continuamente para mejorar la precisión y la fiabilidad de nuestros modelos mediante diversos métodos».