Los investigadores utilizaron el diccionario de la Real Academia de la Lengua (RAE) y El Quijote para evaluar el rendimiento de ChatGPT y su capacidad real.
ChatGPT se ha convertido en una de las herramientas de inteligencia artificial con mayor uso que otras plataformas similares, ya que es capaz de crear contenidos originales y tareas relacionadas con la lengua. Sin embargo, un estudio reciente señala que a pesar de su eficiencia, desconoce el 20% del léxico español y comete errores en el 80% restante.
De acuerdo con datos de OpenAI –la empresa que creadora–, cada semana, 100 millones de personas usan este chatbot para hacer tareas relacionadas con el lenguaje.
Sin embargo, aunque esta herramienta está entrenada para mantener conversaciones y generar textos, se sabe que puede producir respuestas que parecen plausibles pero que son completamente erróneas.
Es por esta razón y con el ánimo de evaluar el rendimiento de ChatGPT y su capacidad real, un equipo de investigadores españoles ha desarrolladouna aplicación, denominada ChatWord, que permite evaluar el conocimiento léxico de ChatGPT en varios idiomas.
Los investigadores utilizaron como referencia palabras recogidas en el diccionario de la Real Academia de la Lengua (RAE) y las que aparecen enEl Quijote de Miguel de Cervantes Saavedra, yasí lograron establecer que más de 900.000 palabras incluidas en el diccionario, el modelo de ChatGPT.5turbo desconoce 18.000 palabras de esas, es decir, el 20%.
Además, también encontraron que el 80% de las palabras del diccionario y el 90% de las palabras de El Quijote, ChatGPT cometió errores en cerca del 5% de los términos.
Por lo que llegaron a la conclusión de que el léxico que maneja la herramienta de inteligencia artificial puede ser considerado bastante pobre, por lo cual, y como “pasa muchas veces con los sistemas de inteligencia artificial, no es oro todo lo que reluce, y al analizar los significados que da ChatGPT de las palabras vemos que hay un porcentaje no despreciable en que el sentido que señala es incorrecto”, explicó Javier Conde, coautor del trabajo.
Fuente: elcolombiano.com
