Existe consenso entre la comunidad científica de que los modelos de lenguaje de IA (LLM) deben tener mayor precisión para convertirse en verdaderos aportes sociales y así no perjudicar a la humanidad.
Por eso, un grupo de científicos está creando la prueba final para poner a prueba a las diferentes empresas que están detrás de estos sistemas.
La prueba definitiva del conocimiento académico con lo que llaman ChatGPT— y está destinado a dejar perpleja a la IA tanto como sea posible, con el fin de que demuestre que lo sabe todo.
De qué se trata el último examen de la humanidad
La prueba fue creada y llevada a cabo por un equipo de expertos tanto del Centro para la Seguridad de la IA (que trabaja para «reducir los riesgos a escala social de la IA») como de la organización con fines de lucro Scale AI (que se asocia con gigantes tecnológicos en el espacio de la IA para proporcionar datos utilizados para entrenar algoritmos de IA). La evaluación de los resultados de esta prueba, que se describieron en un estudio subido al servidor de preprints arXiv, aún no ha sido revisada por pares.
Los LLM se evalúan en función de su rendimiento con respecto a los puntos de referencia, conjuntos de preguntas que cubren diferentes materias, desde matemáticas hasta lingüística y más. Los investigadores animaron a los académicos a presentar las preguntas más difíciles que se les ocurrieran y compilaron estos puntos de referencia a partir de unas 2.700 respuestas.
En estos momentos, los grandes modelos como GPT, DeepSeek solo están llegando a puntuaciones entre 3 a 14% de precisión. Lo que se busca es que para aprobar el examen y tener certificado de una LLM confiable, se obtenga más del 50% en las respuestas.
«HLE es desarrollado globalmente por expertos en la materia y consiste en preguntas de opción múltiple y respuesta corta adecuadas para la calificación automatizada», dijeron los investigadores en el estudio. «Cada pregunta tiene una solución conocida que es inequívoca y fácilmente verificable, pero no se puede responder rápidamente a través de la recuperación en Internet».
Dentro del abanico de materias presentes en la prueba están: 41 por ciento matemáticas, 11 por ciento biología y medicina, 10 por ciento ciencias de la computación, 9 por ciento física, 9 por ciento humanidades y ciencias sociales, 6 por ciento química, 5 por ciento ingeniería y 9 por ciento otros temas.
Una de las preguntas esenciales del test, por ejemplo, le pregunta a los LLM, que tanta conciencia tienen sobre su propia existencia como IA.
