evaluar los sistemas de IA utilizando criterios definidos, resultados esperados, casos de prueba y valoraciones de los usuarios.

Lo que aprendes en este nivel

• Los alumnos definen criterios para determinar si un sistema de IA ha realizado una tarea.

• Los alumnos analizan un sistema de IA que recomienda música nueva. En grupos pequeños, definen criterios para determinar qué haría que el sistema tuviera éxito y comparan las recomendaciones del sistema para usuarios con distintos intereses o historiales de interacción.

Lo que aprendes en este nivel

• Los alumnos evalúan el rendimiento de un sistema de IA en una tarea determinada utilizando criterios definidos y valoraciones procedentes de revisiones humanas o de pruebas de referencia.

• Los alumnos identifican las estrategias que utilizarían para resolver un acertijo de palabras. Los profesores presentan un algoritmo de ejemplo para la misma tarea. Utilizando criterios definidos (p. ej., eficiencia, coherencia, claridad, etc.), los alumnos comparan las estrategias de sus compañeros con el algoritmo e identifican los puntos fuertes, las limitaciones y las compensaciones de cada enfoque.

Lo que aprendes en este nivel

• Los alumnos diseñan sus propios criterios de evaluación para un sistema de IA, comparan el rendimiento con distintas entradas y distintos usuarios y los utilizan para proponer mejoras.

• Por parejas, los alumnos redactan propuestas para una herramienta de IA y comparten sus ideas. Cada uno de ellos formula a su compañero una serie de preguntas sobre su propuesta. A continuación, cada compañero rellena una ficha del modelo para identificar los usuarios previstos y no previstos, los impactos y los casos de uso de la idea del otro. Se intercambian valoraciones basadas en las fichas del modelo y revisan sus propias propuestas de herramientas en consecuencia.