Évaluer les systèmes d’IA à l’aide de critères définis, de résultats attendus, d’études de cas et de retours d’expérience des utilisateurs.

Ce que vous apprenez à ce niveau

• Les apprenants définissent des critères permettant de déterminer si un système d’IA a bien accompli une tâche.

• Les apprenants examinent un système d’IA qui recommande de la musique inédite. En petits groupes, ils définissent des critères qui garantiront la réussite du système et comparent les recommandations du système pour des utilisateurs ayant des centres d’intérêt ou des historiques d’interactions différents.

Ce que vous apprenez à ce niveau

• Les apprenants évaluent les performances d’un système d’IA pour une tâche en utilisant des critères définis et des retours d’informations issus d’examens humains ou de tests de référence.

• Les apprenants identifient les stratégies qu’ils utiliseraient pour résoudre un jeu de mots. L’enseignant présente un exemple d’algorithme pour la même tâche. À l’aide de critères définis (par exemple, l’efficacité, la cohérence et la clarté), les apprenants comparent les stratégies de leurs camarades à l’algorithme, en identifiant les points forts, les limites et les compromis de chaque approche.

Ce que vous apprenez à ce niveau

• Les apprenants conçoivent leurs propres critères d’évaluation pour un système d’IA, comparent les performances en fonction de différentes entrées et de différents utilisateurs, et s’en servent pour proposer des améliorations.

• Par deux, les apprenants rédigent des propositions pour un outil d’IA et partagent leurs idées. Chaque apprenant pose à son partenaire une série de questions sur sa proposition. Ensuite, chaque partenaire remplit une carte de modèle afin d’identifier les utilisateurs visés et non visés, les impacts et les cas d’utilisation de l’idée de l’autre. Ils se font mutuellement part de leurs commentaires sur la base des cartes de modèles et révisent leurs propres propositions d’outils en conséquence.