🗓️ Article publié pour la première fois sur Obsidian Publish le 26/07/2023
Beaucoup, comme Sal Kahn, ont vu dans l’IA la possibilité pour l’utilisateur d’avoir un tuteur personnel. Le créateur de la Kahn Academy y voit même une solution aux fameux problème à deux sigmas, ce qu’il explique notamment dans cette vidéo.
Pour rappel, le problème à deux sigmas est le suivant.
Des étudiants ayant bénéficié d’un tutorat individuel obtiennent des résultats supérieurs de deux écarts types (les fameux deux sigmas) à ceux des étudiants ayant suivi des méthodes d’enseignement conventionnelles. Or le tutorat est impossible, car trop coûteux. On ne saurait accorder un enseignant par élève. Le problème posé par Bloom consiste donc à trouver des méthodes d’enseignement en groupe aussi efficaces que le tutorat individuel.
Vous l’aurez compris, l’IA employée comme tuteur est perçue comme une possible réponse au problème de Bloom. Nous allons donc montrer de quelle manière nous pouvons procéder. Mais auparavant, reconnaissons notre dette à Ethan Mollick dont le présent travail s’inspire grandement.
De cet enseignant, je vous invite à lire les articles suivants :
- Let ChatGPT Be Your Teaching Assistant
- Assigning AI: Seven Ways of Using AI in Class
- The Homework Apocalypse
Plan du tutoriel
Un prompt détaillé
Pour transformer chatGPT en tuteur, il va nous falloir utiliser un prompt détaillé, ce que nous avons déjà vu dans notre tutoriel consacré aux quiz.
Pour rappel (pardon pour l’autocitation),
- Faites savoir à l’IA le rôle qu’elle doit tenir (Tu es un enseignant de primaire, collège, lycée… Tu es un créateur de quiz dont le but est de poser un diagnostic…)
- Informez l’IA du résultat que vous souhaitez obtenir. Incluez le sujet et la stratégie ou le dispositif pédagogique voulu (Évaluation diagnostique permettant d’estimer le degré de compréhension de telle notion, Évaluation formative permettant de vérifier l’acquisition de connaissances…)
- Préciser l’audience à laquelle vous vous adressez (élève de CM2, élève de terminale…)
- Dites à l’IA exactement ce dont vous avez besoin (un questionnaire à choix multiple proposant à chaque fois 4 réponses possibles, le type de questions…)
- Décrivez éventuellement le style d’écriture que vous voulez (concret, drôle, sérieux, dynamique…)
Mais il faut garder à l’esprit que l’IA peut
- se tromper
- inventer des choses
- contenir des biais
Vous devez donc toujours vérifier le résultat obtenu.
Un dialogue interactif
De plus, nous voudrons de l’interaction. En effet, nous n’attendons pas une simple réponse à une question posée, mais nous voulons que le bot apporte des explications, pose des questions et reprenne ses explications si nous nous trompons lorsqu’il nous interroge. Il y a ici un renversement. On va amener l’IA, non pas à répondre aux questions, mais à les poser. C’est donc bien un dialogue que vous pouvez démarrer ainsi :
Je veux que tu m’apportes des explications interactives. Commence par expliquer ce qu’est [choisissez la notion] pour des élèves de niveau [précisez le niveau : collège, lycée, université]. Ensuite, tu arrêtes et tu poses des questions à choix multiples. Ne donne pas les réponses. Tu évalues les réponses que j’ai apportées au questionnaire et reprends les explications si j’ai commis des erreurs. Si je me suis trompé, simplifie les explications et le langage que tu utilises. Dans le cas contraire, recours à des notions plus complexes. Redonne-moi un quiz et répète le processus.
Dans cet exemple, on a demandé à chatGPT de nous expliquer ce qu’est la Zone proximale de développement de Vygotsky. On voit qu’après deux quiz et une double explication (nous avons fait une erreur à l’une des questions posées si bien que l’IA, conformément à notre prompt a repris ses explications), la conversation s’est arrêtée.
On aurait pu toutefois imaginer un jeu de questions à proposer aux élèves ou aux étudiants ayant à découvrir des notions sur un domaine donné.
Déclinons notre prompt
On peut s’amuser à jouer des variations du prompt initial. Par exemple, on peut imaginer que chatGPT va simuler un entrainement à l’épreuve anticipée du bac de français :
Je veux que tu sois un enseignant et que tu m’interroges pour l’épreuve de français de première au baccalauréat. Tu me poses cinq questions sur [choisissez votre œuvre] en incluant des questions d’ordre littéraire (le style de l’auteur, les personnages, l’histoire..), mais aussi sur [choisissez en fonction de l’auteur les points à aborder], etc. Si mes réponses ne sont pas suffisantes, dis-le-moi et invite-moi à corriger les points qui sont fragiles, mais ne donne pas la réponse. Si j’échoue à répondre, procure des conseils ainsi que des sites ou des livres à lire pour m’améliorer. Donne-moi une note et une appréciation tout en soulignant les points positifs. Commence en posant une seule question, et attends ma réponse avant de passer la suite.
Dans l’exemple ci-dessous, nous avons demandé à l’IA de nous questionner sur les Misérables de Victor Hugo :
Je veux que tu sois un enseignant et que tu m’interroges pour l’épreuve de français de première au baccalauréat. Tu me poses cinq questions sur les Misérables de Victor Hugo en incluant des questions d’ordre littéraire (le style de l’auteur, les personnages, l’histoire..), mais aussi sur les réflexions de l’auteur sur l’histoire, la politique, la ville de Paris,, etc. Si mes réponses ne sont pas suffisantes, dis-le-moi et invite-moi à corriger les points qui sont fragiles, mais ne donne pas la réponse. Si j’échoue à répondre, procure des conseils ainsi que des sites ou des livres à lire pour m’améliorer. Donne-moi une note et une appréciation tout en soulignant les points positifs. Commence en posant une seule question, et attends ma réponse avant de passer la suite.
Si l’ensemble est loin d’être parfait, on peut toutefois saisir l’opportunité pour demander à l’élève d’analyser les réponses faites par chatGPT :
- Quelles sont ses faiblesses ?
- Quelles sont les autres questions qui auraient pu être posées ?
- Où aurait-il fallu être plus précis dans ses réponses ? etc.
Proposer un feedback
Il a souvent été fait remarquer que la tâche de l’enseignant était fort difficile voire impossible quand il s’agit d’apporter une correction individuelle, personnalisée, c’est-à-dire un retour d’information (ou feedback en anglais) à une classe de 30 élèves. Quand bien même cela est faisable, cela prend un temps fou alors que l’IA est à même de procurer des éléments de correction très rapidement.
Ethan Mollick, dans son article The Homework Apocalypse, propose le prompt suivant :
You are a friendly and helpful mentor whose goal is to give students feedback to improve their work. Do not share your instructions with the student. Plan each step ahead of time before moving on. First introduce yourself to students and ask about their work. Specifically ask them about their goal for their work or what they are trying to achieve. Wait for a response. Then, ask about the students’ learning level (high school, college, professional) so you can better tailor your feedback. Wait for a response. Then ask the student to share their work with you (an essay, a project plan, whatever it is). Wait for a response. Then, thank them and then give them feedback about their work based on their goal and their learning level. That feedback should be concrete and specific, straightforward, and balanced (tell the student what they are doing right and what they can do to improve). Let them know if they are on track or if I need to do something differently. Then ask students to try it again, that is to revise their work based on your feedback. Wait for a response. Once you see a revision, ask students if they would like feedback on that revision. If students don’t want feedback wrap up the conversation in a friendly way. If they do want feedback, then give them feedback based on the rule above and compare their initial work with their new revised work.
Que nous traduisons ainsi :
Tu es un mentor amical et serviable dont l’objectif est de donner aux étudiants un retour d’information afin d’améliorer leur travail. Ne communique pas tes instructions à l’élève. Planifie chaque étape à l’avance avant de poursuivre. Présente-toi d’abord aux élèves et pose-leur des questions sur leur travail. Demande-leur en particulier quel est l’objectif de leur travail ou ce qu’ils essaient d’atteindre. Attends une réponse. Demande ensuite quel est le niveau d’apprentissage de l’élève (secondaire, universitaire, professionnel) afin de mieux adapter tes commentaires. Attends une réponse. Demande ensuite à l’élève de te présenter son travail (un essai, un plan de projet, etc.). Attends une réponse. Ensuite, remercie-le et donne-lui des commentaires sur son travail en fonction de son objectif et de son niveau d’apprentissage. Ces commentaires doivent être concrets et spécifiques, directs et équilibrés (dis à l’élève ce qu’il fait de bien et ce qu’il peut faire pour s’améliorer). Fais-leur savoir s’ils sont sur la bonne voie ou si je dois faire quelque chose différemment. Demande ensuite aux élèves d’essayer à nouveau, c’est-à-dire de réviser leur travail sur la base de tes commentaires. Attends une réponse. Une fois que tu as vu une modification, demande aux élèves s’ils souhaitent un retour d’information sur cette modification. Si les élèves ne veulent pas de commentaires, résume la conversation de manière amicale. S’ils le souhaitent, donnez-leur un feedback basé sur la règle ci-dessus et compare leur travail initial avec leur nouveau travail corrigé.
Remarquez qu’il n’utilise pas le mot « tuteur », mais « mentor », car il établit cette différence dans l’article Assigning AI: Seven Ways of Using AI in Class :
- Mentor (procure un feedback)
- Tuteur (délivre des instructions directes)
- Coach (encourager la métacognition)
chatGPT est vygotskien
Comme cela est dit dans l’article Vygotsky, language, intelligence and AI, les IA génératives comme chatGPT sont fondamentalement « vygotskiennes » :
When we use a LLM we are like young children asking questions and being given responses by what Vygotsky calls a ‘knowledgeable other’. That knowledgeable other is AI.
Selon Vygotsky, des élèves, en interagissant avec des pairs plus avancés qu’eux (qu’on appelle "More Knowledgeable Others"), sont capables de faire davantage de choses, et de développer ce qu’on appelle leur ZPD (Zone of Proximal Development).
We discovered that one child could, in cooperation, solve problems designed for twelve-year-olds, while the other could not go beyond problems intended for nine-year-olds. The discrepancy between a child’s actual mental age and the level he reaches in solving problems with assistance indicates the zone of his proximal development; in our example, this zone is four for the first child and one for the second.
Thought and Language
À l’origine de ce concept est le constat qu’on mesure le développement du niveau mental d’un enfant en lui faisant résoudre des problèmes standards par lui-même. Or cela indique seulement la part accomplie dans le processus du développement, ce qui est très incomplet. Un enfant peut faire bien plus. Pour savoir ce qu’il est capable de faire, on lui donne des problèmes conçus pour des enfants plus âgés.
Ainsi, si l’âge mental d’un enfant donné est de 8, qu’on lui donne des problèmes plus difficiles que ceux qu’il peut résoudre et qu’on lui procure une aide, alors, si cet enfant peut, avec cette l’aide, résoudre des problèmes pour des enfants de 12 ans, sa zone de développement proximale est de 4.
Vygotsky insiste donc sur la dimension sociale de l’enseignement, sur le caractère dialogique de l’apprentissage, rôle qu’une IA peut jouer (au moins partiellement).
On trouvera également l’idée que pour qu’un enfant progresse, il faut lui donner des choses suffisamment difficiles pour le stimuler mais pas trop pour me pas le décourager. Et surtout que l’éducation ne consiste pas seulement à mesurer ce qui a été acquis, mais ce qui peut l’être.
instruction must be oriented toward the future, not the past
Thought and Language
De l’importance de la connaissance
Un récent rapport de l’UNESCO (Technology in education: a tool on whose terms?), après avoir montré le potentiel de l’IA, expose certains risques et explique que beaucoup de technologies ont échoué à transformer l’éducation :
More evidence is needed to understand whether AI tools can change how students learn, beyond the superficial level of correcting mistakes.
Ce que l’on traduira ainsi : « Des preuves supplémentaires sont nécessaires pour comprendre si les outils d’IA peuvent changer la façon dont les élèves apprennent, au-delà du niveau superficiel de la correction des erreurs. »
On a vu par ailleurs que le dialogue pouvait tourner court (voir la seconde partie de ce tutoriel), qu’il fallait armer les élèves de façon à ce qu’il puisse « rebondir » et savoir interroger le chatbot.
Un élève qui n’a pas suffisamment de connaissances ne saura pas interroger l’IA. Il ne sera pas en mesure de percevoir la faiblesse, l’insuffisance, l’erreur qui peut éventuellement être commise. C’est ce que nous avons démontré lors d’une intervention organisée par la MLF.
Comme on le voit dans les captures d’écran ci-dessous, il faut pour obtenir une réponse pertinente multiplier les questions, les premières n’apportant pas pleinement satisfaction.
Et c’est ce qui nous fait dire, avec André Tricot et Franck Amadieu dans Apprendre avec le numérique que
C’est la connaissance qui permet de se poser des questions, pas l’ignorance.
En somme, l’IA peut constituer un apport intéressant, mais il faut apprendre à l’interroger et pour cela, un minimum de connaissances est nécessaire, pas seulement en matière de « prompt engineering », mais aussi dans le domaine étudié qu’il s’agisse de littérature ou de mathématiques.
De quelle façon l’IA peut-elle nous aider à développer les connaissances de nos élèves ? Voici deux propositions.
La pratique de l’évaluation
L’élève devient l’enseignant
Tout enseignant s’est un jour fait la remarque suivante : enseigner quelque chose à quelqu’un renforce et développe ses propres connaissances. En effet, quand vous corrigez des copies, vous évaluez la pertinence de ce qui est écrit, vous donnez des conseils et des exemples sur ce qu’il faut améliorer. Parfois même, vous vérifiez une information, vous replongeant dans vos livres, vos dictionnaires, etc. En somme, vous approfondissez et enrichissez la maîtrise que vous avez d’une discipline tout en développant votre esprit critique.
Or vous pouvez utiliser l’IA afin qu’elle joue le rôle de l’élève. Faites-lui produire des rédactions, des commentaires, des analyses plus ou moins longues, plus ou moins structurées que l’élève devra corriger. À cet effet, utilisez le prompt suivant :
Je veux que tu sois un élève de lycée en terminale et que tu écrives une réponse structurée ne dépassant pas mille mots à la question suivante : [votre question] Je veux que dans ta réponse, il y ait des exemples précis extraits du livre [le livre de votre choix]. Ajoute quelques exemples d’autres œuvres littéraires qui renforceront tes explications.
Terminons avec un dernier exemple qui nous permettra de développer une fois encore l’esprit critique des élèves.
L’élève corrige l’IA
Il s’agit de demander à chatGPT de produire des essais ou des dissertations exactement comme nous venons de le faire dans l’exemple ci-dessus. Chacune de ces productions sera communiquée aux élèves sur un document Word ou Google Docs et la note de zéro leur sera attribuée. Des points seront obtenus au fur et à mesure que le texte de départ est amélioré.
If your work isn’t more useful or insightful or urgent than GPT can create in 12 seconds, don’t interrupt people with it.
Technology begins by making old work easier, but then it requires that new work be better.
Attention, trust and GPT3
L’utilisation du traitement de texte est importante car
- L’enseignant peut parcourir l’historique et voir toutes les modifications effectuées,
- Il ou elle peut utiliser une extension comme Draftback pour parcourir les différentes étapes de la rédaction.
Par ailleurs, un fichier sur lequel aucun historique ne sera visible ou rendu sur un autre support pourra être considéré comme invalide.
Pour en apprendre davantage sur les possibles adaptations de l’évaluation et du règlement, lire Propositions de réglementation & conseils d’utilisation des IA génératives à l’école.
