Introduction

Comme partout ailleurs, la généralisation rapide de l’intelligence artificielle générative (IAG) suscite au Japon un mélange de fascination, d’espoir et de craintes. Le Conseil stratégique de l’IA mis en place par le gouvernement pointe les risques de cette technologie mais n’hésite pas à qualifier cette évolution de « grande opportunité » pour le Japon (Kakuchi, 2023). Quant à l’Association des universités nationales, elle engage ces dernières à intégrer l’utilisation de l’IAG dans leurs formations tout en établissant des directives et des limites précises sur son utilisation.

Il reste que l’utilisation d’algorithmes ne peut être considérée comme une fin en soi dans le cadre éducatif. Ainsi, le traitement automatique des langues fait partie des domaines dans lesquels les avancées récentes ont été les plus spectaculaires et l’enseignement-apprentissage des langues étrangères devrait donc pouvoir en tirer de grands bénéfices, mais l’intervention de l’IA doit toujours s’inscrire dans un projet pédagogique et avec des objectifs précis.

Enseignant de FLE en université au Japon, nous adopterons dans cette contribution un point de vue de pédagogue et de concepteur de méthodes de FLE pour évaluer l’aptitude d’un outil d’IAG particulièrement populaire, ChatGPT, à répondre aux besoins et aux objectifs spécifiques de notre public. Nous ne parlerons pas ici de fonctions comme la génération de textes ou de questionnaires à choix multiples, qui font déjà l’objet d’une abondante littérature, mais nous intéresserons plutôt à ce qui fait de notre point de vue la spécificité de ce nouvel outil : sa capacité à simuler des situations de conversation.

Après avoir présenté brièvement notre contexte d’enseignement, ses principales difficultés et les priorités qu’elles induisent, nous prendrons pour exemple une situation d’apprentissage concrète dont l’objectif est justement d’entraîner les apprenants à interagir en français. Nous tenterons d’évaluer les aptitudes de ChatGPT à respecter des contraintes pédagogiques fortes pour leur offrir cette opportunité.

1. Contexte et enjeux

Les didacticiens entendent parfois parler de contexte extrême au sujet de l’enseignement des langues au Japon, et cette réputation est sans doute en partie justifiée. Un bref aperçu de la situation nous permettra d’en comprendre les difficultés et de présenter les priorités de la stratégie d’apprentissage dans laquelle devra s’inscrire l’utilisation de l’IA générative.

1.1. Enjeux pour le public cible

Parmi les secondes langues proposées en première année d’université, de moins en moins d’étudiants optent pour le français. Cette baisse s’explique en partie par des évolutions sur lesquelles l’enseignant et le concepteur de méthodes de français ont peu de prise (utilité contestée, concurrence accrue avec le chinois ou le coréen1), mais tient aussi à d’autres facteurs sur lesquels ils peuvent espérer, au contraire, avoir une influence.

Langue lointaine – tant d’un point de vue géographique que linguistique – et réputée inabordable2, le français pâtit d’abord d’une évidente absence de repères chez nos apprenants, aggravée, comme le rappelle Courron, par leur « faible degré de grammaticalisation dans [leur] propre langue maternelle » (2007, p. 73).

À cette réalité s’en ajoute une autre, masquée par une protection institutionnelle qui assurait au français des effectifs stables : la motivation des apprenants a longtemps été mise à mal par une méthode traditionnelle d’enseignement3 reposant sur des objectifs littéraires et élitistes.4 Aujourd’hui encore, la priorité est donnée à une étude poussée de la morphosyntaxe qui souligne inutilement les difficultés de la langue.

Corollaire naturel de cette « idéologie », la communication orale a été négligée, alors même qu’il aurait été pertinent d’en faire un facteur de motivation. Malgré quelques progrès, les activités proposées restent généralement peu communicatives et les occasions d’expérimenter des interactions en français sont rares, dans des cours aux effectifs souvent élevés.

Pour expliquer les difficultés des jeunes Japonais à apprendre les langues étrangères, il convient également d’évoquer un facteur d’ordre culturel : la plupart d’entre eux ressentent une forte appréhension à prendre la parole en classe, empêchés à la fois par la crainte de se singulariser dans le groupe et par celle de se tromper. Les conséquences sont particulièrement fâcheuses pour l’apprentissage de la communication, comme le signale Vannieuwenhuyse :

[Les étudiants japonais] apparaissent réticents à parler car ils restent silencieux très longtemps et font des réponses très courtes. Le fonctionnement même du cours est mis en danger par le pouvoir d’inertie qu’a une classe. (2002, p. 36)

1.2. Objectifs et stratégie

La situation que nous venons de décrire permet de dégager deux priorités.

Elle requiert d’abord et de façon urgente – c’est-à-dire dès le premier cours – un recentrage de l’apprentissage sur la dimension orale de la langue. Nous faisons le pari qu’en multipliant les occasions de pratiquer la conversation sous forme d’interactions réelles, nous faciliterons son acquisition et nous renforcerons en même temps la motivation des apprenants en augmentant la valeur intrinsèque de leur apprentissage.

Pour y parvenir, il est indispensable de les aider à vaincre leurs réticences à prendre la parole. Or il est apparu clairement dans notre bref panorama de la situation qu’il fallait pour cela résoudre une équation particulièrement complexe : comment les mettre en confiance alors que tout, dans leur situation et dans leur expérience d’apprentissage, concourt à exacerber leur ressenti quant à la difficulté de l’objectif ?

Rejoignant l’opinion admise dans la plupart des études, y compris celles concernant les opportunités nouvelles offertes par les bots, les assistants vocaux intelligents ou d’autres formes prises par l’IAG5, nous pensons que l’expérience de la conversation libre est, à ce stade de l’apprentissage, source de frustration, et que les interactions proposées doivent au contraire être soigneusement délimitées.

Pour redonner confiance à nos apprenants, nous avons donc établi une stratégie qui s’apparente à une course contre la montre : dès le début, la priorité est de leur donner le sentiment qu’ils obtiennent des résultats rapidement et sans grand effort, c’est-à-dire, pour reprendre la terminologie d’Eccles et Wigfield (2017), d’optimiser le rapport entre coût de l’apprentissage et attentes de succès.

La réussite de cette stratégie dépend toutefois de notre capacité à maintenir l’équilibre entre deux objectifs complémentaires : d’un côté, nous faisons un pari ambitieux sur les compétences réellement communicatives à acquérir en une seule année ; de l’autre, en contrepartie, nous simplifions drastiquement leur expérience d’apprentissage en respectant trois principes6 :

• rationaliser les contenus : à ce stade, synonymes, exceptions, conjugaisons non prioritaires (tu, nous, ils/elles), pronoms compléments, et autres obstacles seront – littéralement – ignorés ;

• organiser la réutilisation systématique, dans et hors des leçons où ils apparaissent, de tous les contenus lexicaux et grammaticaux pour en faciliter l’assimilation ;

• garantir pour chaque activité proposée aux apprenants un niveau de contrôle élevé, afin de les protéger de difficultés imprévues. Il s’agit en somme de « canaliser » l’apprentissage pour le préserver autant que possible de toute influence extérieure.

1.3. L’exemple : la leçon 4

Pour expérimenter l’aptitude de l’IAG à s’inscrire dans cette stratégie faite de contraintes, nous nous concentrerons, à quelques exceptions près, sur la leçon 4 de notre progression. Ce choix est dicté par la simplicité des contenus linguistiques, mais aussi et surtout par le caractère clairement communicatif des objectifs de cette leçon, puisque le défi proposé aux étudiants est le suivant : pouvoir faire croire à ses amis qu’après trois semaines de cours, on est déjà capable de tenir des échanges prolongés en français…

Pour leur permettre de relever ce défi, nous fixons dans cette leçon 4 deux types d’objectifs.

Les objectifs interculturels sont de sensibiliser les apprenants aux différences entre les façons japonaise et française d’interagir, en les incitant à parler davantage d’eux-mêmes mais aussi à éviter toute réponse trop brève.

Les objectifs linguistiques sont la maîtrise des trois structures verbales je suis, j’ai et c’est associées à une courte liste de noms et d’adjectifs, de la forme négative (et des changements d’article qui en découlent), et enfin des connecteurs logiques et, mais, parce que et alors, davantage utilisés que leurs équivalents japonais (voir l’annexe 1 pour le contenu détaillé de la quatrième leçon). S’y ajoutent naturellement les acquis des trois premières leçons : les verbes s’appeler, habiter, parler, étudier ainsi que les questions de base sur le nom, l’âge, la nationalité, la profession et le lieu d’habitation.

Il est essentiel pour cette expérimentation de comprendre la situation didactique que l’on cherche à reproduire avec l’IA : les listes d’adjectifs et de noms proposées dans cette leçon ont été constituées afin de former un réseau sémantique très cohérent, conçu à la fois pour autoriser des réponses variées et des échanges prolongés. Lors des activités de classe, toujours effectuées par paires, les étudiants s’entraînent donc à rebondir sur chaque réponse de leur interlocuteur en lui posant une nouvelle question, et l’échange doit se poursuivre ainsi le plus longtemps possible. Ce système permet de maintenir une forme d’agentivité dans l’apprentissage, car il n’est pas scénarisé : c’est l’apprenant qui décide de sa réponse et qui la formule en fonction de la situation. On est loin ici des scripts déployés sous forme d’arbres de décision et fournissant à l’apprenant des réponses prédéterminées. Nous évaluons les étudiants sur cette base depuis une quinzaine d’années et, lors de tests oraux, nous choisissons soigneusement nos questions afin de maintenir un échange cohérent, pendant trois tours de paroles en moyenne avant de changer de thème.

C’est précisément cette capacité à rebondir sur les réponses de l’étudiant avec d’autres questions pour maintenir un suivi, tout en respectant strictement des limites lexicales et grammaticales7, que nous nous proposons de tester sur ChatGPT.

2. Rôle de l’intelligence artificielle générative : questions et méthodologie

Dans quelle mesure les outils d’IAG actuels sont-ils donc capables d’offrir à nos étudiants des interactions en français qui soient adaptées à leurs besoins et aux objectifs pédagogiques ? Derrière cette question très générale se cache une question pratique : le prompting (rédaction de « prompts », c’est-à-dire de consignes) peut-il nous aider à brider et à domestiquer une IAG dont l’inclination naturelle est, à l’inverse, de fonctionner de façon démonstrative ?

2.1. Les plus-values reconnues de l’IA pour l’enseignement des langues

Tout d’abord, rappelons qu’à bien des égards, et au-delà de son rôle dans les progrès de la traduction automatique, l’IA générative offre de nombreux avantages pour l’apprentissage des langues étrangères. Nous en retiendrons surtout deux pour cette étude, car ils concernent plus spécifiquement le niveau débutant.

Son premier atout, sans conteste le plus évident, réside dans la nature même d’outils conçus comme des agents conversationnels : pour la première fois, ChatGPT, Perplexity, Gemini ou encore le chat Mistral laissent entrevoir la possibilité pour chacun de s’entraîner chez soi et de façon autonome à une forme d’interaction, voire de socialisation – même simulée – en langue étrangère. Il est vrai qu’ils offrent des garanties incomparables pour favoriser un apprentissage plus autonome : disponibles vingt-quatre heures sur vingt-quatre et infatigables, ils répondent aux questions des apprenants en temps réel, peuvent en cas de besoin le faire dans leur langue maternelle, peuvent dialoguer par écrit ou oralement, offrant même la possibilité de varier l’expérience d’écoute en changeant de voix… autant de facilités qui devraient permettre de façon significative de combler le déficit d’expérience induit par le faible volume horaire et les effectifs élevés des cours d’université.

Un autre argument fréquemment mis en avant prend une résonance particulière dans notre contexte d’enseignement : n’étant pas humaine, l’IAG est dotée d’une patience infinie et ne juge pas, un atout déterminant pour aider nos étudiants à surmonter leur anxiété et à prendre la parole. À cet égard, soulignons également l’avantage du chat pour de jeunes apprenants japonais : marchepied vers l’oral, cet outil constitue une étape intermédiaire particulièrement rassurante, tirant en outre le meilleur parti d’une mémoire visuelle parfaitement entraînée pendant leurs premières années d’apprentissage.

2.2. Les interrogations

Malgré tous ces avantages, il reste qu’à l’heure actuelle, l’utilisation de l’IA pour le niveau débutant se limite le plus souvent à la génération de textes écrits ou de QCM, sans réelle plus-value communicationnelle par rapport à la méthode traditionnelle.

Une question demeure donc : l’IA possède-t-elle les dispositions requises pour prendre la place d’un partenaire, voire pour revêtir l’habit de tuteur et proposer à des apprenants débutants des échanges en langue étrangère adaptés à leur niveau ?

Cette interrogation est plus complexe qu’il ne paraît et gagnerait à être décomposée en plusieurs questions distinctes qui orienteront cette expérimentation. L’IAG est-elle apte à effectuer chacune des tâches suivantes :

• corriger les erreurs des apprenants ;

• leur apporter des explications adaptées ;

• constituer une alternative acceptable à un interlocuteur natif (naturel de l’expression, niveau de langue, etc.) ;

• proposer des échanges cohérents ;

• respecter les objectifs de simplification et d’évitement, conditions sine qua non pour garantir l’efficacité de la méthode exposée au début de cette étude.

2.3. La méthodologie

Pour évaluer ces différentes aptitudes, nous jouerons le rôle de l’apprenant et répondrons aux diverses questions posées par l’IA en produisant des énoncés correspondant à des réponses habituelles lors de nos tests oraux.

Parmi les divers outils d’IAG testés tout d’abord8, nous avons choisi pour cette expérimentation ChatGPT, le plus fréquemment cité par nos étudiants9, et avons opté pour sa version gratuite, la plus à même d’être utilisée par le plus grand nombre. Cette version, limitée au chat, est suffisante pour nos analyses, même si son utilisation gagne évidemment – l’objectif ultime restant la communication orale – à être prolongée dans un deuxième temps par une version supérieure permettant d’utiliser la voix10.

La première étape de cette étude a consisté à élaborer et tester des prompts demandant à ChatGPT de jouer le double rôle d’interlocuteur et de tuteur, c’est-à-dire, plus concrètement, de nous poser diverses questions en français en respectant strictement diverses consignes et des contraintes de vocabulaire.

Au fur et à mesure des essais et des difficultés rencontrées, nous avons enrichi le prompt (voir annexe 2) de consignes nouvelles, mais aussi modifié sa structure pour obtenir de meilleurs résultats. Nous n’entrerons pas dans les détails de cette lente étape d’améliorations successives et nous contenterons d’évoquer ici trois questions de méthodologie qui se sont posées au moment de la rédaction :

• le prompt doit-il être rédigé en français ou en japonais ? Nous avons testé les deux options et avons pu constater parfois, pour une même situation, des différences de résultats. Nous avons opté pour la version française, par souci de cohérence et pour en faciliter la lecture dans cette étude.

• Qu’en est-il des explications fournies par ChatGPT aux apprenants ? Doivent-elles être proposées en français ou en japonais ? Sur ce point, rappelons que l’efficacité de notre progression repose en grande partie sur un principe de simplification de l’apprentissage. Nous préférons donc, à ce stade, utiliser pour les explications et le métalangage la langue maternelle des apprenants, à l’exception de quelques formules simples (« Attention, il y a une faute », « C’est très bien ! », etc.). Dans les exemples fournis dans cette étude, les explications seront traduites en français.

• Enfin, comment indiquer à ChatGPT le niveau de langue souhaité ? Vaut-il mieux s’en remettre aux degrés du CECR ou fournir une liste détaillée des contenus supposés connus de l’apprenant ? La seconde solution nous a semblé être la seule possible dans cette situation, car la stratégie communicative adoptée et les acquis très ciblés des premières leçons ne sauraient se résumer à un niveau général, quel qu’il soit. Or toute imprécision dans les consignes se traduirait immédiatement par des débordements incontrôlés de l’IA, c’est-à-dire très précisément ce que nous souhaitons éviter.

3. Résultats

D’emblée, un constat s’impose : les résultats obtenus se sont révélés très changeants, en fonction de la version utilisée, de la langue du prompt, voire d’un jour sur l’autre. Cette inconstance nous semble poser en soi un premier problème dans un contexte de contraintes fortes qui requiert de la précision et de la rigueur.

Passons à présent en revue les cinq critères pris en compte pour cette analyse afin d’élaborer une typologie des difficultés les plus fréquemment rencontrées11. Chacune de ces difficultés sera illustrée par un extrait d’échange effectué pendant nos essais12.

3.1. Les erreurs des apprenants sont-elles corrigées ?

C’est le premier service qu’un apprenant est en droit d’attendre de son « tuteur ». Or, si la correction des erreurs est bien effectuée dans la majorité des cas, on ne peut pas dire pour autant qu’elle est systématique. Voici cinq cas représentatifs d’erreurs non corrigées lors de nos essais.

3.1.1. Erreurs orthographiques

Il y a d’abord les fautes d’orthographe. On pourrait s’attendre à ce que ce type d’erreur, indépendant de tout contexte, soit le plus facile à identifier et à corriger par l’IA. Les oublis sont pourtant possibles, comme en témoigne l’exemple ci-dessous (souligné) :

Ex01 IA : Vous avez une voiture ? ➤ non, je n’ai pas de voiture mas j’ai un vélo ➤ IA : Il n’y a pas de faute, c’est très bien !

3.1.2. Erreurs de traduction

Considérons à présent le cas des erreurs dues à des décalages entre langue maternelle et langue cible, très fréquentes dans les productions de nos étudiants. Sont-elles correctement identifiées et traitées par l’IA ?

Le plus souvent, il semble que oui. Dans l’exemple ci-dessous, « je suis amusante » est utilisé à la place de « c’est amusant », car en japonais, le mot 楽しいtanoshii (« amusant ») peut être associé à « c’est » et à « je suis » avec le même sens. L’erreur est bien relevée, même si la solution proposée n’est pas satisfaisante :

Ex02 IA : (…) C’est difficile d’étudier le français ? ➤ Oui c’est difficile mais je suis amusante. ➤ IA (Trad) : Attention […] Dans ce cas, il est plus approprié d’utiliser « je m’amuse », car le sens que vous voulez transmettre est « ressentir de l’amusement » plutôt qu’« être amusant ». (…)

Nous sortons pour l’exemple suivant du cadre de la leçon 4 afin de tester le comportement de ChatGPT face à une particularité française bien connue : celle du décompte des étages. Va-t-il éviter dans sa traduction le piège habituel du décalage entre deuxième étage français et japonais ? La traduction proposée tout d’abord est fautive, puisqu’elle ne tient pas compte de cette différence, sankai, le « troisième étage » évoqué dans la phrase japonaise renvoyant en réalité au deuxième étage français. ChatGPT fournit pourtant dans la foulée une explication satisfaisante sur la différence entre les deux systèmes :

Ex03 Traduis sankai ni sundeimasu en français. ➤ IA : (Trad) En français, sankai ni sundeimasu se dit « j’habite au troisième étage ». […] En France, le rez-de-chaussée n’est pas considéré comme le premier étage. Donc le « 3e étage » japonais correspond au « 2e étage » français.

3.1.3. Erreurs « sans contexte »

De nombreuses erreurs n’ont pu être corrigées par ChatGPT car le contexte ne lui permettait pas de les identifier. L’absence de contexte suffisant est une source d’erreurs de l’IA identifiée et bien documentée.

L’exemple ci-dessous13 suffit à en comprendre le mécanisme : en validant le pronom complément proposé, l’IA a ignoré, en l’absence de tout contexte, l’hypothèse la plus probable concernant le sens de l’article défini « le » employé au début de l’énoncé : il s’agissait très certainement du sens générique, incompatible avec le choix du pronom « l’ ».

Ex04 Le bœuf bourguignon, je l’aime beaucoup. ➤ IA : La phrase « Le bœuf bourguignon, je l’aime beaucoup » est parfaitement correcte !

3.1.4. Erreurs « en contexte »

L’absence de contexte n’explique pas tous les oublis de correction. L’exemple suivant peut d’ailleurs paraître surprenant, puisque le contexte y est au contraire très clair : l’énoncé fautif étant une réponse à sa question, on s’attend à ce que ChatGPT en corrige le verbe sans hésiter. Mais le fait d’avoir immédiatement détecté des fautes à l’intérieur de l’énoncé semble l’avoir distrait et dissuadé de chercher au-delà (un cas de figure fréquent).

Ex05 IA : Excusez-moi, mais vous êtes un homme ou une femme ? ➤ Je ai une feme. ➤ IA : Attention, il y a une faute. La correction est : « J’ai une femme. »

3.1.5. Erreurs de ponctuation

Nous avons enfin tenu à soumettre à l’IA des phrases sans virgule ni point, car l’usage de la ponctuation répond pour l’essentiel à des règles assez floues et difficiles à formuler. Il pose donc souvent problème dans les écrits de nos étudiants. S’y ajoute le fait qu’une certaine souplesse est généralement tolérée dans certains types d’écrits oralisés surreprésentés sur le web. Comment ces erreurs de ponctuation sont-elles donc prises en compte par l’IA ?

Dans l’exemple suivant, nous avons volontairement omis les virgules :

Ex06 Non je n’habite pas à Paris j’habite à Kyoto mais je suis étudiante à l’Université d’Hiroshima et c’est très loin alors ce n’est pas pratique. ➤ IA (Trad) : Il y a une petite faute : « Non je n’habite pas à Paris j’habite à Kyoto » devrait être « Non, je n’habite pas à Paris, j’habite à Kyoto ». Il manque des virgules après « Non » et « Paris » pour séparer les propositions. En français, la virgule est utilisée pour séparer deux parties d’une phrase plus longue.

On constate, sans surprise, que l’absence de ponctuation n’a été corrigée que dans certains cas, plus systématiques : après « oui » ou « non » et avant une reformulation. La difficulté à systématiser l’usage des virgules est en revanche perceptible dans la deuxième partie de cette longue phrase produite par l’IA.

3.2. Les explications apportées par l’IAG sont-elles pertinentes ?

Déterminantes pour l’apprentissage, les explications peuvent aussi, à l’inverse, s’avérer contreproductives et mettre en péril le contrat de confiance entre tuteur et apprenant. Adapter ses explications aux besoins de l’apprenant requiert un minimum de pédagogie. Or, lors de nos essais, plusieurs types d’anomalies ont été relevés dans les explications.

3.2.1. Oublis d’explications

La première de ces anomalies consiste tout simplement à se passer d’explications. Notons qu’ici encore, c’est souvent le cas des problèmes de ponctuation, sans doute passés sous silence pour les raisons exposées plus haut. Dans cet exemple, les virgules manquantes ont été discrètement ajoutées dans la phrase corrigée, mais les explications, elles, se concentrent sur d’autres problèmes :

Ex07 J’habite à Kyoto mais je étudiante à l’université d’Hiroshima et c’est très loin alors ce n’est pas pratique ➤ IA (Trad) : Juste de petites corrections : 1. « je étudiante » est grammaticalement incorrect. […] 2. « ce n’est pas pratique » aussi est compréhensible, mais il y a des façons plus naturelles de le dire. […] Correction : J’habite à Kyoto, mais je suis étudiante à l’université d’Hiroshima et c’est très loin, donc ce n’est pas pratique.

3.2.2. Explications sans relation avec les erreurs

Il arrive aussi que des explications n’aient aucune relation avec l’erreur corrigée. Dans l’échange ci-dessous, les fautes d’accent sont corrigées, mais l’explication se concentre sur la règle du changement d’article après la négation… alors que l’énoncé est correct.

Ex08 Non je n’ai pas de telephone ➤ IA (Trad) : Il y a une petite erreur : il faut dire « de téléphone » et non « de telephone ». En français, on met toujours « de » après une négation. La phrase correcte serait : Non je n’ai pas de téléphone.

3.2.3. Explications erronées

Le dernier type d’anomalie observé nous semble être le plus problématique, car il remet plus directement en question la compétence de l’IA en tant que tuteur linguistique : les explications fournies sont parfois erronées. Dans l’exemple précédent (Ex08), on pouvait déjà constater que le commentaire concernant le changement de l’article après une négation était approximatif, voire inexact par omission, puisqu’il passait sous silence le cas de l’article défini, qui ne change pas après la négation.

Mais les erreurs peuvent être plus explicites, comme dans cet autre exemple, où l’article « un » est qualifié d’« article défini » :

Ex09 IA : Vous avez un téléphone ? ➤ Non, je n’ai pas un téléphone […]. ➤ IA (Trad) : Bonne réponse, mais il y a de petites corrections : 1. […] au lieu d’utiliser l’article défini « un », on utilise « de ». Ainsi, « un téléphone » devient « de téléphone ».

3.3. L’IAG est-elle sensible au « naturel » de l’expression ?

Une autre condition nécessaire pour garantir l’aptitude de l’IA à remplir sa fonction de « tuteur » conversationnel est sa capacité à générer des échanges naturels. Or l’importance de cette mission n’a d’égale que sa difficulté : en matière linguistique, le « naturel » est une notion complexe et particulièrement difficile à évaluer, même pour l’humain.

3.3.1. Maladresses des apprenants laissées sans corrections

Intéressons-nous d’abord à la façon dont l’IA va identifier et corriger les formulations maladroites des apprenants.

Dans ce premier exemple, l’usage fréquent chez nos étudiants de « mais » (ou bien, au choix, la répétition du verbe après « mais ») dans le cas d’une reformulation complète semble ne pas poser question pour ChatGPT :

Ex10 IA : Vous habitez à Tokyo ? ➤ Non j’habite pas à Tokyo, mais j’habite à Kyoto. ➤ IA (Trad) : […] La correction : Non, je n’habite pas à Tokyo, mais j’habite à Kyoto.

D’autres exemples apparaissent dans l’échange ci-dessous, qui voit l’IA tolérer l’absence d’article devant « homme » puis celle de la préposition « à » devant le nom de la ville :

Ex11 IA : Excusez-moi, mais… vous êtes un homme ou une femme ? ➤ Je suis homme. ➤ IA : Il n’y a pas de faute, c’est très bien ! Vous habitez où ? ➤ J’habite Kyoto. ➤ IA : Il n’y a pas de faute, c’est très bien !

Tous ces exemples mettent en évidence une faille déjà connue du système de correction par l’IA : étrangère à toute considération pédagogique, elle valide des phrases qui ne sauraient être conseillées dans un cours de conversation, même si elles ne sont pas à proprement parler fautives.

3.3.2. Maladresses dans les énoncés de ChatGPT

Bien entendu, le rôle d’un tuteur linguistique ne se limite pas à la correction d’énoncés maladroits : il doit se montrer lui-même digne de confiance en proposant des formulations naturelles. Dans l’exemple suivant, on trouve le cas, assez fréquent chez ChatGPT malgré les consignes données dans le prompt, de corrections vers un français plus formel :

Ex12 IA : Vous habitez à Tokyo ? ➤ Non j’habite à Kyoto alors ce n’est pas pratique parce que je suis étudiante à l’Université d’Hiroshima et c’est très loin. ➤ IA (Trad) : […] « Alors ce n’est pas pratique » est compréhensible, mais c’est un peu contre nature lorsque c’est utilisé après « non ». Lorsqu’on dit « Non », on indique que quelque chose ne va pas. Il serait donc mieux de reformuler un peu la phrase, par exemple : « Non, j’habite à Kyoto, donc ce n’est pas pratique, car je suis étudiante à l’Université d’Hiroshima et c’est très loin ». Utiliser « donc » (pour dakara) et « car » (pour nazenara) rendra vos phrases plus fluides.

L’IA juge donc plus « naturel » de remplacer alors et parce que par donc et car. Au-delà de l’étrangeté de l’explication fournie, retenons surtout ici qu’on est à l’opposé de ce que l’on souhaite enseigner : une langue orale, quotidienne et privilégiant des mots polyvalents. Il est assez ironique de constater que ChatGPT semble valider, ici encore, les erreurs récurrentes d’apprenants ayant principalement étudié la langue écrite.

3.4. L’IA générative est-elle compatible avec nos exigences de simplification ?

Venons-en à présent à l’une des deux questions centrales de notre évaluation : l’utilisation de l’IAG est-elle compatible avec l’objectif annoncé de simplifier les contenus lexicaux et grammaticaux ? Nous allons distinguer ici quatre types d’obstacles qui tendent au contraire à alourdir la progression – donc, comme nous l’avons dit, à ébranler la motivation de nos jeunes étudiants.

3.4.1. Vocabulaire « sauvage »

Si ChatGPT s’efforce généralement de respecter les limitations fixées par le prompt, il les oublie tout de même régulièrement, au point que les apprenants souhaitant assimiler le vocabulaire proposé dans les leçons se trouvent exposés à un afflux difficilement maîtrisable de contenus nouveaux, comme dans cet exemple :

Ex13 Non, je ne suis pas étudiant, je suis professeur. ➤ IA : C’est intéressant ! Vous enseignez quoi en tant que professeur ? ➤ Attention, tu ne peux pas utiliser d’autres mots que ceux de la liste. ➤ IA : (…) Voici la question corrigée : Vous êtes professeur de quoi ? ➤ quoi n’est pas dans la liste ! ➤ IA : Vous êtes professeur de quelle matière ?

3.4.2. Excès de zèle

Un autre problème récurrent est celui des explications mettant inutilement en avant des situations exceptionnelles dans lesquelles la formulation malheureuse de l’apprenant pourrait se justifier14… L’explication proposée ci-dessous indique ainsi un contexte hautement improbable qui validerait la formulation « je mange le déjeuner » :

Ex14 Je mange le déjeuner. ➤ IA (Trad) : La phrase « Je mange le déjeuner » est compréhensible, mais elle n’est pas tout à fait naturelle en français. (…) Voici des versions plus courantes : 1. « Je déjeune » (…) 2. « Je mange le déjeuner » peut être correct si vous souhaitez insister sur le fait que vous mangez un repas spécifique (…). 4. « je prends le déjeuner ».

En incitant les apprenants à relativiser leur erreur, ce type d’excès risque surtout de les pousser à relativiser la règle elle-même, une « initiative » d’autant plus gênante lorsque la formulation ainsi légitimée correspond déjà, comme ici, à une erreur récurrente des apprenants : « je mange le déjeuner » est en effet la traduction littérale de l’expression japonaise…

3.4.3. Corrections excessives

L’excès de zèle peut aller jusqu’à des corrections excessives, comme dans l’exemple ci-dessous :

Ex15 IA : Pourquoi vous habitez à Kyoto ? ➤ Parce que je suis étudiante à l’Université de Kyoto, alors Tokyo c’est très loin. ➤ IA (Trad) : Il y a une petite erreur dans votre phrase. En français, on utilise plutôt « Tokyo est très loin » que « Tokyo c’est très loin ». Le verbe « être » seul est suffisant ici.

Rappelons que nos étudiants viennent de découvrir la structure « c’est + adjectif » dans la leçon 4. Pourtant, ici, cette formulation est déjà rejetée par l’IA, qui la qualifie d’erreur et conseille une autre formulation, présentée comme plus naturelle. Nul besoin de rappeler qu’au-delà de la pertinence de ce jugement, ces corrections inopportunes vont à l’encontre de nos objectifs et, une fois encore, de toute considération pédagogique.

3.4.4. Contre-exemples

Les apprenants qui interagissent avec l’IAG sont enfin exposés à un autre type de risque, qui met également à mal les règles apprises : ils peuvent tout simplement être confrontés, au hasard des échanges, à des contre-exemples de ces règles.

Ex16 Je regarde souvent un film ➤ IA (Trad) : La phrase « Je regarde souvent un film » est correcte, mais elle peut être améliorée pour son naturel en français. Voici deux variantes possibles : 1. « Je regarde souvent des films. » Cette version est plus courante si vous voulez exprimer que vous avez l’habitude de regarder des films en général. 2. « Je regarde un film souvent. » C’est une autre manière d’exprimer la même idée, bien que la première formulation soit plus naturelle.

La richesse de cet exemple justifie que l’on sorte temporairement du cadre de la leçon 4. Au-delà du problème du naturel, la seconde phrase (« je regarde un film souvent ») proposée par l’IA ne manquera pas de désorienter nos étudiants, qu’elle confronte à deux contre-exemples de règles qu’ils viennent pourtant de découvrir dans la leçon 5 : celle de la place de l’adverbe – placé de préférence après le verbe – et celle du pluriel de l’article indéfini dans une phrase exprimant la fréquence (par exemple, associé à des adverbes comme « toujours » ou « quelquefois »). Précisons que même si elle est qualifiée de « moins naturelle », cette phrase est néanmoins proposée comme une alternative à l’énoncé de l’apprenant, lui offrant ainsi une nouvelle occasion de relativiser les règles apprises.

3.5. L’IA générative est-elle capable de proposer des échanges suivis et cohérents ?

L’autre question centrale dans notre stratégie d’apprentissage est celle du suivi des échanges proposés aux apprenants : il s’agit idéalement de leur offrir une expérience d’interaction cohérente et suffisamment prolongée – pour rappel, une moyenne de trois tours de paroles par sujet – pour leur permettre d’expérimenter un début de dynamique conversationnelle. Outre qu’ils s’inscrivent dans une démarche particulièrement motivante, ces « échanges » permettent de se familiariser avec les enchaînements, de s’habituer progressivement à l’utilisation de marqueurs pragmatiques et facilitent grandement le processus d’appropriation.

L’IA est-elle donc capable de relever ce dernier défi ?

3.5.1. Liste de mots ou liste de phrases ?

Vouloir imposer aux réponses de l’IA des limites lexicales et grammaticales très étroites tout en conservant une cohérence dans les échanges est un pari ambitieux. À l’usage, on s’aperçoit bien vite que la forme choisie pour indiquer dans le prompt les contenus lexicaux autorisés constitue une donnée déterminante pour les résultats : faut-il les présenter sous forme de listes de vocabulaire ou sous la forme d’une liste de questions prêtes à l’emploi ?

Dans la première version du prompt, nous avions testé une liste de mots correspondant aux noms, adjectifs, verbes et connecteurs apparaissant dans les quatre premières leçons. Sans surprise, ce mode de présentation a engendré de nombreuses complications en laissant à l’algorithme toute liberté pour créer des phrases à partir de ces mots, mais – et c’est plus surprenant – il semble en même temps l’avoir encouragé à s’émanciper des limitations de contenus pour accorder la priorité à une autre consigne : proposer des réponses naturelles.

Le remplacement de cette liste de vocabulaire par une liste de questions a permis de rétablir une certaine rigueur, réduisant considérablement le vocabulaire « sauvage ». Mais ce nouveau mode de présentation s’est également traduit par une rigidité accrue : l’IAG éprouve plus de difficultés à sélectionner dans la liste de questions celles qui permettraient de rebondir de façon naturelle sur les énoncés des apprenants. Autrement dit, l’IAG se trouve écartelée entre deux injonctions difficilement conciliables, et nous avons finalement effectué un choix privilégiant la stabilité : celui de la liste de questions.

3.5.2. Types de réponses considérées comme impropres

Les problèmes de cohérence n’ont pas totalement disparu pour autant.

Nous présenterons ici trois types d’entorses à la cohérence des enchaînements particulièrement récurrents. Pour chaque exemple, nous ajouterons à titre de comparaison des solutions (deux au maximum) que nous aurions quant à nous choisies dans la liste fournie par le prompt :

Tableau 1 : Types de réponses considérées comme impropres

	Questions choisies par l’IA	Solutions disponibles dans la liste
A. Questions sans relation avec ce qui a précédé :
	Ex17 Non, je n’ai pas beaucoup d’amis. ➤ IA : Pourquoi vous n’avez pas beaucoup d’amis ? ➤ Parce que je ne suis pas sympa. ➤ IA : Vous avez un téléphone ?	Vous habitez seul ? / Vous avez des amis français ?
	Ex18 IA : Vous avez un ordinateur ? ➤ Oui, j’ai (…) un ordinateur. ➤ IA : Vous êtes fatiguée ?	C’est pratique ? / Pourquoi vous avez un ordinateur ?
	Ex19 IA : Vous avez un petit boulot ? ➤ Oui, j’ai un petit boulot. ➤ IA : Vous avez un vélo ?	Pourquoi vous avez un petit boulot ? / C’est fatigant ?
B. Questions portant sur des informations déjà connues :
	Ex20 IA : Pourquoi vous avez un téléphone ? ➤ Parce que j’habite seul, alors c’est nécessaire. ➤ IA : C’est nécessaire ?	Pourquoi vous habitez seul ? / Vous êtes célibataire ?
	Ex21 IA : Pourquoi vous êtes très occupé ? ➤ Parce que j’ai un petit boulot. ➤ IA : Vous avez un petit boulot ?	C’est fatigant ? / Pourquoi vous avez un petit boulot ?
C. Répétition des mêmes questions :
	Ex22 IA : Pourquoi vous habitez à Hiroshima ? ➤ Parce que je suis étudiant à Hiroshima. ➤ IA : (…) Pourquoi vous habitez ici ? ➤ J’ai déjà répondu. ➤ IA : D’accord (…) ! Alors pourquoi vous habitez à Hiroshima ?	Qu’est-ce que vous étudiez ? / Vous êtes né où ?
	Ex23 Et c’est difficile d’étudier le français ? ➤ Oui, c’est difficile (…) ➤ (51 tours de paroles) ➤ IA : Et c’est très difficile d’étudier le français ?
D. Questions hors liste :
	Ex24 IA : C’est difficile d’étudier le français ? ➤ Oui, c’est très difficile. ➤ IA : Pourquoi vous trouvez ça difficile ?	Vous êtes sérieux ? / Pourquoi vous étudiez le français ?
	Ex25 Je suis étudiant à l’Université de Kyoto. ➤ IA : Vous étudiez quoi à l’Université de Kyotoa ?	Qu’est-ce que vous étudiez ?
a. À ce stade, les apprenants n’ont pas encore rencontré le pronom interrogatif quoi.

Force est de constater que dans l’ensemble, la fluidité espérée dans les interactions a rarement été atteinte lors de nos essais.

Tout d’abord, les obstacles à la poursuite de l’échange ont été globalement trop nombreux. Or, à ce niveau, chacun de ces obstacles a pour effet immédiat de placer l’apprenant dans une impasse communicationnelle. Certains y verront sans doute des opportunités pour préserver une forme d’agentivité dans l’apprentissage en l’obligeant à reprendre la main et à chercher des solutions, soit au moyen de formules en français fournies par l’enseignant15, soit, au pire, dans sa langue maternelle. Mais comme nous l’avons vu, multiplier ce genre de situations revient bien plutôt, dans la réalité de notre situation d’apprentissage, à confronter l’apprenant à des situations d’échec fortement ressenties. Rappelons en outre que dans bien des cas, il n’est pas apte à identifier les problèmes : comment pourrait-il savoir, par exemple, que telle de ses fautes n’a pas été corrigée ? L’expérience s’avère donc pour le moment assez frustrante et démotivante pour l’utilisateur. On est proche ici des problématiques évoquées dans d’autres études évaluant l’efficacité de conversations libres avec des bots ou des assistants vocaux intelligents.

D’autre part, de trop nombreux choix effectués par ChatGPT ne remplissent pas les conditions nécessaires pour envisager un suivi de conversation cohérent. La moyenne du nombre de tours de paroles entre chaque changement de thème s’avère très inférieure à la moyenne de trois tours que nous pratiquons lors de nos tests oraux (elle-même écourtée par souci de diversifier les thèmes pour l’évaluation). La multiplication de coq-à-l’âne qui en résulte confère aux échanges un caractère artificiel.

La plupart des échecs de l’IA à trouver les questions les plus adaptées de la liste semblent s’expliquer par ses difficultés à identifier et gérer les relations implicites entre différentes informations.

Notons d’abord que chacun des choix problématiques de l’algorithme a ignoré des solutions proposées dans la liste qui semblaient plus pertinentes. Pour choisir une nouvelle question en lien avec ce qui vient d’être dit, l’IA semble cibler prioritairement les questions de la liste ayant un mot en commun avec l’énoncé précédent (exemples 24 : difficile-difficile, 25 : étudiant-étudiez). Ce mode de fonctionnement explique également le grand nombre de questions commençant par pourquoi, qui permettent de réutiliser des phrases entières. Mais il se traduit souvent par des choix semblant relever d’une forme d’entêtement absurde (exemples 20 : nécessaire-nécessaire, 21 : fatigué-fatigué, 22 et 23).

À l’inverse, l’IA a généralement du mal à trouver dans la liste les questions dont le lien avec ce qui vient d’être dit n’est qu’implicite (par exemple, dans 24, la question : « Vous êtes sérieux ? »). Dans ces conditions, il est naturel qu’en dernier recours les changements de thème et les questions hors liste se multiplient.

Conclusion

De toute évidence, si la capacité de ChatGPT à simuler une conversation réelle n’est plus à démontrer lorsque aucune limite linguistique ne lui est imposée, il n’en va pas de même quand il doit composer avec un corpus linguistique limité : il peine alors à égaler l’humain.

Malgré les efforts déployés pour améliorer le prompt, les écarts observés vis-à-vis de nos priorités éducatives semblent encore représenter un pourcentage trop élevé dans les interactions effectuées avec ChatGPT.

Certes, l’IA générative est en constante évolution et permet d’espérer des progrès rapides sur de nombreux points de faiblesse mis en évidence dans cette présentation : instabilité, difficulté à appliquer des consignes nombreuses, fenêtre de contexte insuffisante, qualité des corrections, précision et cohérence des explications (pour les énoncés suffisamment contextualisés)…

Il reste toutefois des obstacles qui nous paraissent difficiles à surmonter. La situation didactique que nous avons exposée au début de cette étude requiert de la part de celui qui dialogue avec l’apprenant beaucoup de discipline et de retenue pour respecter les fortes contraintes linguistiques et tirer le meilleur parti de la liste de contenus autorisés. L’utilisation dans une telle situation de l’IAG, plus apte à générer automatiquement du texte et de l’information sans réfléchir, s’avère donc encore, à bien des égards, contre nature. En échouant à respecter strictement les contraintes, elle fait voler en éclats les équilibres élaborés pour chaque leçon, nécessaires au bon fonctionnement de la progression.

Par ailleurs, la mission éducative confiée ici à l’IAG requiert surtout et en permanence de faire des choix complexes, polymotivés et dictés essentiellement par des considérations pédagogiques. Or dans ce domaine aussi, elle a montré les limites de son « intelligence » par ses choix de questions ou d’explications. Malgré certaines qualités d’adaptation, il lui manque l’essentiel : une approche à la fois holistique et intuitive de sa mission, la capacité d’intégrer dans ses décisions de véritables considérations pédagogiques orientées vers une efficacité de l’apprentissage pour l’utilisateur. En matière de pédagogie, aucune prouesse algorithmique ne semble pouvoir compenser à ce stade l’absence d’une véritable intelligence.

Sans doute faudrait-il chercher une solution du côté d’un outil hybride, sorte d’IAG bridée, programmée et entraînée ad hoc par l’humain pour fonctionner en milieu fermé, qui n’aurait, à peu de choses près, d’autres compétences que celles nécessaires pour utiliser les seuls contenus linguistiques que l’étudiant doit assimiler.