Quelles limites à mon utilisation de Bing ?

Dans quel contexte est-ce que j’utilise Bing ?

A l’heure où les étudiants commencent à utiliser l’IA en examen, je me demande que faire de l’IA Bing :  quelles limites je peux trouver à ma propre utilisation de Bing, pourquoi et comment dépasser les limites de Bing.

J’enseigne à des étudiants en licence en management, en alternance. Il s’agit de management d’entreprise du BTP et de management d’équipes.

Au cours de l’année, j’invite les étudiants à traiter en profondeur une vingtaine de sujets. Ils se constituent en équipes de quatre, élaborent leur plan, réalisent leur présentation, documentent leurs commentaires et animent leurs trouvailles devant la promotion. J’augmente, je corrige, je module autant que nécessaire ; les étudiants les plus assidus prennent des notes.

Je produis bien sûr un sujet d’examen. Cette année, pour réaliser cela, j’ai repris toutes les présentations. C’est alors que j’ai pris conscience de la faible profondeur de traitement des sujets. 

Cette année, j’ai décidé ceci :

1. je produirai des fiches explicatives détaillées pour chaque sujet.
2. les étudiants enrichiront leurs présentations dans la partie commentaires de chaque diapositive.
3. je rédigerai le sujet d’examen à partir de leurs présentations.

Pourquoi me préoccuper de l’IA ?

C’est fait, aux examens 2022, des étudiants du monde entier ont utilité ChatGPT. De ce fait, je ne puis ignorer la possibilité que mes étudiants l’utilisent eux aussi. Face à mes sujets, ils devraient passer par la case « recherche sur l’IA ». Donc, j’ai décidé de prendre de l’avance, c’est à dire de découvrir avant eux ce qu’ils liront dans l’IA. Ainsi, je pourrai anticiper les limites qu’ils rencontreront dans Bing, ChatGPT, etc. Et je pourrai les aider à dépasser ces limites.

Quel est mon processus de travail avec Bing ?

Recueillir les réponses de Bing

1. Je fais la liste de tous les sujets que je dois aborder avec les étudiants cette année-ci.
2. Je pose les problèmes à Bing, par exemple :
   • « Que contient le plan de reprise d’une entreprise du BTP ? »
   • « Quelles questions pertinentes puis-je poser en examen à des étudiants en troisième année de licence de management en alternance au sujet de … »
3. Je copie et colle les réponses et les références de Bing dans un fichier Word

Rédiger les fiches thématiques

Je saisis le corpus créé par Bing d’une main, les fiches de cours existantes de l’autre. Je rédige pour chaque thème une fiche indiquant les différents items à traiter.

Concevoir le questionnaire à choix multiple final

J’ai choisi de procéder par QCM en fin d’année.

Une question typique devrait être construite comme ceci :

• un énoncé 
• une proposition exacte

et puis trois autres propositions inexactes, comme :

• une proposition presque exacte, en tout cas moins bonne que la bonne réponse
• une proposition fausse 
• une proposition farfelue (du « bruit »)
• une proposition exacte mais ne répondant pas à l’énoncé
• les quatre propositions étant classées par ordre alphabétique

Par exemple :

Que signifie le « A » dans le tétragramme de la Roue de Deming ?

1. « Act », c’est à dire : étendre la solution
2. « Act », pour vérifier que la solution implémentée corrige bien le problème
3. « Art », parce que la solution doit être originale
4. « Axis », afin de généraliser la solution

Ce que j’ai remarqué en lisant les réponses de Bing à mes questions

J’ai posé à Bing maintes questions, ses réponses cumulées tiennent en environ 100 pages de texte (A4 – Calibri 12 – marges normales – interligne 1). J’ai discuté de mes premières impressions avec une chercheuse universitaire en sciences humaines. Il nous apparaît de nombreuses limites à l’utilisation de Bing. voici nos réflexions conjointes :

Bing est un élève de troisième respectueux

Bing ne fait pas de fautes d’orthographe.

Ses réponses sont déférentes. Confronté à son erreur, Bing s’excuse.

Tout se passe comme si Bing fournissait la réponse la plus plausible à son « examinateur ».

C’est moi aussi qui introduis des limitations à Bing

Ma question initiale importe. Question ouverte, question fermée…

Souvent, Bing propose des questions conjointes, j e puis les ignorer et en rester là avec le premier jet de Bing.

Les preuves rendent Bing prudent

Bing a le ton affirmatif de celui qui sait. Pourtant, acculé à fournir des preuves de ce qu’il avance, Bing peut changer l’indicatif en conditionnel, voire conclure que, justement, on ne peut être certain de ce qu’il avançait 10 lignes plus haut.

Les limites les plus impactantes à l’utilisation de Bing nous semblent celles-ci :

Bing prédit le présent à partir d’un passé

Par définition, Bing travaille ses probabilités sur ce dont il dispose à l’instant T, à savoir des sources passées et non pas toutes les sources, mais celles qui lui ont été fournies.

Comment innover dans ces conditions ?

Bing limite ses sources à la seconde main, au mieux

En citant les sources de ses dires, Bing révèle qu’il lit des pages web que j’aurais pu moi-même trouver. Seulement, il les sélectionne et les lit infiniment plus vite que moi.

Les auteurs desdites pages sont-ils des humains, comme des consultants, des professeurs, ou bien d’autres IA ?

En tout cas, Bing ne semble pas avoir accès aux pages de sites payants où publient des auteurs de première main. CQFD.

Les critères de choix de Bing me paraissent obscurs

Qu’est-ce qu’il fait que Bing choisit telle page plutôt que telle autre ? Une mère envoie son enfant chercher un fruit jaune et rond. L’enfant revient avec un citron – mais que sait la mère de ceci :

• y avait-il d’autres citrons ? si oui, l’enfant a-t-il choisi le plus beau, le plus savoureux, le moins coûteux ?
• y avait-il d’autres fruits jaunes et ronds, comme un pamplemousse, une pêche blanche à peine mûre, etc. ?
• quelle est la taille du marché ? quels étals y avait-il ? Pourquoi l’enfant a-t-il choisi cet étal-ci plutôt que celui-là ?
• quelqu’un a-t-il donné à l’enfant un tel fruit avec une intention quelconque, comme une volonté d’influencer la maman dans ses choix futurs ? ou bien comme le meilleur choix compte tenu de ce qu’il savait par avance des habitudes, des goûts ou des projets (patisserie, etc.) de la maman ?
• ce fruit existait-il avant la demande de la maman ; est-ce un fruit véritable, ou bien une création immédiate aux apparences satisfaisant l’exigence du moment ?
• si la maman renvoie son enfant chercher un fruit rond et jaune, reviendra-t-il avec le même fruit, ou un autre ? Pour quelles raisons ?

Au delà des limites à l’utilisation de Bing, qu’en faire ?

J’ai été des élèves de Terminales qui ont les premiers utilisé une calculatrice électronique au Baccalauréat. Jusque là, j’utilisais une règle à calcul. De mes habitudes mentales sont restées mes estimations des montants (ce doit être quelque chose comme 5,3) et mes calculs d’ordre de grandeur (… et non pas 53 ou 0,53). Et aussi ma façon de poser les problèmes, l’ordre des opérations, etc. L’essentiel, peut-être bien.

Je me dis que Bing ou toute IA conversationnelle est de cet ordre : un outil puissant et limité dont je dois connaître les démarches optimales d’utilisation ainsi que les limites d’utilisation. Moyennant quoi, cet outil peut m’aider grandement à me concentrer sur ce qui fait une différence et que moi seul puis choisir.

En conclusion, je travaille avec Bing pour co-constituer le socle de mon enseignement, en faisant dialoguer les fiches de cours précises et les réponses de Bing. Il me reste à écrire un document de cours unique. Seulement, je ne me sens pas de le rédiger cette année.