Partie 4 – Analyse critique et bonnes pratiques

• 15h15 – 15h50 · 35 min
• Objectif 3 : développer un regard critique
• Suivi de l'atelier 4

📁 Dans le dépôt

• Grille d’évaluation d’une réponse (5 critères, total /10) : grilles/grille-evaluation-reponse.md — vous l’utiliserez à l’atelier 4.
• Charte d’usage responsable à compléter et signer : charte/charte-usage-responsable.md.
• Exemple d’hallucination démasquée : demos/07-hallucination-demasquee.md.

Vous savez construire un prompt. Reste la question décisive : la réponse est-elle fiable ? Cette partie donne une grille pour en juger, les signaux qui doivent alerter, des techniques pour faire avouer l’IA, et le cadre qui s’impose en entreprise.

Évaluer une réponse : la grille en 5 critères

Chaque critère est noté de 0 à 2 ; le total est sur 10.

Critère	La question à se poser	Le test rapide	0 – 2
Pertinence	Répond-elle à la question posée, pour le bon public, dans le bon format ?	Lire la demande, puis la réponse : écart ?
Exactitude	Les faits, chiffres, dates, noms et citations sont-ils vrais ?	Vérifier 2 faits au hasard dans une source fiable
Complétude	Manque-t-il un point clé, une exception, un cas limite ?	Demander : « qu’as-tu omis ? »
Cohérence	La réponse se contredit-elle ? Le raisonnement tient-il ?	Reposer la question autrement : même réponse ?
Sources	Les références existent-elles et disent-elles bien cela ?	Ouvrir chaque lien ; tester une citation

Score	Décision
8 – 10	Utilisable après relecture
5 – 7	Itérer : préciser le prompt, exiger les sources, découper
< 5	Repartir de zéro, ou faire soi-même

Le réflexe

Plus la réponse est fluide et assurée, plus elle mérite d’être vérifiée. L’aisance n’est pas une preuve.

Détecter les biais, hallucinations et erreurs factuelles

Signaux d’alerte

• Chiffres très précis sans source (« 73,4 % des entreprises… »)
• Références, lois, articles, URL impossibles à retrouver
• Citations attribuées à des personnalités, trop parfaites
• Réponse identique quelle que soit la nuance de la question
• Stéréotypes : métiers genrés, prénoms « typiques », cultures caricaturées
• Dates ou versions récentes présentées avec assurance
• Ton péremptoire : « il est bien connu que… »
• Accord systématique avec vous (flagornerie)

Techniques de détection

Technique	Comment
Exiger les sources	« Cite tes sources avec URL ; si tu n’es pas sûr, dis-le. »
Recouper	Vérifier 2 faits clés dans une source indépendante
Reformuler	Poser la même question autrement, ou à une autre IA
Auto-critique	« Relis ta réponse et liste ce qui pourrait être faux. »
Tester les biais	Changer le prénom, le genre, le pays : la réponse change-t-elle ?
Fixer le périmètre	« Réponds uniquement à partir du document joint. »

Les modèles récents hallucinent moins — mais jamais zéro.

Exemple : une hallucination démasquée

Prompt initial : « Quel pourcentage des PME françaises utilisent l’IA générative ? »

Selon une étude du cabinet Delorme & Associés publiée en mars 2024, 73,4 % des PME françaises utilisent déjà l’IA générative au quotidien, un chiffre en hausse de 41 points par rapport à 2023.

Ce qui alerte : cabinet et étude introuvables ; chiffre trop précis, hausse invraisemblable ; aucun lien, aucune méthodologie ; la question reposée autrement donne un autre chiffre (58 %). Score à la grille : 2/10.

Prompt corrigé : « Quel pourcentage des PME françaises utilisent l’IA générative ? Réponds uniquement à partir de sources que tu peux citer avec leur nom, date et lien. Si tu n’as pas de donnée fiable, dis-le explicitement et indique où la chercher. Distingue ce que tu sais de ce que tu supposes. »

Je n’ai pas de chiffre fiable et daté pour 2026. Les baromètres publics (Bpifrance, INSEE, France Num) publient des enquêtes annuelles : je vous conseille de consulter leur dernière édition. Ce que je peux dire avec certitude : l’adoption progresse fortement depuis 2023.

Score : 8/10. Une réponse « je ne sais pas » bien orientée vaut mieux qu’un chiffre inventé. Cet exemple a été construit pour la formation ; le mécanisme, lui, est quotidien : une question « chiffrée » sans source produit une statistique inventée avec une référence plausible.

🔍 Vulgarisation : Pourquoi l'IA préfère-t-elle inventer une étude (« Cabinet Delorme & Associés ») plutôt que de dire « je ne sais pas » ?

Ce comportement n’est pas un « mensonge volontaire », il découle directement de la façon dont le modèle est construit :

1. Son métier est de continuer le texte le plus vraisemblable : dans des millions d’articles de presse économique sur lesquels il a été entraîné, la question « Quel pourcentage des PME utilisent… ? » est presque toujours suivie d’une phrase de la forme « Selon une étude du cabinet [Nom plausible] publiée en [Année], [XX,X] % des PME… ».
2. La forme l’emporte sur le fond : le modèle assemble les tokens qui forment la phrase statistiquement la plus crédible, même si le cabinet et le pourcentage n’ont jamais existé !
3. Le biais de complaisance (Sycophancy) : lors de l’étape d’alignement humain (RLHF), les évaluateurs ont souvent mieux noté les réponses complètes et assurées que les refus secs. Si votre prompt ne lui donne pas explicitement la permission (et l’ordre) de dire « je ne sais pas », l’IA choisira presque toujours de vous faire plaisir en comblant les trous.

🛡️ Guide pratique RGPD : Comment anonymiser un document en 30 secondes avant de le coller dans une IA ?

Avant de soumettre un e-mail litigieux, un CV, un contrat ou un compte rendu de réunion à un outil grand public, remplacez systématiquement les 4 identifiants directs et indirects par des balises génériques :

Donnée présente dans votre brouillon	❌ À ne jamais envoyer tel quel	✅ Version anonymisée à coller dans le prompt
Noms et prénoms	« M. Jean Dupont et Mme Claire Martin »	[CLIENT_A] et [RESPONSABLE_RH]
Entreprise, SIRET, projet secret	« Projet Titan avec Airbus »	[PROJET_X] avec [CLIENT_GRAND_COMPTE_AERO]
Coordonnées (e-mail, tél, adresse, IBAN)	« j.dupont@client.fr / 06 12… »	[EMAIL], [TELEPHONE]
Montants stratégiques exacts	« Marge nette de 1 428 500 € »	Garder les proportions (ex. diviser par 10 ou mettre 100 000 €)

Une fois la réponse générée par l’IA avec [CLIENT_A], un simple Rechercher / Remplacer dans Word ou Outlook remet les vrais noms sur votre poste, sans qu’aucune donnée personnelle n’ait quitté l’entreprise !

Cadre éthique et usage responsable en entreprise

Pilier	Ce que cela implique
Données et confidentialité	Jamais de données personnelles, confidentielles ou stratégiques dans un outil public. Préférer les offres entreprise ou les modèles hébergés en interne.
Conformité : RGPD et AI Act	Un prompt avec données personnelles est un traitement au sens du RGPD. L’AI Act impose transparence et marquage des contenus synthétiques.
Transparence	Dire quand un contenu est généré ou assisté par IA, en interne comme vers les clients.
Responsabilité humaine	L’IA propose, l’humain décide et signe. Relecture obligatoire avant diffusion.
Propriété intellectuelle	Vérifier les conditions d’utilisation et les droits d’usage commercial ; ne pas faire imiter une marque, un auteur ou une personne.
Équité et impact	Tester les biais, veiller à l’accessibilité, mesurer l’impact sur les métiers et l’environnement.

L’AI Act, règlement européen adopté en 2024, prévoit des obligations graduées selon le niveau de risque, avec une entrée en application progressive depuis 2025 ; pour un utilisateur d’IA générative, l’obligation la plus concrète est la transparence. Chaque entreprise devrait disposer d’une charte d’usage : outils autorisés, données interdites, relecture.

Votre charte en 8 points

1. Je choisis l’outil selon la sensibilité des données.
2. Je ne saisis jamais de données personnelles ou confidentielles.
3. Je structure mes prompts : contexte, rôle, objectif, format.
4. Je vérifie les faits, les chiffres et les sources.
5. Je relis et je corrige avant toute diffusion.
6. Je signale ce qui est généré par l’IA.
7. Je respecte les droits d’auteur et l’image des personnes.
8. Je garde mon esprit critique : l’IA propose, je décide.

Complétez-la avec les règles propres à votre entreprise, dans le fichier charte/charte-usage-responsable.md. Signée aujourd’hui, appliquée dès demain.

Ce qu’il faut retenir

• Cinq critères, un score sur 10, une décision : utiliser, itérer, ou refaire.
• Les signaux d’alerte se reconnaissent ; les techniques de détection s’écrivent dans le prompt : sources, périmètre, auto-critique.
• Un bon prompt prévoit sa propre vérification.
• RGPD, AI Act, transparence, relecture humaine : le cadre tient en une charte de 8 points.

Place à la pratique : Atelier 4 – Comparer, détecter, corriger.