Comprendre les limites des modèles d'IA générative suppose de comprendre, au moins schématiquement, comment ils fonctionnent. Sans entrer dans les détails techniques, voici les éléments essentiels.

Un Large Language Model (LLM) — GPT-4o, Claude 4.5, Gemini 2, Mistral Large — est un réseau de neurones de plusieurs centaines de milliards à plusieurs trillions de paramètres, entraîné en deux phases :

1. Pré-entraînement sur un corpus massif de texte (web, livres, code, etc. — typiquement plusieurs trillions de tokens). Le modèle apprend à prédire le token suivant le plus probable à partir du contexte précédent. Aucune notion de vérité, de raisonnement ni de mémoire : juste des probabilités statistiques.
2. Alignement (RLHF / RLAIF) : ajustement par feedback humain pour que le modèle soit utile, inoffensif, honnête. Cette phase corrige les comportements indésirables mais n'élimine pas les limites fondamentales du pré-entraînement.

Ce que le LLM fait bien :

• Manipuler le langage avec fluidité (résumé, reformulation, traduction)
• Synthétiser des connaissances générales largement représentées dans le corpus
• Suivre des instructions complexes et raisonner sur courtes chaînes
• Générer du code, du texte créatif, des structures

Ce que le LLM fait mal :

• Calcul mathématique précis (sauf délégation à un outil externe)
• Récupération de faits précis non largement représentés (citations, statistiques rares)
• Raisonnement long avec nombreuses étapes
• Conscience de ses propres limites (le modèle ne sait pas qu'il ne sait pas)
• Mise à jour temporelle (le corpus a une date de coupure)

Cette asymétrie — fluidité de surface mais limites profondes — est la racine des risques opérationnels que nous allons détailler. Le LLM paraît compétent partout, ce qui pousse l'humain à lui faire confiance même là où il ne le devrait pas.

Une hallucination est une affirmation produite par un LLM qui n'est pas vraie mais qui est présentée avec la même confiance que les affirmations correctes. C'est l'un des risques les plus connus, et pourtant le plus sous-estimé en pratique.

Types d'hallucinations fréquentes :

• Citations inventées : références bibliographiques, articles, jurisprudences, statistiques qui n'existent pas. Le modèle « complète » la forme attendue d'une citation sans en vérifier l'existence.
• Faits historiques erronés : dates fausses, attributions incorrectes, événements imaginaires
• Chiffres approximatifs : statistiques avec valeurs plausibles mais fausses
• Personnes inventées : noms, biographies, titres qui sonnent vrais mais qui ne correspondent à personne
• Code qui semble fonctionner mais qui appelle une fonction inexistante d'une bibliothèque (parfois appelé « package hallucination »)
• Procédures juridiques fausses : étapes administratives inventées, délais erronés

Pourquoi ces hallucinations ? Le LLM ne « consulte » pas une base de connaissances : il génère token par token la suite la plus probable. Quand une question demande un fait précis qu'il ne « connaît » pas, il génère quelque chose qui ressemble à la réponse attendue plutôt que d'avouer son ignorance. C'est un comportement encouragé par son alignement (être utile et serviable).

Les évolutions techniques récentes ont réduit les hallucinations mais ne les ont pas éliminées :

• RAG (Retrieval-Augmented Generation) : le LLM cherche dans une base documentaire avant de répondre, ce qui réduit nettement les hallucinations pour les sujets couverts par la base. Mais ne marche que dans le périmètre de la base.
• Outils web intégrés (ChatGPT Search, Perplexity, Claude Search) : le modèle consulte des sources actualisées. Réduit les hallucinations mais introduit de nouveaux risques (sources non vérifiées).
• Modèles « raisonnant » (o1, o3, Claude thinking, etc.) : meilleurs sur raisonnement long mais peuvent encore inventer des intermédiaires

La règle d'or : tout fait précis produit par un LLM doit être vérifié indépendamment avant utilisation à enjeu. Citations, dates, statistiques, références juridiques, données techniques. Le LLM est utile pour structurer, reformuler, suggérer — pas pour certifier des faits.

Un biais est une distorsion systématique dans les réponses du modèle, qui défavorise ou favorise un groupe, une opinion, une caractéristique. Les biais sont inévitables car ils existent dans les corpus d'entraînement, qui reflètent les biais sociaux historiques.

Types de biais couramment observés :

Biais de genre. Stéréotypes associant certaines professions à un genre (« infirmière » = femme, « ingénieur » = homme), traits de caractère, comportements. Amazon a abandonné en 2018 un système IA de recrutement qui pénalisait systématiquement les CV de femmes, entraîné sur les CV embauchés historiquement (majoritairement masculins).

Biais ethniques et culturels. Représentations biaisées de groupes ethniques. Études récurrentes montrant que les générateurs d'images représentent par défaut « médecin » comme un homme blanc, « femme de ménage » comme une femme racialisée. Les systèmes de reconnaissance faciale ont historiquement des taux d'erreur supérieurs sur les visages noirs.

Biais socio-économiques. Représentations stéréotypées des classes sociales, lieux d'habitation, niveaux d'éducation. Risque particulier en scoring (crédit, assurance).

Biais idéologiques et culturels. Les modèles entraînés sur des corpus principalement anglophones et occidentaux véhiculent des perspectives culturellement situées. Plusieurs études ont mesuré le « positionnement politique » des principaux LLM — globalement plutôt orientés progressistes urbains américains.

Biais d'âge. Stéréotypes sur les seniors, les jeunes, les comportements liés à l'âge.

Conséquences juridiques potentielles :

• Discrimination directe (article L1132-1 du Code du travail) si le système d'IA pénalise une caractéristique protégée. Risque pénal jusqu'à 3 ans de prison + 45 000 € d'amende.
• Discrimination indirecte si le système, en apparence neutre, désavantage systématiquement un groupe protégé sans justification objective
• Violation du RGPD article 22 et de l'AI Act haut risque pour les systèmes RH

L'AI Act impose aux fournisseurs de systèmes haut risque (annexe III) des obligations spécifiques sur la qualité et la représentativité des données d'entraînement (article 10), précisément pour réduire les biais. Mais ces obligations ne sont applicables qu'à partir d'août 2026.

Pour les déployeurs : tester systématiquement les sorties des outils IA contre des biais, particulièrement dans les domaines à risque (recrutement, RH, scoring, marketing ciblé). Une analyse d'impact doit explicitement mesurer les biais et prévoir des mesures correctives.

Outils pratiques : Fairlearn de Microsoft, AI Fairness 360 d'IBM, What-If Tool de Google. Ces outils mesurent les disparités de sortie selon groupes démographiques et permettent d'identifier les biais avant déploiement.

Chaque LLM a une date de coupure (« knowledge cutoff ») au-delà de laquelle il n'a aucune information directe. Les événements récents, les évolutions réglementaires, les sorties de produit, les actualités lui sont inconnus — sauf s'il dispose d'un outil de recherche web actif.

Dates de coupure indicatives (à vérifier sur les pages officielles) :

• GPT-4o : octobre 2023 (modèle 2024)
• GPT-5 : courant 2024
• Claude 4.5/4.7 : début 2025 généralement
• Gemini 2 : variable selon version
• Mistral Large : selon version, généralement 2024

Conséquences pratiques :

• Un LLM interrogé en 2026 sur le « tarif horaire SMIC actuel » donnera la valeur à sa date de coupure, pas la valeur actuelle
• Sur la réglementation récente (AI Act, refonte F-Gas, nouveau décret), les LLM peuvent donner des informations partielles ou obsolètes
• Les versions de logiciels, les API, les bibliothèques évoluent — le code généré peut référencer des fonctions obsolètes ou nouvelles non encore documentées
• Les noms de personnes occupant des fonctions (président, ministre, dirigeant d'entreprise) sont valides à la date de coupure et peuvent être obsolètes

Solutions :

Outils web intégrés. ChatGPT Search, Claude Search, Perplexity, Copilot Web : le LLM consulte des sources web actualisées avant de répondre. Le risque d'obsolescence est nettement réduit pour les sujets factuels actualisés. Mais introduit d'autres risques : sources web non vérifiées, désinformation potentielle.

RAG sur sources internes. Pour les sujets internes (procédures, base documentaire entreprise), le RAG sur sources internes à jour est la meilleure approche.

Vérification systématique. Pour tout fait à enjeu, vérifier sur source officielle (service-public.fr, legifrance, sites officiels) plutôt que se fier au LLM seul.

La combinaison recommandée : utiliser un LLM avec recherche web active + double-vérification sur source primaire pour les faits critiques. Ne jamais se fier à un LLM seul pour une donnée à enjeu juridique, financier ou contractuel.

Plutôt que de bannir l'IA générative à cause de ces risques, l'objectif est de mettre en place des garde-fous qui rendent l'usage sûr.

1. Vérifier les sources. Demander systématiquement au LLM de citer ses sources. Vérifier que ces sources existent et confirment effectivement l'affirmation. Pour ChatGPT et Claude, le mode « avec recherche web » donne accès aux URLs sources, à consulter avant validation.

2. Croiser les modèles. Pour les sujets à enjeu, demander la même question à 2 ou 3 modèles différents (ChatGPT + Claude + Gemini). Si tous trois donnent la même réponse, la confiance augmente (sans certitude). Si les réponses divergent, prudence — l'un au moins se trompe.

3. Décomposer les tâches. Pour un sujet complexe, plutôt qu'une question globale, décomposer en sous-questions vérifiables. « Rédige-moi une note sur X » devient « Quels sont les 5 points juridiques à couvrir sur X ? Pour chaque point, cite l'article et donne-moi l'URL ». Plus facile à vérifier.

4. Faire valider par un expert humain. Pour tout livrable critique (note juridique, communiqué presse, document financier, code en production), validation systématique par un humain expert du domaine. L'IA est un assistant, pas un certificateur.

5. Tracer les usages. Conserver l'historique des prompts et réponses pour les usages à enjeu. Permet le retour en arrière en cas d'incident, et la documentation pour audit.

6. Acculturer les utilisateurs. Les hallucinations sont contre-intuitives : un LLM peut paraître très compétent dans une réponse et complètement inventer la suivante. Sans formation, les utilisateurs survestiment systématiquement la fiabilité du LLM. C'est l'objet même de l'IA literacy de l'article 4.

Le seuil de tolérance aux erreurs doit être calibré selon l'usage : 0 erreur tolérée pour une note juridique ou un livrable client final, quelques erreurs tolérées pour un brouillon ou une recherche exploratoire. Le LLM est mieux utilisé en première intention (brouillon, idéation, exploration) qu'en certification finale.

Quelques cas qui ont marqué et qui illustrent les risques :

Air Canada vs Moffatt (Canada, 2024). Le chatbot d'Air Canada avait promis à un client le remboursement d'un billet selon une politique inexistante. Le client a fait valoir cette promesse en justice. Air Canada a tenté de se défausser en arguant que le chatbot avait halluciné. Le tribunal a rejeté l'argument : l'entreprise reste responsable des affirmations de son chatbot. Précédent important.

Microsoft Tay (2016, antérieur aux LLM modernes). Le chatbot Twitter de Microsoft a été retiré en 24 heures après avoir produit des contenus racistes et négationnistes, manipulé par les utilisateurs malveillants. Leçon : les modèles peuvent être orientés via le contexte, et les protections de l'alignement peuvent être contournées par des techniques de jailbreaking.

Samsung et le code source (2023). Plusieurs ingénieurs de Samsung Semiconductor ont copié du code source confidentiel et des transcriptions de réunions internes dans ChatGPT pour les analyser. L'information a été transmise aux serveurs OpenAI et utilisée pour l'entraînement (avant les politiques de non-entraînement Enterprise). Samsung a banni l'usage de ChatGPT et a accéléré le déploiement d'un assistant interne.

iTutor Group (USA, 2023). Le système IA de recrutement d'iTutor Group rejetait automatiquement les candidatures de femmes de plus de 55 ans et d'hommes de plus de 60 ans. La société a été condamnée à 365 000 USD par la Equal Employment Opportunity Commission. Discrimination automatisée caractérisée.

Cas du LLM municipal hallucinant (USA, 2024). Une grande ville américaine a déployé un chatbot pour répondre aux questions des citoyens sur les démarches administratives. Le chatbot a inventé des procédures, des délais, des règles. Plusieurs citoyens ont suivi ces fausses informations et ont été pénalisés. La ville a dû retirer le système.

Avocats français hallucinant (2024-2025). Plusieurs cas en France où des avocats ont soumis aux tribunaux des conclusions citant des jurisprudences inexistantes. Sanctions disciplinaires par les conseils de l'Ordre. La justice française commence à statuer fermement contre ces pratiques.

Leçon transversale : l'entreprise reste responsable des sorties produites par ses outils IA. Le fait que ce soit l'IA qui ait commis l'erreur ne dégage en rien la responsabilité. D'où l'importance de la supervision humaine, des garde-fous, de la formation, des AIPD/FRIA.