Un ministère australien (Department of Infrastructure, Transport, Regional Development, Communications and the Arts) à commandé à Deloitte un rapport d’“assurance” à environ 440k AUD. Le PDF sort. Magnifique. Sauf que… les références académiques incluses dans le documents n’existent pas !
Une citation de jugement a été inventée. Deloitte publie une version corrigée et admet avoir utilisé une chaîne d’outils IA basée sur Azure OpenAI GPT-4. Remboursement partiel. Rideau.
Je ne blâme pas l’IA. Je blâme la (non) gouvernance éditoriale. Quand un cabinet vend de la « certitude » en l’accompagnant de sources « fantômes », le problème n’est pas la technologie. Le problème est le process où personne ne vérifie vraiment ce qui est écrit.
Côté acheteur, stoppons également la naïveté. Si votre prestataire transforme des prompts en livrables sans aucun contrôle humain , vous paierez des hallucinations avec une reliure dorée.
Mon mode d’emploi, très basique :
1. Transparence IA : On exige quoi, où, comment et avec quels outil ?
2. Annexes de preuves : Chaque affirmation sensible renvoie à une source primaire. Sans source, pas de phrase.
3. Relecture « nominative » : Un humain signe la véracité des éléments fournis. Un vrai nom avec une vraie responsabilité. Une tête à couper, quoi 😊.
4. Holdback : On retient le tout jusqu’à la vérification des citations et des chiffres
5. Journal d’errata daté avec les impacts évalués : On apprend, on documente, on corrige.
Côté cabinets, même franchise. Bloquez l’auto-complétions bibliographique des LLM. Servez l’IA dans un périmètre documenté. Montez une petite équipe qui cherche les « faux positifs » avant le client et rédigez un encadré “méthodo et limites” lisible. Pas planqué page 186.
La morale est courte. Deloitte dit que les recommandations ne changent pas. Peut-être ou plutôt croyons les. Ce qui change, c’est la confiance. Dans nos métiers, la matière première n’est pas le style. C’est la preuve. Un modèle de langage peut produire du texte. Il ne produit pas de crédibilité. Celle-ci se gagne à l’ancienne : avec des sources vérifiées, des noms qui assument et des contrats qui sanctionnent le flou.
Si les grandes entreprises de conseil ne valent pas plus qu’un prompt non relu, nous sommes partis pour les montagnes russes. Amusantes pour certains mais très chères pour d’autres.
