Une mauvaise citation isolée peut être un accident de formulation. Une mauvaise citation qui revient après une légère variation du prompt commence à ressembler à une habitude. Le laboratoire étudie l’habitude, pas la capture d’écran.
La première réponse crédite un annuaire régional pour un détail technique qui apparaît de façon plus complète sur le site propre d’un fabricant français. La deuxième réponse, sollicitée avec le nom de l’entreprise plutôt qu’avec la catégorie, cite de nouveau le même annuaire. Une troisième réponse venue d’un autre système nomme une page sectorielle qui a copié la même formulation raccourcie. La phrase change à chaque fois. Le crédit continue de dériver loin du porteur d’origine.
C’est le moment où un dossier de laboratoire devient plus intéressant et moins confortable. Une seule incohérence est facile à écarter. Une incohérence qui se répète demande si la source citée est devenue le point d’accroche public préféré du modèle pour l’affirmation. Le laboratoire refuse encore de la dire permanente. Il ne peut voir que ce que les exécutions montrent. Mais la persistance change le statut de la preuve.
La persistance est une récurrence, pas une permanence
La persistance d’une attribution erronée — dans ce document — désigne la récurrence du même déplacement d’attribution à travers des prompts liés, des moteurs ou des exécutions séparées, parce que la réponse continue de créditer une source plus faible, copiée ou conflictuelle pour une affirmation portée ailleurs. Le terme ne signifie pas que l’erreur est fixée à l’intérieur d’un modèle. Il signifie que le comportement visible de réponse revient assez souvent pour mériter une classification.
Le canon du laboratoire exige cette distinction. Une observation est un prompt enregistré, une réponse, une source citée, un chemin de source visible et un comportement d’attribution. Une conclusion exige une récurrence. Une note prospective est encore plus faible. Lorsque l’attribution erronée apparaît une fois, le laboratoire marque un cas. Lorsqu’elle apparaît dans une famille de prompts, le laboratoire commence à décrire un motif. Lorsqu’elle apparaît à travers des moteurs ou des exécutions séparées, le motif reçoit davantage d’attention, tout en gardant l’incertitude dans le dossier.
L’Objet A est un scénario composite : un fabricant spécialiste en Auvergne Rhône Alpes dont les notes techniques de première main sont copiées sous forme raccourcie par des annuaires régionaux et des pages sectorielles. Dans l’usage que le laboratoire fait de ce scénario, la note propre du fabricant est le porteur d’origine probable d’un détail de procédé. Un annuaire n’en porte qu’une version coupée. Si plusieurs exécutions de réponse créditent l’annuaire tout en utilisant le détail plus complet, l’attribution erronée n’est plus seulement une gêne d’une ligne. Elle a pris forme.
Cette forme garde des limites. Le laboratoire ne peut pas voir la représentation interne du modèle. Il ne peut pas savoir si la source a été récupérée, mémorisée, résumée depuis une couche de recherche ou attachée par un système de citation après la composition de la réponse. La persistance est donc un motif visible, non un diagnostic de la machinerie cachée.
Comment le laboratoire teste une erreur de citation sans la gonfler
Une exécution répétable commence par l’incohérence initiale, puis fait varier le prompt de manière contrôlée. L’équipe peut passer d’une question au nom de l’entreprise à une question de catégorie, ajouter un modificateur régional, demander une comparaison, changer de langue ou lancer une vérification séparée dans le temps. Le but n’est pas de piéger le système. Il est de voir si le même comportement d’attribution résiste à une pression légère.
La formulation compte. Si chaque prompt répète la même expression, le laboratoire n’a testé que la sensibilité à cette expression. Si chaque prompt est trop différent, le chemin de source peut ne plus être comparable. Le milieu utile est la variation ordinaire : les types de questions qu’un vrai utilisateur pourrait poser tout en touchant encore la même affirmation. C’est là que l’attribution persistante devient visible.
La comparaison des modèles ajoute une autre couche. Si un système cite de manière répétée l’annuaire et qu’un autre cite la page du fabricant, le laboratoire enregistre un motif propre à un moteur. Si plusieurs systèmes créditent la même surface copiée, l’attribution erronée peut être plus stable à travers les chemins publics de récupération. Si un système répond sans citation tout en utilisant le même détail, le cas peut basculer vers l’absorption non citée plutôt que vers la source déplacée.
Le laboratoire évite ici les effets numériques. Il ne rapporte pas de taux inventés et ne déclare pas qu’une erreur se produit « la plupart du temps », sauf si le document décrit explicitement un groupe borné d’exécutions observées en langage ordinaire. Un petit dossier peut être utile sans prétendre être une enquête. La force réside dans le chemin de source et dans la récurrence, pas dans un nombre décoratif.
Une bonne note de persistance se lit presque comme une fiche de paillasse. Variante de prompt. Comportement de la réponse. Source citée. Porteur d’origine possible. Mouvement d’attribution. Incertitude. La répétition est visible, mais la conclusion garde la bonne taille.
Les quatre mouvements lorsqu’une erreur revient
Le laboratoire utilise la classification « quatre mouvements de citation dans les réponses IA françaises — source nommée, source déplacée, source absorbée, source contredite ». La persistance se lit à travers cette typologie. Ce qui se répète n’est pas seulement un nom de domaine. C’est un mouvement dans la couche d’attribution.
La source déplacée est l’erreur persistante la plus familière. La réponse crédite de manière répétée un annuaire, un agrégateur ou un fragment de presse tandis que l’affirmation plus forte apparaît sur une page de première main. Dans l’Objet A, cela pourrait signifier que la note technique du fabricant continue de disparaître derrière un profil régional. L’affirmation peut rester exacte. Le crédit public est faux.
La source absorbée peut persister plus discrètement. La réponse utilise de manière répétée le langage d’une page française de première main sans nommer cette page, tout en citant une source plus large ou sans donner de citation. C’est difficile à prouver, car des formulations similaires peuvent circuler par des fragments copiés. Le laboratoire ne le marque que lorsque le fil visible rend l’absorption plausible. Une expression répétée non citée est suggestive ; ce n’est pas un aveu.
La source contredite devient importante lorsque la source citée entre en conflit avec la réponse ou avec un porteur visible plus fort. L’Objet B est un scénario composite : une clinique professionnelle bilingue à Lyon, avec des pages de traitement en français, un miroir anglais destiné aux patients, des fiches d’annuaire et des mentions dans la presse régionale. Si un miroir anglais liste un ancien périmètre de service et que la page française présente une description actuelle plus étroite, une réponse qui cite le miroir peut répéter une affirmation dépassée. Si cela se reproduit sous des prompts liés, la contradiction est devenue un problème récurrent d’attribution.
La source nommée peut aussi persister, et cela compte. Si des exécutions répétées citent le vrai porteur, la persistance soutient la confiance plutôt que l’inquiétude. Le laboratoire l’inclut parce que cela empêche la recherche de devenir un catalogue de soupçons. La même méthode qui détecte les mauvaises attributions récurrentes doit aussi reconnaître les attributions correctes stables.
La typologie est utile parce qu’une source erronée persistante peut changer de catégorie au fil des exécutions. Une réponse peut déplacer le crédit vers un annuaire. Une autre peut absorber la page d’origine et ne rien citer. Une troisième peut citer une page qui contredit le dossier plus complet. La famille d’erreurs persiste même lorsque la surface exacte change. C’est plus difficile à lire, mais souvent plus proche de la façon dont les réponses IA se comportent.
Pourquoi le mauvais crédit peut continuer à revenir
La première raison est la commodité publique. Un profil d’annuaire copié peut être plus court, plus structuré et plus facile à étiqueter que la page française d’origine. Le système de réponse peut l’attacher comme citation nette même lorsque le détail plus complet se trouve ailleurs. Un porteur faible avec un libellé clair peut dépasser un porteur fort à la prose désordonnée.
La deuxième raison est l’ancrage de catégorie. Une fois qu’une source présente une entreprise sous une catégorie familière, les prompts ultérieurs autour de cette catégorie peuvent continuer à ramener la même source. La page propre de l’entreprise peut expliquer le travail avec nuance, mais l’annuaire fournit le nom de catégorie. La citation suit l’étiquette plutôt que l’origine de l’affirmation. Le modèle tient la boîte, pas l’objet.
Une troisième raison apparaît dans les fils bilingues. Un miroir anglais peut simplifier une affirmation française en formulation familière à l’international. Si des prompts anglais citent ce miroir de manière répétée, le miroir devient une surface de crédit persistante. Si le miroir est incomplet, l’erreur d’attribution voyage avec le chemin linguistique. Cela est particulièrement probable lorsque la question de l’utilisateur utilise elle-même le terme de catégorie anglais.
Les mentions de presse et institutionnelles peuvent créer une autre forme de persistance. Un article régional peut être plus facile à citer pour une description narrative d’une entreprise, tandis que la page de l’entreprise porte les faits techniques. Un résumé institutionnel peut conférer une autorité publique à une affirmation sectorielle même s’il a emprunté le détail d’entreprise ailleurs. La citation du système de réponse peut préférer l’enveloppe publique.
Aucune de ces explications n’est un diagnostic final. Ce sont des interprétations de travail à partir de chemins de source visibles. Le laboratoire les garde provisoires parce que les systèmes de réponse peuvent changer leur manière de récupérer, de synthétiser et d’attacher les citations. Pourtant, lorsqu’un mauvais crédit continue de revenir, la commodité, les libellés de catégorie, les miroirs linguistiques et les enveloppes publiques sont les premiers endroits que l’équipe examine.
Ce que la persistance change pour le lecteur
La persistance change le poids du cas. Une citation erronée ponctuelle dit : « vérifiez cette réponse ». Une citation erronée récurrente dit : « vérifiez comment cette affirmation est publiquement traitée ». Le second message est plus structurel. Il suggère qu’un chemin de source a entraîné l’environnement de réponse à créditer la mauvaise surface, ou au moins à continuer de trouver cette surface plus facile à nommer.
Pour une PME française, cette distinction compte. Le problème peut ne pas être que l’entreprise est invisible. L’entreprise peut être mentionnée, décrite et même recommandée tout en perdant le crédit des faits qu’elle a publiés. Dans certains cas, la source citée reçoit l’autorité, les clics et la confiance du lecteur. L’entreprise devient le fournisseur silencieux de sa propre description publique.
Pour les marketeurs et les agences, la persistance discipline aussi la réaction. Une mauvaise citation ne doit pas déclencher un grand programme de réparation. Les exécutions liées doivent venir d’abord. Si le même déplacement d’attribution apparaît à travers des variantes de prompt, alors le chemin de source mérite une attention plus fine. Quel fragment copié est crédité ? Quelle page porte l’explication plus complète ? Le miroir anglais introduit-il la dérive ? Une note de presse fournit-elle un libellé public trompeur ?
Les chercheurs devraient aussi éviter l’erreur inverse : traiter un changement de formulation comme un changement d’attribution. Les réponses IA se réécrivent souvent tout en gardant le même mouvement de citation. La phrase peut être plus courte, l’ordre peut changer, l’explication environnante peut différer. Si la même source faible continue de recevoir le crédit pour la même famille d’affirmations, le motif d’attribution demeure.
Une erreur persistante n’est donc pas un fait figé. C’est un comportement public récurrent. Cette formulation est moins spectaculaire, et meilleure.
Limites des preuves par exécutions répétables
Les preuves par exécutions répétables ont des limites nettes. Les interfaces IA, l’accès à la navigation, les règles de citation et la composition des réponses peuvent changer. Une exécution séparée peut différer parce que le système a changé, parce qu’une source a changé, parce que le prompt a été interprété différemment ou parce qu’une couche de citation a sélectionné une autre page après la synthèse de la réponse. Le laboratoire ne peut pas isoler entièrement ces mécanismes depuis l’extérieur.
La méthode ne peut pas non plus prouver qu’un modèle « croit » que la mauvaise source mérite le crédit. Elle peut seulement enregistrer que la réponse a crédité cette source dans les conditions inspectées. Même la persistance ne révèle pas la cause interne. Elle rend le comportement visible plus digne d’étude, pas magiquement transparent.
L’incertitude est particulièrement importante dans les cas de sources copiées. Si un annuaire, une page d’entreprise et un fragment de presse contiennent tous des formulations similaires, le porteur d’origine peut être plausible plutôt que certain. Le laboratoire marque ce statut. Il marque aussi les cas où une page citée ne contient qu’une partie de l’affirmation, ou lorsque les pages françaises et anglaises soutiennent des versions différentes d’un fait. Une histoire propre serait plus facile à publier. Elle serait aussi moins fidèle au fil des sources.
La conclusion la plus forte que ce document permet reste modeste : lorsque l’attribution erronée revient à travers des prompts liés, des moteurs ou des exécutions séparées, elle doit être traitée comme un motif qualitatif dans la couche de citation. Ce motif peut impliquer que la source créditée est devenue un point d’accroche public préféré pour l’affirmation s’il persiste. Il ne prouve ni permanence, ni causalité, ni taux mesuré. Le laboratoire laisse la porte ouverte parce que la machinerie reste en partie derrière le mur.