La citation dans un rapport IA couvre-t-elle l'affirmation pour laquelle elle est citée ?

Pourquoi une citation n'est pas la même chose qu'une preuve

Un système génératif peut présenter une formulation assurée qui ne correspond pas à ses données d'entrée, c'est pourquoi l'examen des sources et des citations fait partie de tout usage d'une production IA. Une phrase citée peut être exacte comme suite de mots tout en ne parvenant pas à étayer la phrase construite par-dessus. La vraie question n'est pas de savoir si les mots apparaissent quelque part, mais si le passage dont ils proviennent dit ce que le rapport affirme. Traitez la citation comme un renvoi vers la page publique, non comme la preuve elle-même. [NIST AI 600-1 : confabulation de l'IA générative et vérification des sources]

• Supposez que la citation et l'affirmation sont des objets distincts jusqu'à ce que vous les ayez comparés.

Ouvrez le paragraphe, non la phrase

Trouvez la page publique citée et repérez la phrase citée dans son contexte. Lisez le paragraphe complet qui l'entoure et, si la formulation est ambiguë, le titre de section situé au-dessus. Notez qui parle, ce qui est décrit et si le passage énonce un fait, un projet, une possibilité ou une opinion. Une phrase extraite d'un passage plus long perd souvent le qualificatif qui en limitait la portée.

• Lisez un paragraphe avant et après la citation lorsque le sens est ambigu.
• Notez le titre de la page et la date à laquelle vous l'avez lue afin que la vérification puisse être répétée.

Rédigez une note de portée par citation

Utilisez une seule ligne par citation afin que la comparaison reste visible. Le tableau ci-dessous montre comment fonctionne une note de portée ; les entrées sont des illustrations hypothétiques, et non des constats sur une page ou un produit réel.

Retirer, réduire ou maintenir comme incertain

Appliquez une règle simple. Si la citation couvre l'affirmation, conservez l'affirmation rattachée à cette source. Si la citation est plus étroite que l'affirmation, réécrivez l'affirmation en la réduisant à la portée citée ou retirez l'excédent. Si la citation est absente, retirez entièrement l'affirmation, sauf si une source publique indépendante est trouvée. Tout ce qui reste est maintenu comme incertain plutôt que discrètement promu. Un rapport d'IA peut aussi proposer des interprétations sur le travail, les revenus ou les relations à partir du contenu d'un profil public ; ce sont des inférences non vérifiées, et non des faits personnels, et une citation ne les transforme pas en faits. [TraceSeek : présentation du produit et capacités confirmées par l'opérateur]

• Ne laissez jamais une affirmation retirée subsister sous forme de résumé ailleurs dans le rapport.
• Tenez une courte liste des affirmations qui restent incertaines afin qu'elles ne soient pas lues comme confirmées.

Lorsque la source ne peut pas être vérifiée

Certaines citations ne seront pas résolues proprement. La page peut avoir disparu, le texte environnant peut être ambigu, la source citée peut ne pas correspondre au rapport ou le document cité peut être privé. Dans chacun de ces cas, consignez la limite précise et arrêtez l'inférence à cet endroit. N'essayez pas de reconstituer une page privée par d'autres moyens et ne considérez pas une source manquante comme une confirmation tacite. Un nom d'utilisateur ou une image publique peut mener à du contenu de profil public, mais la couverture n'est pas garantie et rien n'y prouve l'identité ni l'activité actuelle. [TraceSeek : présentation du produit et capacités confirmées par l'opérateur]

• Écrivez la limite en termes simples à côté de l'affirmation : page absente, page privée, texte ambigu, source non concordante.
• Arrêtez-vous plutôt que de substituer une autre page à celle qui est citée.

Un exemple hypothétique de la distinction

Supposez qu'un rapport hypothétique affirme que le titulaire d'un profil public vit dans une ville donnée et cite la phrase « based in the north » depuis la page citée. Si le paragraphe environnant décrit le lieu du bureau d'un ancien employeur, la citation ne couvre pas l'affirmation sur le lieu où la personne vit actuellement. La note de portée correcte est que la citation est plus étroite que l'affirmation, et l'affirmation sur la résidence est retirée ou marquée incertaine. Si une seconde affirmation du même rapport indique que le profil mentionne un loisir précis et que le paragraphe cité l'énonce clairement, cette citation couvre son affirmation et peut rester, toujours rattachée à l'unique source publique.

Encore quelques questions