个人资料报告中的置信度数值需要有证据定义

首先指明该数值的单位

模型数值分数与有来源的事实以及经过测量的成功率是不同的对象。有来源的事实指向你可以核查的公开声明；经过测量的成功率来自对已知案例的验证；分数是一种输出，其含义取决于它被训练和测试用来比较什么。当报告显示一个数值却未说明它属于上述哪一种时，将其记录为未定义单位。不要悄悄将其转换为关于某人的概率，因为这种转换是报告尚未获得的推断。 [NIST AI 600-1：生成式 AI 虚构与来源核实]

• 完全按照显示的样子写下该数值，包括其标签和任何伴随文字。
• 注明报告是否说明了单位、基准、范围或验证集。
• 如果其中任何一项缺失，将该数值标记为未定义，而非精确。

在解读之前先问三个问题

询问该数值衡量什么、它与什么进行了比较，以及是否提供了任何验证。分数可能描述与存储示例的相似度、来源之间的一致性，或内部模型的偏好；这些都不是关于某人的概率。验证才是让你能够将该数值解读为经过校准的部分。通用 AI 风险指南指出，不应从狭窄、非系统性或轶事性评估中推断性能，并且生成的输出可能显得自信，却与其输入不一致。对任何未说明依据的分数都应保持这种谨慎。 [NIST AI 600-1：生成式 AI 虚构与来源核实]

• 该数值衡量什么？
• 它被与什么进行了比较？
• 是否提供了任何验证，以及在何种案例上？

将未定义的分数与观察到的事实分开

建立两份单独的记录。第一份记录你在允许的公开来源中观察到的内容：用户名、公开帖子、图像、声明的隶属关系。第二份记录报告的数值输出以及报告由此推断的一切。将二者在视觉上分开，使分数永远不会为缺乏自身来源的陈述借用权威。当报告比来源更确定时，在说法旁写下缺失的限定词，并将该说法缩减到来源实际支持的范围。

不要让小数值暗示存在验证

呈现上的精确并不等于准确性的证据。一个写到多位小数的数值可能看起来经过校准，却并未衡量现实世界中的任何事物。在报告定义该分数依据之前，将格式视为表面修饰。在依赖任何生成输出之前，审查并验证其来源，因为生成文本可能以自信的语气呈现无支持的内容。如果报告未提供定义，你的工作表应在该数值旁标注“未定义”字样，而非概率估计。 [NIST AI 600-1：生成式 AI 虚构与来源核实]

记录确切的限制并就此停止

如果来源缺失、私密、不匹配或含糊不清，写下该精确限制并停止无支持的推断。不要用私密访问、相似度猜测或更高的分数来替代缺失的证据。有用的限制会指明缺失了什么：帖子被删除、图像仅松散匹配、资料可能属于不止一个人。指明缺口让你能够决定下一步怎么做，而不至于将不确定性变成关于某人的结论。

• 陈述具体缺口，而非笼统的免责声明。
• 不要将隐私设置、沉默或匹配的照片视为身份或意图的证明。
• 如果某条线索很重要，规划通过公开来源本身进行的合法核查，而非绕过。

一份报告的读者工作表

制作三列：报告陈述、来源依据和状态。在来源依据列中，粘贴或转述报告所依赖的公开声明。在状态列中，选择有来源的事实、推断的说法或未定义的分数。任何数值单独出现的行都留在未定义列中。这是你自己编写的编辑辅助工具；它不是任何平台提供的控制功能。它能让一个假设示例保持诚实：如果报告在某个公开用户名旁显示了 0.87，工作表应记录一个有来源的用户名和一个未定义的数值标签，而非关于该人的任何事情为真的 87% 概率。

还有几个问题