Một con số độ tin cậy trong báo cáo hồ sơ cần có định nghĩa về bằng chứng

Bắt đầu bằng việc gọi tên đơn vị của con số

Điểm số của mô hình dạng số là một đối tượng khác với sự kiện có nguồn và với tỷ lệ thành công được đo lường. Một sự kiện có nguồn trỏ đến một tuyên bố công khai mà bạn có thể kiểm tra; một tỷ lệ thành công được đo lường đến từ kiểm chứng trên các trường hợp đã biết; một điểm số là đầu ra mà ý nghĩa của nó phụ thuộc vào việc nó được huấn luyện và kiểm thử để so sánh điều gì. Khi một báo cáo hiển thị một con số mà không nói nó thuộc loại nào trong số này, hãy ghi nó là đơn vị chưa được định nghĩa. Không âm thầm chuyển nó thành xác suất về một người, vì việc chuyển đổi đó là một suy luận mà báo cáo chưa đủ căn cứ để đưa ra. [NIST AI 600-1: ảo giác của AI tạo sinh và xác minh nguồn]

• Hãy ghi con số đúng như được hiển thị, kèm theo nhãn và mọi từ đi cùng.
• Ghi chú xem báo cáo có nêu đơn vị, đường cơ sở, phạm vi hay tập kiểm chứng hay không.
• Nếu thiếu bất kỳ yếu tố nào trong số đó, hãy đánh dấu con số là chưa được định nghĩa thay vì coi nó là chính xác.

Đặt ba câu hỏi trước khi diễn giải

Hãy hỏi con số đo lường điều gì, nó được so sánh với cái gì, và liệu có bất kỳ kiểm chứng nào được cung cấp hay không. Một điểm số có thể mô tả mức tương đồng với một ví dụ đã lưu, sự đồng thuận giữa các nguồn, hoặc một ưu tiên nội bộ của mô hình; đó không phải là xác suất về một người. Kiểm chứng là phần có thể cho phép bạn đọc con số như một giá trị đã được hiệu chuẩn. Hướng dẫn chung về rủi ro AI lưu ý rằng không nên ngoại suy hiệu suất từ các đánh giá hẹp, không có hệ thống hoặc mang tính giai thoại, và rằng đầu ra được tạo có thể trông đầy tự tin trong khi không nhất quán với dữ liệu đầu vào. Hãy áp dụng sự thận trọng đó cho bất kỳ điểm số nào được trình bày mà không có cơ sở được nêu. [NIST AI 600-1: ảo giác của AI tạo sinh và xác minh nguồn]

• Con số đo lường điều gì?
• Nó được so sánh với cái gì?
• Có kiểm chứng nào được cung cấp không, và trên loại trường hợp nào?

Giữ điểm số chưa được định nghĩa tách khỏi các sự kiện quan sát được

Hãy lập hai bản ghi riêng. Bản ghi thứ nhất chứa những gì bạn quan sát được trong nguồn công khai được phép: một tên người dùng, một bài đăng công khai, một hình ảnh, một thông tin liên kết được nêu. Bản ghi thứ hai chứa đầu ra dạng số của báo cáo và mọi thứ báo cáo suy ra từ đó. Hãy giữ chúng tách biệt về mặt hình ảnh để một điểm số không bao giờ mượn thẩm quyền cho một tuyên bố vốn thiếu nguồn riêng của nó. Khi báo cáo dứt khoát hơn nguồn, hãy viết từ hạn định còn thiếu bên cạnh tuyên bố và thu hẹp tuyên bố về đúng những gì nguồn thực sự ủng hộ.

Đừng để một chữ số thập phân ngụ ý đã có kiểm chứng

Độ chính xác trong cách trình bày không phải bằng chứng về độ chính xác thực tế. Một con số được viết đến vài chữ số thập phân có thể trông như đã được hiệu chuẩn trong khi không đo lường gì về thế giới thực. Hãy coi định dạng đó là hình thức bề ngoài cho đến khi báo cáo định nghĩa cơ sở của điểm số. Hãy xem xét và xác minh các nguồn trong bất kỳ đầu ra được tạo nào trước khi dựa vào đó, vì văn bản được tạo có thể trình bày nội dung không có căn cứ bằng giọng điệu tự tin. Nếu báo cáo không đưa ra định nghĩa, bảng ghi của bạn nên mang từ chưa được định nghĩa bên cạnh con số thay vì một ước lượng xác suất. [NIST AI 600-1: ảo giác của AI tạo sinh và xác minh nguồn]

Ghi giới hạn chính xác và dừng lại ở đó

Nếu nguồn vắng mặt, riêng tư, không khớp hoặc mơ hồ, hãy viết giới hạn chính xác đó và dừng suy luận không có căn cứ. Không thay thế bằng truy cập riêng tư, phỏng đoán tương đồng hay điểm số cao hơn cho bằng chứng còn thiếu. Một giới hạn hữu ích nêu rõ điều gì đã thiếu: bài đăng đã bị xóa, hình ảnh chỉ khớp lỏng lẻo, hồ sơ có thể thuộc về nhiều người. Việc gọi tên khoảng trống giúp bạn quyết định làm gì tiếp theo mà không biến sự không chắc chắn thành kết luận về ai đó.

• Nêu khoảng trống cụ thể, không phải một lời miễn trừ chung.
• Không coi cài đặt quyền riêng tư, sự im lặng hay ảnh trùng khớp là bằng chứng về danh tính hay ý định.
• Nếu một manh mối quan trọng, hãy lên kế hoạch kiểm tra hợp pháp thông qua chính nguồn công khai, không phải vượt qua nó.

Một bảng ghi dành cho người đọc cho một báo cáo

Hãy tạo ba cột: tuyên bố trong báo cáo, cơ sở nguồn, và trạng thái. Trong cột cơ sở nguồn, hãy dán hoặc diễn giải tuyên bố công khai mà báo cáo dựa vào. Trong cột trạng thái, hãy chọn sự kiện có nguồn, tuyên bố suy luận, hoặc điểm số chưa được định nghĩa. Bất kỳ hàng nào mà con số xuất hiện một mình đều nằm trong cột chưa được định nghĩa. Đây là công cụ hỗ trợ biên tập do chính bạn viết; nó không phải là chức năng kiểm soát do bất kỳ nền tảng nào cung cấp. Nó giữ cho một ví dụ giả định được trung thực: nếu một báo cáo hiển thị 0.87 bên cạnh một tên người dùng công khai, bảng ghi sẽ ghi nhận một tên người dùng có nguồn và một nhãn số chưa được định nghĩa, chứ không phải cơ hội 87 phần trăm rằng bất cứ điều gì về người đó là đúng.

Thêm vài câu hỏi