Luôn gắn sự không chắc chắn với mọi phát hiện trong báo cáo hồ sơ bằng AI

Bắt đầu từ phát biểu nguồn, không phải từ kết luận

Trước khi đánh giá một đoạn báo cáo, hãy tách nó thành những tuyên bố nhỏ nhất mà nó đưa ra. Với mỗi tuyên bố, hãy trích dẫn hoặc diễn giải sát nghĩa phát biểu nguồn công khai chính xác đứng sau nó, rồi ghi chú điều mà phát biểu đó thực sự xác lập. Một hồ sơ công khai nói rằng ai đó làm việc tại một công ty xác lập rằng trang đó hiển thị văn bản ấy vào thời điểm bạn xem. Nó không xác lập việc làm hiện tại, thu nhập hay ý định. Giữ nguyên cách diễn đạt của nguồn bên cạnh cách diễn đạt của báo cáo là điều giúp bạn thấy được chỗ nào một từ hạn định đã lặng lẽ biến mất. [TraceSeek: tổng quan sản phẩm và các khả năng được nhà vận hành xác nhận]

• Hãy xử lý đoạn văn từng tuyên bố một thay vì chấp nhận hay bác bỏ toàn bộ.
• Hãy gạch bỏ mọi thứ bạn không thể truy nguyên tới một nguồn công khai mà chính bạn đã kiểm tra.

Gọi tên chính xác từ hạn định đã bị mất

Hầu hết các kết luận bị phóng đại đều làm mất một từ hạn định cụ thể. Những mất mát thường gặp là sự không chắc chắn về việc một tài khoản có còn hiện hành hay không, về việc một cái tên hay bức ảnh có thuộc về cùng một người hay không, về việc một phát biểu công khai có đúng sự thật hay không, và về việc phạm vi thông tin sẵn có có đầy đủ hay không. Hãy viết từ hạn định còn thiếu bằng ngôn từ giản dị, chẳng hạn như trang này đã hiển thị vào ngày này nhưng trạng thái hoạt động chưa rõ, hoặc văn bản hồ sơ công khai đã được tìm thấy nhưng chưa được xác nhận là cùng một cá nhân. Các hệ thống tạo sinh có thể trình bày nội dung sai lệch một cách tự tin, và thậm chí cả đầu ra mâu thuẫn với chính đầu vào của nó, nên một câu báo cáo trôi chảy không phải là bằng chứng về độ chính xác. [NIST AI 600-1: ảo giác của AI tạo sinh và xác minh nguồn]

• Gắn nhãn mỗi tuyên bố thuộc một trong ba loại: văn bản nguồn công khai được chống đỡ, diễn giải AI chưa được xác minh, hoặc chưa được giải quyết.

Tách những gì đã quan sát khỏi những gì đã được suy ra

Giữ hai cột trong bản ghi: điều mà bằng chứng công khai cho thấy, và điều mà báo cáo yêu cầu bạn kết luận từ đó. Những diễn giải báo cáo đã được người vận hành xác nhận về công việc, thu nhập và các mối quan hệ là những suy luận chưa được xác minh rút ra từ nội dung công khai, không phải những sự thật cá nhân đã được xác lập. Hãy coi chúng là những gợi ý cần xem xét, không bao giờ là những phát hiện về một con người. Nếu một tuyên bố về thu nhập, sự giàu có, xu hướng tính dục hay tình trạng quan hệ dựa vào một bức ảnh, một dấu hiệu về lối sống hay các mẫu liên hệ, hãy đánh dấu nó là không có căn cứ và không mang nó đi tiếp. [TraceSeek: tổng quan sản phẩm và các khả năng được nhà vận hành xác nhận]

• Đưa mọi diễn giải AI sang cột suy luận, ngay cả khi nó nghe có vẻ thông thường.
• Hãy ghi nhận việc thiếu các liên kết nguồn theo từng tuyên bố hoặc dấu thời gian đã được xác nhận là một giới hạn về phạm vi bao phủ, không phải một lỗ hổng cần lấp đầy bằng cách đoán.

Một bản ghi sự không chắc chắn gồm ba cột

Bảng dưới đây là một trợ giúp cho người đọc để kiểm toán một đoạn văn, không phải một tính năng ứng dụng được hứa hẹn. Hãy dùng nó để giữ phát biểu nguồn, tuyên bố báo cáo và giới hạn cạnh nhau, rồi thống nhất một bước tiếp theo chưa được giải quyết. Các mục ví dụ là giả định. Ở chỗ bạn không thể nêu tên một nguồn công khai cho một tuyên bố, mục trung thực là một giới hạn và một điểm dừng, không phải một phỏng đoán được làm nhẹ đi.

Kiểm toán cách các phát hiện đã được kết hợp

Sự không chắc chắn thường tồn tại qua từng dòng riêng lẻ rồi biến mất khi các dòng được gộp lại. Hãy kiểm tra những câu nối nhiều quan sát bằng các từ như xác nhận, cho thấy hoặc rõ ràng. Hãy hỏi liệu câu kết hợp có chứa bất kỳ bằng chứng nào không có trong các phát biểu nguồn riêng lẻ hay không. Tìm kiếm sâu mở rộng phạm vi các nguồn công khai có thể tiếp cận, nhưng nó không vượt qua các tài khoản riêng tư hay bảo đảm kết quả đầy đủ, nên một báo cáo trông đầy đủ hơn vẫn có thể được xây trên cùng một nền tảng mỏng manh. Độ rộng của tìm kiếm không phải là độ sâu của bằng chứng. [TraceSeek: tổng quan sản phẩm và các khả năng được nhà vận hành xác nhận]

• Hãy viết lại bất kỳ kết luận đã gộp nào thành hai phát biểu: điều mỗi nguồn cho thấy, và điều gì vẫn chưa rõ.

Khi nguồn bị thiếu hoặc mơ hồ

Nếu nguồn cơ bản không có, là riêng tư, không khớp hoặc mơ hồ, hãy ghi rõ giới hạn chính xác đó và dừng suy luận tại đó. Đừng tìm kiếm hồ sơ riêng tư, đừng cố gắng xác định một người từ sự tương đồng, và đừng diễn đạt khoảng trống như thể nó đã được giải quyết. Nếu bạn đang kiểm tra một hồ sơ có thể được tiết lộ cho bạn một cách tự nguyện, một câu hỏi trực tiếp, không mang tính buộc tội sẽ đáng tin cậy hơn việc thu thập điều tra. Bước tiếp theo chưa được giải quyết nên là việc hỏi thẳng người sở hữu tài khoản, hoặc chờ một cập nhật công khai có ghi ngày, thay vì một điểm số tin cậy bằng số mà báo cáo chưa từng có.

• Kết thúc câu kiểm tra bằng mục chưa được giải quyết chính xác và một bước tiếp theo tương xứng.

Xem lại báo cáo dựa trên chính các nguồn của nó

Lượt cuối nên so sánh từng kết luận với các trích dẫn hoặc phát biểu nguồn khi chúng tồn tại, và đánh dấu những kết luận không có cơ sở có thể truy nguyên. Hướng dẫn chung về rủi ro AI khuyến nghị xem xét và xác minh các nguồn thay vì tin tưởng đầu ra do máy tạo ra như kết quả cuối cùng. Nó cũng cảnh báo không nên coi những quan sát hẹp hoặc mang tính giai thoại như thể chúng là bằng chứng có hệ thống. Hãy áp dụng sự kiềm chế tương tự cho chính cuộc kiểm tra của bạn: một trang đã kiểm tra chỉ hỗ trợ một quan sát đã kiểm tra, không phải một phán xét đã ngã ngũ về một người. [NIST AI 600-1: ảo giác của AI tạo sinh và xác minh nguồn]

• Đánh dấu mọi câu vượt quá nguồn của nó, và hạ cấp câu đó trước khi chia sẻ.
• Giữ bản ghi hoàn chỉnh cùng với báo cáo để các giới hạn đi kèm với các phát hiện.

Thêm vài câu hỏi