Trích dẫn trong một báo cáo AI có bao hàm tuyên bố mà nó được trích dẫn để hỗ trợ không?

Vì sao một trích dẫn không giống như bằng chứng

Một hệ thống tạo sinh có thể trình bày lời lẽ đầy tự tin nhưng không khớp với dữ liệu đầu vào của nó, đó là lý do việc xem xét nguồn và trích dẫn thuộc về mọi việc sử dụng đầu ra AI. Một cụm từ được trích dẫn có thể chính xác như một chuỗi từ nhưng vẫn không hỗ trợ được câu được xây dựng trên đó. Câu hỏi thực sự không phải là liệu các từ đó có xuất hiện ở đâu đó hay không mà là liệu đoạn văn mà chúng đến từ đó có nói điều báo cáo tuyên bố hay không. Hãy coi trích dẫn là một con trỏ trở lại trang công khai, không phải là bằng chứng tự thân. [NIST AI 600-1: ảo giác của AI tạo sinh và xác minh nguồn]

• Hãy coi trích dẫn và tuyên bố là hai đối tượng riêng biệt cho đến khi bạn đã so sánh chúng.

Mở đoạn văn, không phải câu

Tìm trang công khai được trích dẫn và xác định vị trí cụm từ được trích dẫn trong ngữ cảnh. Đọc toàn bộ đoạn văn xung quanh cụm từ đó, và nếu cách diễn đạt chưa rõ ràng, hãy đọc tiêu đề phần phía trên. Ghi nhận ai đang nói, điều gì đang được mô tả, và liệu đoạn văn đó nêu một sự kiện, một kế hoạch, một khả năng hay một ý kiến. Một câu được lấy ra từ một đoạn văn dài hơn thường mất đi phần giới hạn đã thu hẹp nghĩa của nó.

• Đọc thêm một đoạn trước và một đoạn sau câu trích dẫn khi ý nghĩa chưa rõ ràng.
• Ghi lại tiêu đề trang và ngày bạn đọc trang đó để có thể lặp lại việc kiểm tra.

Viết một ghi chú phạm vi cho mỗi câu trích dẫn

Dùng một dòng cho mỗi câu trích dẫn để việc so sánh luôn dễ thấy. Bảng dưới đây cho thấy cách một ghi chú phạm vi hoạt động; các mục trong đó là những ví dụ giả định, không phải kết luận về bất kỳ trang hay sản phẩm thực tế nào.

Rút lại, thu hẹp hoặc giữ ở trạng thái chưa chắc chắn

Áp dụng một quy tắc đơn giản. Nếu câu trích dẫn bao trùm tuyên bố, hãy giữ tuyên bố gắn với nguồn đó. Nếu câu trích dẫn hẹp hơn tuyên bố, hãy viết lại tuyên bố cho xuống đúng phạm vi được trích dẫn hoặc rút lại phần vượt quá. Nếu câu trích dẫn vắng mặt, hãy rút lại tuyên bố hoàn toàn trừ khi tìm được một nguồn công khai độc lập. Bất cứ điều gì còn dư đều được giữ ở trạng thái chưa chắc chắn thay vì bị âm thầm nâng lên thành chắc chắn. Một báo cáo AI cũng có thể đưa ra những diễn giải về công việc, thu nhập hoặc các mối quan hệ từ nội dung hồ sơ công khai; đó là những suy luận chưa được kiểm chứng, không phải sự kiện cá nhân, và một câu trích dẫn không biến chúng thành sự kiện. [TraceSeek: tổng quan sản phẩm và các khả năng được nhà vận hành xác nhận]

• Đừng bao giờ để một tuyên bố đã bị rút lại tiếp tục tồn tại dưới dạng tóm tắt ở chỗ khác trong báo cáo.
• Giữ một danh sách ngắn các tuyên bố vẫn còn chưa chắc chắn để chúng không bị đọc như đã được xác nhận.

Khi không thể kiểm tra nguồn

Một số trích dẫn sẽ không được giải quyết một cách rõ ràng. Trang có thể đã biến mất, văn bản xung quanh có thể mơ hồ, nguồn được trích dẫn có thể không khớp với báo cáo, hoặc tài liệu được trích dẫn có thể là riêng tư. Trong mỗi trường hợp đó, hãy ghi lại giới hạn chính xác và dừng suy luận tại đó. Đừng cố tái tạo một trang riêng tư bằng cách khác và đừng coi một nguồn bị thiếu là sự xác nhận ngầm. Một tên người dùng hoặc hình ảnh công khai có thể dẫn đến tài liệu hồ sơ công khai, nhưng không có gì đảm bảo sẽ bao quát được, và không có gì ở đó chứng minh danh tính hay hoạt động hiện tại. [TraceSeek: tổng quan sản phẩm và các khả năng được nhà vận hành xác nhận]

• Viết giới hạn bằng lời lẽ đơn giản bên cạnh tuyên bố: trang vắng mặt, trang riêng tư, văn bản mơ hồ, nguồn không khớp.
• Dừng lại thay vì thay thế trang được trích dẫn bằng một trang khác.

Một ví dụ giả định về sự phân biệt

Giả sử một báo cáo giả định nêu rằng chủ một hồ sơ công khai sống ở một thành phố cụ thể và trích dẫn cụm từ "có trụ sở ở phía bắc" từ trang được trích dẫn. Nếu đoạn văn xung quanh mô tả vị trí văn phòng của một nhà tuyển dụng trong quá khứ, câu trích dẫn không bao trùm tuyên bố về nơi người đó sống hiện tại. Ghi chú phạm vi đúng là câu trích dẫn hẹp hơn tuyên bố, và tuyên bố về nơi cư trú bị rút lại hoặc đánh dấu là chưa chắc chắn. Nếu một tuyên bố thứ hai trong cùng báo cáo nói rằng hồ sơ liệt kê một sở thích cụ thể và đoạn văn được trích dẫn nêu rõ điều đó, thì câu trích dẫn đó bao trùm tuyên bố của nó và có thể được giữ lại, vẫn gắn với nguồn công khai duy nhất.

Thêm vài câu hỏi