Laporan AI menyatakan pekerjaan, penghasilan, atau status hubungan yang tidak disebutkan profil

Mengapa laporan AI dapat menyatakan lebih banyak daripada halaman

Alat generatif dapat menghasilkan keluaran yang lancar yang melampaui, atau bertentangan dengan, materi yang diberikan kepadanya. Profil AI generatif dari NIST menjelaskan sistem yang secara percaya diri menyajikan konten yang keliru, termasuk keluaran yang tidak konsisten dengan masukannya, dan merekomendasikan agar orang meninjau serta memverifikasi sumber dalam keluaran tersebut. Peringatan umum itulah yang membuat audit ini berguna: laporan adalah sekumpulan klaim untuk diperiksa, bukan ringkasan untuk dipercaya. Deskripsi pemilik produk sendiri tentang analisis profil AI menyebut bacaan pekerjaan, penghasilan, dan hubungan sebagai inferensi yang belum terverifikasi alih-alih fakta pribadi yang mapan, jadi perlakukan kolom-kolom itu dengan cara yang sama sampai halaman yang dikutip menyatakannya. [NIST AI 600-1: konfabulasi AI generatif dan verifikasi sumber]

Buat lembar audit empat baris

Gunakan satu baris per kolom. Di kolom pertama tulis nama kolom sebagaimana dirumuskan laporan. Di kolom kedua, tempel kalimat persis dari halaman publik yang dikutip yang membahas kolom tersebut, atau tulis "tidak ada kalimat yang cocok." Di kolom ketiga, tandai hasilnya: pernyataan yang didukung, belum terselesaikan, atau inferensi yang dicoret. Di kolom keempat, catat halaman dan tanggal Anda memeriksanya. Ini menjaga pengamatan, batasnya, dan keputusan Anda tetap terpisah secara terlihat alih-alih menyatukannya menjadi satu kesan.

• Salin pernyataan kata demi kata alih-alih memparafrasakannya menjadi sesuatu yang lebih kuat.
• Catat halaman yang benar-benar Anda buka, bukan ringkasan tangan kedua darinya.
• Beri tanggal pada setiap baris agar perubahan publik di kemudian hari tidak terlihat seperti kontradiksi sebelumnya.

Baca halaman yang dikutip itu sendiri, lalu kutip

Untuk setiap kolom laporan, buka tautan sumber yang tersedia dan cari pernyataan pendukung yang tepat. Jika laporan tidak menyediakan sumber yang dapat digunakan, biarkan kolom itu tanpa dukungan. Jika Anda tidak dapat menemukan halaman yang menyatakan kolom tersebut, ketiadaan itu adalah temuan Anda: kolom tersebut tidak didukung. Panduan NIST tentang verifikasi sumber mendukung kebiasaan ini; itu tidak berarti laporan atau alat tertentu telah diuji, dan ini merupakan pengamatan umum tentang manajemen risiko, bukan sebuah dukungan. [NIST AI 600-1: konfabulasi AI generatif dan verifikasi sumber]

Coret, beri label, dan jangan sertakan dalam pesan Anda

Mencoret sebuah kolom berarti menghapusnya dari versi kerja laporan dan menandainya sebagai inferensi, bukan diam-diam menurunkannya menjadi dugaan. Kolom yang dicoret tidak boleh muncul dalam pesan kepada orang tersebut seolah-olah hal itu sudah diketahui. Jika Anda ingin mengangkat sesuatu, ajukan pertanyaan terbuka dan biarkan orang itu menjawab dengan kata-katanya sendiri. Pencoretan adalah keputusan tentang apa yang akan Anda ulangi, bukan klaim bahwa inferensi itu salah. Itu hanya berarti halaman publik yang dikutip tidak mendukungnya.

• Simpan daftar terpisah berisi kolom-kolom yang dicoret agar Anda dapat melihat seberapa banyak laporan itu bersandar pada inferensi.
• Tulis pesan hanya dari pernyataan yang didukung.
• Jangan meminta orang tersebut mengonfirmasi atau menyangkal suatu inferensi seolah-olah itu fakta yang sudah mapan.

Apa yang tidak dibuktikan oleh lencana, status, atau diamnya seseorang

Profil publik adalah deskripsi diri, bukan catatan yang terverifikasi. Status hubungan yang tidak ada, bagian yang privat, atau akun yang sepi bukan bukti adanya status, niat, atau kejujuran tertentu. TraceSeek dapat menggunakan nama pengguna, kemiripan gambar, atau teks yang terlihat untuk mencari kemungkinan kecocokan profil publik, tetapi cakupannya tidak menyeluruh dan pencarian tersebut tidak secara mandiri membuktikan fakta pribadi. Perlakukan setiap interpretasi AI sebagai hipotesis tentang pilihan kata, bukan sebagai identifikasi atau bukti. [TraceSeek: ikhtisar produk dan kemampuan yang dikonfirmasi operator]

Contoh hipotetis yang dikerjakan

Misalkan sebuah laporan mencantumkan pekerjaan, kisaran penghasilan, status hubungan, dan kota saat ini. Anda membuka halaman yang dikutip untuk setiap kolom. Jika halaman menyatakan kolom itu secara jelas, pertahankan sebagai pernyataan yang didukung. Jika halaman itu diam, ambigu, atau tidak membahas kolom tersebut, coretlah dan beri label sebagai inferensi. Dalam pesan berikutnya Anda mungkin hanya bersandar pada pernyataan yang didukung dan mengajukan pertanyaan terbuka tentang hal yang belum terselesaikan. Contoh itu bersifat hipotetis, disajikan untuk menunjukkan metodenya, bukan profil nyata. [TraceSeek: ikhtisar produk dan kemampuan yang dikonfirmasi operator]

Ketika sumber tidak ada atau ambigu

Jika halaman yang dikutip tidak ada, privat, tidak cocok, atau ambigu, tuliskan batas yang tepat itu di lembar kerja dan berhentilah. Jangan mencoba mencapai informasi yang sama melalui jalur lain, dan jangan memperlakukan frasa yang ambigu sebagai pendukung beberapa kolom. NIST memperingatkan agar tidak menarik kesimpulan luas dari pemeriksaan yang sempit atau berdasarkan anekdot, yang merupakan alasan lain untuk mencatat batas tersebut daripada mengisi celah dengan dugaan yang masuk akal. Lembar kerja Anda adalah alat bantu pembaca, bukan kontrol platform atau fitur yang dijanjikan. [NIST AI 600-1: konfabulasi AI generatif dan verifikasi sumber]

Beberapa pertanyaan lagi