Dua petunjuk dalam sebuah laporan berasal dari satu sumber, bukan dua

Mengapa kalimat kedua bukan sumber kedua

Sebuah laporan bisa tampak lebih terkukuhkan daripada kenyataannya. Satu halaman profil publik mungkin menyebut jabatan, kota, dan hobi, dan sebuah ringkasan dapat mengubahnya menjadi tiga kalimat yang terbaca seperti tiga temuan. Semuanya bersandar pada satu artefak. Menghitung kalimat alih-alih sumber akan membesar-besarkan seberapa banyak yang Anda kira Anda ketahui. Perbaikan praktisnya adalah hitungan independensi sumber: untuk setiap klaim, sebutkan satu halaman, unggahan, atau kecocokan gambar yang mendasarinya, lalu hitung berapa banyak artefak berbeda yang mendukung laporan secara keseluruhan. Dua klaim yang berbagi satu artefak menjadi satu petunjuk. [TraceSeek: ikhtisar produk dan kemampuan yang dikonfirmasi operator]

• Daftarkan setiap kalimat dalam laporan di satu kolom dan artefak publik tertentu yang mendasarinya di kolom berikutnya.
• Kelompokkan kalimat yang berbagi artefak dan tulis ulang setiap kelompok sebagai satu petunjuk.
• Hitung kelompoknya, bukan kalimatnya, sebagai jumlah petunjuk independen Anda.

Ringkasan yang dihasilkan dapat menghitung ganda tanpa disengaja

Alat generatif dapat menyatakan ulang masukan yang sama dalam beberapa cara yang terdengar meyakinkan, dan kadang menyajikan keluaran yang tidak sesuai dengan materi yang diberikan kepada mereka. Itu membuat pemeriksaan sumber per kalimat menjadi keharusan, bukan pilihan. Rekomendasi dalam panduan risiko AI secara umum adalah meninjau dan memverifikasi sumber di balik keluaran yang dihasilkan alih-alih menerima pembingkaiannya. Diterapkan di sini, itu berarti menanyakan pada setiap kalimat: halaman publik atau hasil gambar persis mana yang akan saya tunjuk jika ditantang? Jika jawabannya adalah artefak yang sama dengan kalimat sebelumnya, Anda memiliki satu petunjuk yang memakai dua lapis pakaian. Ini adalah panduan umum tentang memverifikasi keluaran AI, bukan klaim tentang bagaimana alat tertentu berperilaku. [NIST AI 600-1: konfabulasi AI generatif dan verifikasi sumber]

Menggabungkan sepasang petunjuk dan menurunkan keyakinan

Menggabungkan bukan sekadar merapikan. Ketika dua kalimat melebur menjadi satu petunjuk, laporan kehilangan konfirmasi yang tampak nyata, sehingga keyakinan Anda pada kesimpulan gabungan harus turun ke tingkat yang didukung oleh satu artefak yang belum terkonfirmasi. Pertahankan petunjuk gabungan itu sebagai pertanyaan untuk diperiksa, bukan temuan. Jika halaman yang berbeda secara terpisah mendukung salah satu kalimat, pisahkan kembali kalimat itu dan pertahankan sebagai petunjuknya sendiri. Apa pun yang hanya didukung oleh artefak gabungan, atau tidak oleh artefak bernama sama sekali, harus dituliskan secara terus terang sebagai dugaan satu sumber sampai sesuatu yang independen muncul.

• Tulis ulang petunjuk gabungan dalam satu kalimat yang tidak menyiratkan banyak konfirmasi.
• Catat keyakinan yang lebih rendah di sampingnya agar pembaca selanjutnya tidak membacanya secara berlebihan.
• Tandai kalimat tanpa artefak publik bernama sebagai dugaan satu sumber alih-alih menghapusnya secara diam-diam.

Apa yang dapat ditunjukkan oleh riset publik, dan apa yang tidak dapat ditunjukkannya

Masukan nama pengguna publik dapat memunculkan profil sosial yang dapat diakses publik yang cocok, meskipun cakupannya tidak menyeluruh. Masukan foto dapat menggunakan pengenalan teks yang terlihat dan kemiripan gambar untuk mencari halaman sosial publik dan kemunculan gambar. Analisis atas konten profil publik yang ditemukan dapat menawarkan interpretasi tentang pekerjaan, penghasilan, atau hubungan, tetapi ini adalah inferensi yang belum terverifikasi, bukan fakta pribadi yang sudah mapan. Tidak ada di sini yang melewati akun privat atau menjamin hasil yang lengkap. Jadi petunjuk gabungan tetap hanya sinyal publik: itu tidak dapat mengonfirmasi identitas, niat, atau perilaku, dan lencana, foto yang cocok, atau profil yang sepi bukanlah bukti dari hal-hal tersebut. [TraceSeek: ikhtisar produk dan kemampuan yang dikonfirmasi operator]

Lembar kerja hipotetis untuk memilah kalimat

Misalkan sebuah laporan hipotetis berisi empat kalimat: bahwa seseorang bekerja di bidang logistik, tinggal di kota tertentu, mengikuti hobi tertentu, dan baru-baru ini aktif online. Masing-masing mendapat satu baris. Jika kalimat pekerjaan dan kota sama-sama menunjuk ke halaman profil publik yang sama, keduanya digabungkan menjadi satu petunjuk dengan keyakinan yang lebih rendah. Jika kalimat hobi menunjuk ke unggahan publik yang berbeda, kalimat itu tetap terpisah. Jika kalimat aktivitas tidak memiliki halaman yang terlacak, kalimat itu tetap ditandai sebagai dugaan satu sumber. Lembar ini adalah alat bantu pembaca yang Anda susun sendiri; ini bukan deskripsi layar atau kolom alat mana pun.

Ketika sumbernya hilang, privat, atau ambigu

Terkadang pemeriksaan itu sendiri gagal. Halaman yang dikutip mungkin sudah tidak ada, bersifat privat, atau tentang orang lain dengan nama yang mirip, atau kecocokan foto mungkin terlalu ambigu untuk dikaitkan dengan akun yang tepat. Ketika itu terjadi, catat batas persisnya dalam laporan dan hentikan inferensi alih-alih mencari akses privat atau jalan pintas identitas. Inferensi yang dihentikan adalah hasil yang sah dari pemeriksaan sumber. Hal yang sama berlaku untuk menggeneralisasi dari tinjauan yang sempit atau anekdotal; pemeriksaan kecil tidak menetapkan pola yang lebih luas. Perlakukan batasan ini sebagai bagian dari laporan, bukan sebagai celah yang harus ditutupi. [NIST AI 600-1: konfabulasi AI generatif dan verifikasi sumber]

Apa yang harus dilakukan dengan hasilnya

Setelah Anda menggabungkan kalimat-kalimat sumber bersama dan menandai dugaan satu sumber, laporan harus menyatakan jumlah petunjuk independennya dan menyebutkan pertanyaan terbukanya. Jika petunjuk gabungan penting bagi Anda secara pribadi, langkah berikutnya yang paling tenang biasanya adalah bertanya langsung kepada orang tersebut alih-alih menambahkan lebih banyak lapisan pencarian di atas satu artefak. Tetap gunakan informasi publik dan sumber yang dibagikan secara sukarela sepanjang proses, dan jangan mencari catatan privat untuk menopang petunjuk yang tipis.

• Tutup laporan dengan jumlah sumber independen dan daftar singkat dugaan satu sumber.
• Untuk petunjuk gabungan apa pun yang terasa penting, rencanakan percakapan langsung alih-alih pencarian lebih lanjut.

Beberapa pertanyaan lagi