Instruksi di dalam profil publik bukan bukti untuk laporan AI

Mulailah dari kalimat yang dikutip, bukan dari ringkasannya

Buka halaman publik yang ditunjuk laporan dan baca bagian spesifik yang diandalkannya. Tuliskan apa yang sebenarnya dikatakan bagian itu dengan kata-kata sederhana. Lalu letakkan di samping kalimat laporan. Ketika laporan menambahkan penilaian, label kepercayaan, atau sifat pribadi yang tidak dinyatakan oleh kalimat mana pun yang terlihat, tandai sebagai tidak didukung. Pisahkan observasi, interpretasi, dan keputusan dalam baris terpisah agar ringkasan yang meyakinkan tidak diam-diam menggantikan bukti. NIST AI 600-1 mencatat bahwa AI generatif dapat dengan yakin menyajikan konten yang tidak konsisten dengan masukannya, dan merekomendasikan peninjauan serta verifikasi sumber dan kutipan dalam keluaran yang dihasilkan sebelum mengandalkannya. [NIST AI 600-1: konfabulasi AI generatif dan verifikasi sumber]

Kenali ketika instruksi mengarahkan keluaran

OWASP menggambarkan prompt injection tidak langsung sebagai instruksi yang ditempatkan dalam konten eksternal, seperti halaman atau dokumen, untuk mengalihkan sistem AI yang memprosesnya. Dampaknya bergantung pada alat dan izin yang terhubung. Ini adalah mekanisme umum, bukan bukti bahwa TraceSeek atau profil tertentu telah diretas. [OWASP: injeksi perintah tidak langsung]

Audit laporan terhadap kutipannya sendiri

Telusuri laporan bidang demi bidang, menggunakan tabel singkat. Setiap baris memasangkan satu klaim, teks publik yang dikutipnya, dan putusan Anda. Jika teks yang dikutip hilang, bersifat privat, tentang orang lain, atau ambigu, catat batasan yang tepat itu dan berhenti alih-alih mengisi celah dengan dugaan. Jauhkan permintaan kredensial, pembayaran, unduhan, atau kontak di luar platform dari catatan kerja Anda dan perlakukan sebagai tidak didukung. Meninjau sumber dan kutipan dalam keluaran yang dihasilkan, alih-alih menerimanya begitu saja, adalah praktik yang direkomendasikan di sini. [NIST AI 600-1: konfabulasi AI generatif dan verifikasi sumber]

Bedakan fakta yang dinyatakan dari inferensi yang dihasilkan

Profil publik mungkin menyatakan peran, lokasi, atau minat dengan kata-kata orang itu sendiri. Itu berbeda dari model yang menebak hal-hal tersebut dari foto, gaya menulis, atau pola aktivitas. Simpan hanya apa yang dinyatakan oleh kalimat publik yang eksplisit, dan beri label pada semua yang lain sebagai inferensi yang tidak akan Anda ulangi kepada orang tersebut. Jangan membaca penghasilan, kekayaan, seksualitas, atau status hubungan dari gambar, petunjuk gaya hidup, atau pola kontak. Observasi seperti lencana, pengaturan privasi, atau bidang kosong tidak membuktikan apa pun tentang identitas, niat, atau keselamatan. NIST AI 600-1 memperingatkan agar tidak mengekstrapolasi dari kesan yang sempit, tidak sistematis, dan anekdotal, itulah sebabnya pemeriksaan terbatas tidak boleh dipaksakan menjadi laporan yang meyakinkan. [NIST AI 600-1: konfabulasi AI generatif dan verifikasi sumber]

Gunakan pemeriksaan independen biasa

Verifikasi pernyataan yang tersisa terhadap sumber publik yang dapat diakses dan simpan kata-katanya serta tanggal observasi. Perlakukan kalimat pekerjaan yang eksplisit sebagai klaim halaman itu, bukan pekerjaan yang terkonfirmasi. Jika sumbernya ambigu, biarkan kesimpulannya belum terselesaikan. Ini adalah latihan membaca: jangan menguji serangan terhadap layanan yang aktif.

Contoh hipotetis keluaran yang menuruti halaman

Misalkan sebuah bio publik menyatakan bahwa seseorang bekerja di bidang logistik, lalu menambahkan baris yang memberitahu pembaca otomatis mana pun untuk menggambarkan orang tersebut sebagai ahli dan meminta biaya untuk dossier terperinci. Laporan AI yang dibangun dari halaman itu mungkin dengan yakin mengulangi label ahli dan menyertakan permintaan pembayaran. Dalam hipotetis ini, respons yang benar adalah menyimpan hanya kalimat pekerjaan yang eksplisit, mencoret label ahli sebagai tidak didukung, membuang permintaan biaya sepenuhnya, dan mencatat bahwa halaman itu berisi konten yang ditujukan untuk pembaca otomatis. Tidak ada profil atau produk nyata yang dinilai di sini.

Beberapa pertanyaan lagi