Dwie wskazówki w raporcie pochodzą z jednego źródła, a nie z dwóch

Dlaczego drugie zdanie nie jest drugim źródłem

Raport może wyglądać na lepiej potwierdzony, niż jest. Jedna publiczna strona profilu może wymieniać stanowisko, miasto i hobby, a podsumowanie może zamienić to w trzy zdania, które brzmią jak trzy ustalenia. Opierają się one na jednym artefakcie. Liczenie zdań zamiast źródeł zawyża to, ile twoim zdaniem wiesz. Praktycznym rozwiązaniem jest liczenie niezależności źródeł: dla każdego twierdzenia nazwij pojedynczą stronę, post lub dopasowanie obrazu, które za nim stoi, a następnie policz, ile odrębnych artefaktów wspiera cały raport. Dwa twierdzenia oparte na jednym artefakcie stają się jedną wskazówką. [TraceSeek: przegląd produktu i możliwości potwierdzone przez operatora]

• Wypisz każde zdanie z raportu w jednej kolumnie, a konkretny publiczny artefakt, który za nim stoi, w następnej.
• Pogrupuj zdania oparte na tym samym artefakcie i przepisz każdą grupę jako jedną wskazówkę.
• Licz grupy, a nie zdania, jako swoją liczbę niezależnych wskazówek.

Generowane podsumowania mogą nieumyślnie liczyć podwójnie

Narzędzia generatywne mogą powtórzyć ten sam wkład na kilka sposobów brzmiących pewnie, a czasem przedstawić wynik niezgodny z materiałem, który otrzymały. To sprawia, że sprawdzanie źródła zdanie po zdaniu jest konieczne, a nie opcjonalne. Ogólne wytyczne dotyczące ryzyka związanego z AI zalecają przeglądanie i weryfikowanie źródeł stojących za wygenerowanym wynikiem, zamiast przyjmowania jego ujęcia. Zastosowane tutaj oznacza pytanie o każde zdanie: na jaką dokładnie publiczną stronę lub wynik obrazu bym wskazał, gdyby ktoś zakwestionował to twierdzenie? Jeśli odpowiedź to ten sam artefakt co w poprzednim zdaniu, masz jedną wskazówkę w dwóch płaszczach. To ogólne wytyczne dotyczące weryfikowania wyników AI, a nie twierdzenie o zachowaniu jakiegokolwiek konkretnego narzędzia. [NIST AI 600-1: konfabulacja generatywnej AI i weryfikacja źródeł]

Scalanie pary i obniżanie pewności

Scalanie to nie tylko porządkowanie. Gdy dwa zdania zlewają się w jedną wskazówkę, raport traci pozorne potwierdzenie, więc twoja pewność co do połączonego wniosku powinna spaść do poziomu, jaki wspiera jeden niepotwierdzony artefakt. Zachowaj scaloną wskazówkę jako pytanie do sprawdzenia, a nie ustalenie. Jeśli odrębna strona osobno wspiera jedno ze zdań, wydziel to zdanie z powrotem i zachowaj je jako własną wskazówkę. Wszystko, co wspiera wyłącznie scalony artefakt lub żaden nazwany artefakt, należy zapisać wprost jako domysł oparty na jednym źródle, dopóki nie pojawi się coś niezależnego.

• Przepisz scaloną wskazówkę w jednym zdaniu, które nie sugeruje wielu potwierdzeń.
• Odnotuj obok niej obniżoną pewność, aby późniejsi czytelnicy jej nie przeceniali.
• Oznacz zdania bez nazwanego publicznego artefaktu jako domysły oparte na jednym źródle, zamiast po cichu je usuwać.

Co publiczne badanie może pokazać, a czego nie

Publicznie dostępna nazwa użytkownika może ujawnić pasujące publicznie dostępne profile społecznościowe, choć pokrycie nie jest wyczerpujące. Obraz wejściowy może wykorzystać rozpoznawanie widocznego tekstu i podobieństwo obrazów do wyszukiwania publicznych stron społecznościowych i wystąpień obrazu. Analiza znalezionej treści publicznego profilu może dawać interpretacje dotyczące pracy, dochodów lub relacji, ale są to niezweryfikowane wnioski, a nie ustalone fakty osobiste. Nic tutaj nie omija prywatnych kont ani nie gwarantuje kompletnych wyników. Scalona wskazówka jest więc nadal tylko publicznym sygnałem: nie może potwierdzić tożsamości, zamiaru ani zachowania, a odznaka, pasujące zdjęcie lub cichy profil nie są dowodem na żadną z tych rzeczy. [TraceSeek: przegląd produktu i możliwości potwierdzone przez operatora]

Hipotetyczny arkusz do sortowania zdań

Załóżmy, że hipotetyczny raport zawiera cztery zdania: że dana osoba pracuje w logistyce, mieszka w nazwanym mieście, zajmuje się określonym hobby i niedawno była aktywna online. Każde otrzymuje jeden wiersz. Jeśli zdania o pracy i mieście wskazują na tę samą publiczną stronę profilu, łączą się w jedną wskazówkę o obniżonej pewności. Jeśli zdanie o hobby wskazuje na inny publiczny post, pozostaje osobno. Jeśli zdanie o aktywności nie ma prześledzonej strony, pozostaje oznaczone jako domysł oparty na jednym źródle. Ten arkusz to pomoc dla czytelnika, którą sam tworzysz; nie jest opisem ekranu ani pól żadnego narzędzia.

Gdy źródło jest brakujące, prywatne lub niejednoznaczne

Czasem sam sprawdzian zawodzi. Przywołana strona może zniknąć, być prywatna lub dotyczyć osoby o podobnym imieniu, a dopasowanie zdjęcia może być zbyt niejednoznaczne, by powiązać je z właściwym kontem. W takim wypadku zapisz dokładne ograniczenie w raporcie i przerwij wnioskowanie, zamiast sięgać po prywatny dostęp lub skróty tożsamościowe. Zatrzymane wnioskowanie jest prawidłowym wynikiem sprawdzenia źródła. To samo dotyczy uogólniania na podstawie wąskiego lub anegdotycznego spojrzenia; niewielkie sprawdzenie nie ustala szerszego wzorca. Traktuj te ograniczenia jako część raportu, a nie luki do zamaskowania. [NIST AI 600-1: konfabulacja generatywnej AI i weryfikacja źródeł]

Co zrobić z wynikiem

Gdy scalisz zdania oparte na wspólnym źródle i oznaczysz domysły oparte na jednym źródle, raport powinien podać liczbę niezależnych przesłanek i nazwać otwarte pytania. Jeśli scalona przesłanka jest dla ciebie osobiście istotna, najspokojniejszym kolejnym krokiem jest zwykle bezpośrednie zapytanie tej osoby, a nie dokładanie kolejnych warstw wyszukiwania na jeden artefakt. Przez cały czas trzymaj się informacji publicznych i źródeł udostępnionych dobrowolnie, a nie szukaj prywatnych zapisów, by podeprzeć cienką przesłankę.

• Zamknij raport liczbą niezależnych źródeł i krótką listą domysłów opartych na jednym źródle.
• W przypadku każdej scalonej przesłanki, która wydaje się ważna, zaplanuj bezpośrednią rozmowę zamiast dalszego wyszukiwania.

Jeszcze kilka pytań