Raport AI podaje stanowisko pracy, dochód lub stan relacji, których profil nie podaje

Dlaczego raport AI może stwierdzać więcej niż strona

Narzędzia generatywne mogą tworzyć płynne wyniki, które wykraczają poza dostarczony im materiał lub są z nim sprzeczne. Profil generatywnej AI opublikowany przez NIST opisuje systemy pewnie przedstawiające błędne treści, w tym wyniki niezgodne z ich danymi wejściowymi, i zaleca, aby ludzie przeglądali i weryfikowali źródła w takich wynikach. To ogólne ostrzeżenie czyni ten audyt użytecznym: raport jest zbiorem twierdzeń do sprawdzenia, a nie podsumowaniem, któremu należy zaufać. Własny opis analizy profilu przez AI, podany przez właściciela produktu, nazywa odczyty dotyczące pracy, dochodów i relacji niezweryfikowanymi wnioskami, a nie ustalonymi faktami osobistymi, więc traktuj te pola tak samo, dopóki cytowana strona ich nie stwierdzi. [NIST AI 600-1: konfabulacja generatywnej AI i weryfikacja źródeł]

Zbuduj arkusz audytu z czterema wierszami

Użyj jednego wiersza na pole. W pierwszej kolumnie zapisz nazwę pola tak, jak sformułował je raport. W drugiej wklej dokładne zdanie z cytowanej strony publicznej, które odnosi się do tego pola, albo napisz "brak pasującego zdania". W trzeciej oznacz wynik: stwierdzenie poparte, nierozstrzygnięte lub wykreślony wniosek. W czwartej zanotuj stronę i datę sprawdzenia. Dzięki temu obserwacja, jej ograniczenie i twoja decyzja pozostają widocznie oddzielone, zamiast zlewać się w jedno wrażenie.

• Kopiuj stwierdzenia słowo w słowo, zamiast parafrazować je w coś mocniejszego.
• Zapisz stronę, którą faktycznie otworzyłeś, a nie jej z drugiej ręki pochodzące podsumowanie.
• Opisz datą każdy wiersz, aby późniejsza publiczna zmiana nie wyglądała jak wcześniejsza sprzeczność.

Przeczytaj samą cytowaną stronę, a potem ją zacytuj

Dla każdego pola raportu otwórz dostępny link do źródła i poszukaj dokładnego zdania potwierdzającego. Jeśli raport nie zawiera użytecznego źródła, pozostaw to pole niepotwierdzone. Jeśli nie możesz znaleźć strony, która podaje dane pole, ta nieobecność jest twoim ustaleniem: pole jest niepotwierdzone. Wskazówki NIST dotyczące weryfikowania źródeł wspierają ten nawyk; nie oznacza to, że jakikolwiek konkretny raport lub narzędzie zostało przetestowane, i jest to ogólna obserwacja dotycząca zarządzania ryzykiem, a nie rekomendacja. [NIST AI 600-1: konfabulacja generatywnej AI i weryfikacja źródeł]

Przekreśl, oznacz i pomiń w swojej wiadomości

Przekreślenie pola oznacza usunięcie go z roboczej wersji raportu i oznaczenie go jako wnioskowania, a nie ciche zdegradowanie go do domysłu. Przekreślone pole nie powinno pojawiać się w wiadomości do danej osoby tak, jakby było znane. Jeśli chcesz coś poruszyć, zadaj otwarte pytanie i pozwól tej osobie odpowiedzieć własnymi słowami. Przekreślenie to decyzja o tym, co powtórzysz, a nie twierdzenie, że wnioskowanie jest fałszywe. Oznacza jedynie, że wskazana strona publiczna go nie potwierdza.

• Prowadź osobną listę przekreślonych pól, aby widzieć, jak duża część raportu opierała się na wnioskowaniu.
• Pisz wiadomości wyłącznie na podstawie potwierdzonych stwierdzeń.
• Nie proś danej osoby o potwierdzenie ani zaprzeczenie wnioskowaniu tak, jakby było ustalonym faktem.

Czego nie dowodzi odznaka, status ani milczenie

Profil publiczny to autoprezentacja, a nie zweryfikowany zapis. Brak statusu związku, prywatna sekcja lub ciche konto nie są dowodem na jakikolwiek konkretny status, zamiar czy szczerość. TraceSeek może użyć nazwy użytkownika, podobieństwa obrazów lub widocznego tekstu do wyszukania możliwych dopasowań profili publicznych, ale zasięg nie jest wyczerpujący, a takie wyszukiwania nie ustalają niezależnie faktów osobistych. Każdą interpretację AI traktuj jako hipotezę dotyczącą sformułowania, nigdy jako identyfikację lub dowód. [TraceSeek: przegląd produktu i możliwości potwierdzone przez operatora]

Hipotetyczny przykład opracowany

Załóżmy, że raport wymienia pracę, przedział dochodów, status związku i obecne miasto. Dla każdego pola otwierasz wskazaną stronę. Gdzie strona podaje dane pole wprost, zachowaj je jako potwierdzone stwierdzenie. Gdzie strona milczy, jest niejednoznaczna lub nie odnosi się do tego pola, przekreśl je i oznacz jako wnioskowanie. W późniejszej wiadomości możesz opierać się wyłącznie na potwierdzonych stwierdzeniach i zadać otwarte pytanie o wszystko, co pozostało nierozstrzygnięte. Ten przykład jest hipotetyczny i służy pokazaniu metody, a nie jakiemukolwiek rzeczywistemu profilowi. [TraceSeek: przegląd produktu i możliwości potwierdzone przez operatora]

Gdy źródło jest nieobecne lub niejednoznaczne

Jeśli wskazana strona jest nieobecna, prywatna, niezgodna lub niejednoznaczna, zapisz tę dokładną granicę w arkuszu i zatrzymaj się. Nie próbuj dotrzeć do tych samych informacji inną drogą i nie traktuj niejednoznacznego sformułowania jako potwierdzenia wielu pól. NIST ostrzega przed wyciąganiem szerokich wniosków z wąskich lub anegdotycznych sprawdzeń, co jest kolejnym powodem, by zapisać granicę, zamiast wypełniać lukę prawdopodobnym domysłem. Twój arkusz to pomoc dla czytającego, a nie mechanizm kontroli platformy ani obiecana funkcja. [NIST AI 600-1: konfabulacja generatywnej AI i weryfikacja źródeł]

Jeszcze kilka pytań