Utrzymuj niepewność przy każdym ustaleniu w raporcie profilu AI

Zacznij od stwierdzenia źródłowego, a nie od wniosku

Zanim ocenisz akapit raportu, podziel go na najmniejsze twierdzenia, jakie zawiera. Dla każdego twierdzenia zacytuj lub blisko sparafrazuj dokładne publiczne stwierdzenie źródłowe, które za nim stoi, a następnie zanotuj, co to stwierdzenie w rzeczywistości ustala. Publiczny profil mówiący, że ktoś pracuje w firmie, ustala, że strona wyświetla ten tekst w chwili, gdy ją widziałeś. Nie ustala obecnego zatrudnienia, dochodów ani intencji. Trzymanie brzmienia źródła obok brzmienia raportu pozwala zobaczyć, gdzie po cichu zniknęło zastrzeżenie. [TraceSeek: przegląd produktu i możliwości potwierdzone przez operatora]

• Przechodź przez akapit twierdzenie po twierdzeniu, zamiast przyjmować go lub odrzucać w całości.
• Wykreśl wszystko, czego nie możesz prześledzić do publicznego źródła, które osobiście sprawdziłeś.

Nazwij dokładne zastrzeżenie, które zginęło

Większość rozdętych wniosków gubi konkretne zastrzeżenie. Częste straty to niepewność, czy konto jest aktualne, czy imię lub zdjęcie należą do tej samej osoby, czy publiczne stwierdzenie jest prawdziwe i czy dostępny zakres jest kompletny. Zapisz brakujące zastrzeżenie prostymi słowami, na przykład strona była widoczna w tej dacie, ale status aktywności jest nieznany, albo tekst publicznego profilu został znaleziony, ale nie potwierdzono, że to ta sama osoba. Systemy generatywne mogą pewnie przedstawiać błędne treści, a nawet wyniki sprzeczne z własnymi danymi wejściowymi, więc płynne zdanie raportu nie jest dowodem trafności. [NIST AI 600-1: konfabulacja generatywnej AI i weryfikacja źródeł]

• Oznacz każde twierdzenie jako jeden z trzech rodzajów: poparty publiczny tekst źródłowy, niezweryfikowana interpretacja AI lub nierozstrzygnięte.

Oddziel to, co zaobserwowano, od tego, co wywnioskowano

Prowadź w rejestrze dwie kolumny: co pokazuje publiczny artefakt i co raport każe ci z tego wywnioskować. Potwierdzone przez operatora interpretacje raportu dotyczące pracy, dochodów i relacji to niezweryfikowane wnioski wyciągnięte z publicznie dostępnych treści, a nie ustalone fakty osobiste. Traktuj je jako sugestie do zbadania, nigdy jako ustalenia o osobie. Jeśli twierdzenie o dochodach, bogactwie, seksualności lub statusie relacji opiera się na zdjęciu, wskazówce stylu życia lub wzorcach kontaktu, oznacz je jako niepoparte i nie przenoś go dalej. [TraceSeek: przegląd produktu i możliwości potwierdzone przez operatora]

• Przenieś każdą interpretację AI do kolumny wniosków, nawet gdy brzmi rutynowo.
• Odnotuj brak potwierdzonych linków źródłowych lub znaczników czasu dla poszczególnych twierdzeń jako ograniczenie zakresu, a nie lukę do wypełnienia domysłem.

Trzykolumnowy rejestr niepewności

Poniższa tabela jest pomocą dla czytelnika w audycie jednego akapitu, a nie obiecaną funkcją aplikacji. Użyj jej, by zestawić obok siebie stwierdzenie źródłowe, twierdzenie raportu i ograniczenie, a następnie uzgodnić jeden nierozstrzygnięty kolejny krok. Przykładowe wpisy są hipotetyczne. Gdy nie możesz wskazać publicznego źródła twierdzenia, uczciwym wpisem jest ograniczenie i zatrzymanie, a nie złagodzony domysł.

Zaudytuj sposób łączenia ustaleń

Niepewność często przetrwa w każdym pojedynczym zdaniu, a potem znika, gdy zdania się scala. Sprawdzaj zdania, które łączą kilka obserwacji słowami takimi jak potwierdza, pokazuje lub wyraźnie. Zapytaj, czy połączone zdanie zawiera dowód, którego nie było w osobnych stwierdzeniach źródłowych. Wyszukiwanie głębokie poszerza zakres dostępnych publicznych źródeł, ale nie omija prywatnych kont ani nie gwarantuje kompletnych wyników, więc raport wyglądający na pełniejszy wciąż może opierać się na tej samej cienkiej podstawie. Szerokość wyszukiwania nie jest głębią dowodu. [TraceSeek: przegląd produktu i możliwości potwierdzone przez operatora]

• Przepisz każdy scalony wniosek jako dwa stwierdzenia: co pokazało każde źródło i co pozostaje nieznane.

Gdy źródło jest nieobecne lub niejednoznaczne

Jeśli źródło podstawowe jest nieobecne, prywatne, niezgodne lub niejednoznaczne, zapisz dokładnie tę granicę i przerwij wnioskowanie w tym miejscu. Nie szukaj prywatnych zapisów, nie próbuj zidentyfikować osoby na podstawie podobieństwa i nie formułuj tej luki tak, jakby została rozwiązana. Jeśli sprawdzasz profil, który może zostać ujawniony dobrowolnie, bezpośrednie, nieoskarżycielskie pytanie jest bardziej wiarygodne niż zbieranie informacji metodą śledczą. Nierozstrzygniętym następnym krokiem powinno być na przykład zwykłe zapytanie właściciela konta albo poczekanie na opatrzoną datą publiczną aktualizację, a nie liczbowy wskaźnik pewności, którego raport nigdy nie miał.

• Zakończ zdanie audytu dokładnie nierozstrzygniętą kwestią i jednym proporcjonalnym następnym krokiem.

Sprawdź raport względem jego własnych źródeł

Ostatnie przejście powinno porównać każdy wniosek z cytatami lub wypowiedziami źródłowymi, tam gdzie istnieją, i oznaczyć wnioski, które nie mają możliwego do prześledzenia uzasadnienia. Ogólne wytyczne dotyczące ryzyka związanego ze sztuczną inteligencją zalecają sprawdzanie i weryfikowanie źródeł, a nie traktowanie wygenerowanych treści jako ostatecznych. Ostrzegają również przed traktowaniem wąskich lub anegdotycznych obserwacji tak, jakby były systematycznymi dowodami. Zastosuj tę samą powściągliwość do własnego audytu: jedna sprawdzona strona potwierdza jedną sprawdzoną obserwację, a nie ustalony osąd o osobie. [NIST AI 600-1: konfabulacja generatywnej AI i weryfikacja źródeł]

• Oznacz każde zdanie, które wykracza poza swoje źródło, i złagodź je przed udostępnieniem.
• Zachowaj ukończony zapis razem z raportem, aby ograniczenia towarzyszyły ustaleniom.

Jeszcze kilka pytań