Een AI-rapport vermeldt een baan, inkomen of relatietatus die het profiel niet noemt

Waarom een AI-rapport meer kan stellen dan de pagina doet

Generatieve hulpmiddelen kunnen vloeiende uitvoer produceren die verder gaat dan, of in strijd is met, het materiaal dat ze kregen. Het generatieve-AI-profiel van NIST beschrijft systemen die vol vertrouwen foutieve inhoud presenteren, inclusief uitvoer die niet consistent is met hun invoer, en beveelt aan dat mensen bronnen in zulke uitvoer beoordelen en verifiëren. Die algemene waarschuwing is wat deze audit nuttig maakt: het rapport is een reeks te controleren beweringen, geen samenvatting om te vertrouwen. De eigen beschrijving van de producteigenaar van AI-profielanalyse noemt de lezingen over werk, inkomen en relaties niet-geverifieerde gevolgtrekkingen in plaats van vaststaande persoonlijke feiten, dus behandel die velden op dezelfde manier totdat de aangehaalde pagina ze vermeldt. [NIST AI 600-1: confabulatie door generatieve AI en bronverificatie]

Maak een auditsheet met vier rijen

Gebruik één rij per veld. Schrijf in de eerste kolom de veldnaam zoals het rapport die formuleert. Plak in de tweede de exacte zin van de aangehaalde openbare pagina die dat veld behandelt, of schrijf "geen overeenkomende zin". Markeer in de derde het resultaat: onderbouwde uitspraak, onopgelost of geschrapte gevolgtrekking. Noteer in de vierde de pagina en de datum waarop je haar hebt gecontroleerd. Zo blijven de waarneming, haar beperking en je beslissing zichtbaar gescheiden in plaats van samengesmolten tot één indruk.

• Neem uitspraken woord voor woord over in plaats van ze tot iets sterkers te parafraseren.
• Noteer de pagina die je daadwerkelijk hebt geopend, niet een samenvatting uit tweede hand ervan.
• Dateer elke rij zodat een latere openbare wijziging niet als een eerdere tegenspraak lijkt.

Lees de aangehaalde pagina zelf en citeer haar dan

Open voor elk rapportveld een beschikbare bronlink en zoek naar de exacte ondersteunende uitspraak. Als het rapport geen bruikbare bron biedt, laat dat veld dan onondersteund. Als je geen pagina kunt vinden die het veld vermeldt, is die afwezigheid je bevinding: het veld is onondersteund. De richtlijn van NIST over het verifiëren van bronnen ondersteunt deze gewoonte; het betekent niet dat een bepaald rapport of hulpmiddel is getest, en het is een algemene risicobeheerobservatie en geen goedkeuring. [NIST AI 600-1: confabulatie door generatieve AI en bronverificatie]

Streep door, label en laat het buiten je bericht

Een veld doorstrepen betekent dat je het uit de werkversie van het rapport verwijdert en het markeert als een gevolgtrekking, niet dat je het stilletjes degradeert tot een gok. Een doorgestreept veld mag niet in een bericht aan de persoon verschijnen alsof het bekend was. Als je iets aan de orde wilt stellen, stel dan een open vraag en laat de persoon in eigen woorden antwoorden. De doorhaling is een beslissing over wat je zult herhalen, niet de bewering dat de gevolgtrekking onjuist is. Het betekent alleen dat de aangehaalde openbare pagina deze niet ondersteunt.

• Houd een aparte lijst bij van doorgestreepte velden, zodat je kunt zien hoeveel van het rapport op gevolgtrekkingen berustte.
• Schrijf berichten alleen op basis van de ondersteunde uitspraken.
• Vraag de persoon niet om een gevolgtrekking te bevestigen of te ontkennen alsof het een vaststaand feit was.

Wat een badge, status of stilte niet vaststelt

Een openbaar profiel is een zelfbeschrijving, geen geverifieerd dossier. Een ontbrekende relatietatus, een privégedeelte of een stil account is geen bewijs van een bepaalde status, intentie of eerlijkheid. TraceSeek kan een gebruikersnaam, beeldgelijkenis of zichtbare tekst gebruiken om te zoeken naar mogelijke overeenkomsten met openbare profielen, maar de dekking is niet volledig en die zoekopdrachten stellen persoonlijke feiten niet zelfstandig vast. Behandel elke AI-interpretatie als een hypothese over de formulering, nooit als identificatie of bewijs. [TraceSeek: productoverzicht en door de operator bevestigde mogelijkheden]

Hypothetisch uitgewerkt voorbeeld

Stel dat een rapport een baan, een inkomensbereik, een relatietatus en een huidige woonplaats vermeldt. Je opent de aangehaalde pagina voor elk veld. Waar de pagina het veld duidelijk vermeldt, houd je het aan als een ondersteunde uitspraak. Waar de pagina zwijgt, dubbelzinnig is of dat veld niet behandelt, streep je het door en label je het als een gevolgtrekking. In een later bericht kun je alleen op de ondersteunde uitspraken vertrouwen en een open vraag stellen over alles wat onopgelost is. Dat voorbeeld is hypothetisch en dient om de methode te tonen, niet een echt profiel. [TraceSeek: productoverzicht en door de operator bevestigde mogelijkheden]

Wanneer de bron ontbreekt of dubbelzinnig is

Als de aangehaalde pagina ontbreekt, privé is, niet overeenkomt of dubbelzinnig is, schrijf je die precieze beperking in het werkblad en stop je. Probeer niet via een andere route dezelfde informatie te bereiken, en behandel een dubbelzinnige zin niet als ondersteuning voor meerdere velden. NIST waarschuwt tegen het trekken van brede conclusies uit smalle of anekdotische controles, wat een andere reden is om de beperking vast te leggen in plaats van de leemte met een plausibele gok te vullen. Je werkblad is een leeshulp, geen platformcontrole of beloofde functie. [NIST AI 600-1: confabulatie door generatieve AI en bronverificatie]

Nog een paar vragen