Twee aanwijzingen in een rapport komen uit één bron, niet uit twee

Waarom een tweede zin geen tweede bron is

Een rapport kan beter onderbouwd lijken dan het is. Eén openbare profielpagina kan een functietitel, een stad en een hobby vermelden, en een samenvatting kan daar drie zinnen van maken die als drie bevindingen lezen. Ze rusten op één artefact. Zinnen tellen in plaats van bronnen blaast op hoeveel je denkt te weten. De praktische oplossing is een telling van brononafhankelijkheid: benoem voor elke bewering de enige pagina, het bericht of de fotomatch erachter, en tel vervolgens hoeveel afzonderlijke artefacten het rapport in totaal ondersteunen. Twee beweringen die één artefact delen, worden één aanwijzing. [TraceSeek: productoverzicht en door de operator bevestigde mogelijkheden]

• Zet elke zin uit het rapport in één kolom en het specifieke openbare artefact erachter in de volgende.
• Groepeer zinnen die een artefact delen en herschrijf elke groep als één aanwijzing.
• Tel de groepen, niet de zinnen, als je aantal onafhankelijke aanwijzingen.

Gegenereerde samenvattingen kunnen onbedoeld dubbel tellen

Generatieve hulpmiddelen kunnen dezelfde input op meerdere overtuigend klinkende manieren herformuleren en soms output presenteren die niet overeenkomt met het materiaal dat ze kregen. Daarom is een broncontrole per zin noodzakelijk in plaats van optioneel. De aanbeveling in algemene richtlijnen over AI-risico's is om de bronnen achter gegenereerde output te beoordelen en te verifiëren in plaats van de framing te accepteren. Toegepast hier betekent dat bij elke zin vragen: naar welke exacte openbare pagina of welk imagenresultaat zou ik wijzen als er naar gevraagd wordt? Als het antwoord hetzelfde artefact is als bij de vorige zin, heb je één aanwijzing in twee jassen. Dit is algemene richtlijn over het verifiëren van AI-output, geen bewering over hoe een specifiek hulpmiddel zich gedraagt. [NIST AI 600-1: confabulatie door generatieve AI en bronverificatie]

Een paar samenvoegen en het vertrouwen verlagen

Samenvoegen is niet alleen opruimen. Wanneer twee zinnen samenvallen tot één aanwijzing, verliest het rapport een schijnbare bevestiging, dus je vertrouwen in de gecombineerde conclusie zou moeten dalen tot het niveau dat één onbevestigd artefact ondersteunt. Houd de samengevoegde aanwijzing als een te controleren vraag, niet als een bevinding. Als een afzonderlijke pagina één van de zinnen apart ondersteunt, splits die zin dan weer uit en houd die als een eigen aanwijzing. Alles wat alleen door het samengevoegde artefact wordt ondersteund, of door geen enkel genoemd artefact, moet gewoon als een gok op basis van één bron worden opgeschreven tot er iets onafhankelijks opduikt.

• Herschrijf de samengevoegde aanwijzing in één zin die geen meerdere bevestigingen suggereert.
• Noteer het verlaagde vertrouwen ernaast, zodat latere lezers het niet te zwaar wegen.
• Markeer zinnen zonder genoemd openbaar artefact als gokken op basis van één bron in plaats van ze stilzwijgend te verwijderen.

Wat openbaar onderzoek kan laten zien, en wat niet

Openbare gebruikersnaam-invoer kan overeenkomende openbaar toegankelijke sociale profielen opleveren, al is de dekking niet uitputtend. Foto-invoer kan zichtbare tekstherkenning en beeldgelijkenis gebruiken om naar openbare sociale pagina's en het voorkomen van afbeeldingen te zoeken. Analyse van gevonden openbare profielinhoud kan interpretaties over werk, inkomen of relaties bieden, maar dat zijn niet-geverifieerde gevolgtrekkingen, geen vaststaande persoonlijke feiten. Niets hiervan omzeilt privéaccounts of garandeert volledige resultaten. Een samengevoegde aanwijzing is dus nog steeds alleen een openbaar signaal: die kan identiteit, bedoeling of gedrag niet bevestigen, en een badge, een overeenkomende foto of een stil profiel is geen bewijs van een van die dingen. [TraceSeek: productoverzicht en door de operator bevestigde mogelijkheden]

Een hypothetisch werkblad om de zinnen te sorteren

Stel dat een hypothetisch rapport vier zinnen bevat: dat iemand in de logistiek werkt, in een genoemde stad woont, een bepaalde hobby volgt en onlangs online actief was. Elk krijgt één rij. Als de zinnen over werk en stad beide naar dezelfde openbare profielpagina wijzen, voegen ze samen tot één aanwijzing met verlaagd vertrouwen. Als de zin over de hobby naar een ander openbaar bericht wijst, blijft die apart. Als de zin over activiteit geen getraceerde pagina heeft, blijft die gemarkeerd als een gok op basis van één bron. Dit blad is een leeshulp die je zelf maakt; het is geen beschrijving van het scherm of de velden van welk hulpmiddel dan ook.

Wanneer de bron ontbreekt, privé of dubbelzinnig is

Soms mislukt de controle zelf. De aangehaalde pagina is mogelijk verdwenen, privé of over iemand met een vergelijkbare naam, of een fotomatch kan te ambigu zijn om aan het juiste account te koppelen. Noteer in dat geval de exacte beperking in het rapport en stop de gevolgtrekking, in plaats van te grijpen naar privétoegang of identiteitskortsluitingen. Een gestopte gevolgtrekking is een geldig resultaat van een broncontrole. Hetzelfde geldt voor generaliseren op basis van een nauwe of anekdotische blik; een kleine controle stelt geen breder patroon vast. Behandel deze beperkingen als onderdeel van het rapport, niet als hiaten die moeten worden toegedekt. [NIST AI 600-1: confabulatie door generatieve AI en bronverificatie]

Wat te doen met het resultaat

Zodra je de zinnen met een gedeelde bron hebt samengevoegd en de gissingen op één bron hebt gemarkeerd, moet het rapport zijn aantal onafhankelijke aanwijzingen vermelden en zijn openstaande vragen benoemen. Als een samengevoegde aanwijzing voor jou persoonlijk van belang is, is de rustigste volgende stap meestal om het de persoon rechtstreeks te vragen in plaats van meer zoeklagen bovenop één artefact te stapelen. Houd je doorlopend aan openbare informatie en vrijwillig gedeelde bronnen, en zoek geen privégegevens om een dunne aanwijzing te stutten.

• Sluit het rapport af met een telling van onafhankelijke bronnen en een korte lijst van gissingen op één bron.
• Plan voor elke samengevoegde aanwijzing die belangrijk aanvoelt een rechtstreeks gesprek in plaats van verder te zoeken.

Nog een paar vragen