Un numero di affidabilità in un rapporto di profilo necessita di una definizione delle prove

Inizia indicando l'unità del numero

Un punteggio numerico di un modello è un oggetto diverso da un fatto documentato e da un tasso di successo misurato. Un fatto documentato rimanda a una dichiarazione pubblica che puoi esaminare; un tasso di successo misurato deriva da una convalida su casi noti; un punteggio è un risultato il cui significato dipende da ciò che il modello è stato addestrato e testato a confrontare. Quando un rapporto mostra un numero senza dire quale di questi sia, registralo come unità indefinita. Non convertirlo silenziosamente in una probabilità su una persona, perché quella conversione è un'inferenza che il rapporto non ha guadagnato. [NIST AI 600-1: confabulazione dell'IA generativa e verifica delle fonti]

• Scrivi il numero esattamente come visualizzato, con la sua etichetta e qualsiasi parola che lo accompagna.
• Annota se il rapporto indica un'unità, una base di riferimento, un intervallo o un insieme di convalida.
• Se manca uno di questi elementi, segna il numero come indefinito anziché preciso.

Poni tre domande prima di interpretare

Chiedi cosa misura il numero, con cosa è stato confrontato e se è fornita una convalida. Un punteggio potrebbe descrivere la somiglianza con un esempio memorizzato, la concordanza tra fonti o una preferenza interna del modello; non sono probabilità su una persona. La convalida è l'elemento che ti permetterebbe di leggere il numero come calibrato. Le indicazioni generali sui rischi dell'IA osservano che le prestazioni non dovrebbero essere estrapolate da valutazioni ristrette, non sistematiche o aneddotiche, e che l'output generato può apparire sicuro pur essendo incoerente con i suoi input. Applica questa cautela a qualsiasi punteggio presentato senza una base dichiarata. [NIST AI 600-1: confabulazione dell'IA generativa e verifica delle fonti]

• Cosa misura il numero?
• Con cosa è stato confrontato?
• È fornita una convalida e su che tipo di casi?

Tieni un punteggio indefinito separato dai fatti osservati

Crea due registri separati. Il primo contiene ciò che hai osservato nella fonte pubblica consentita: un nome utente, un post pubblico, un'immagine, un'affiliazione dichiarata. Il secondo contiene l'output numerico del rapporto e tutto ciò che il rapporto ne inferisce. Tienili visivamente separati, così che un punteggio non presti mai un'autorità presa in prestito a un'affermazione priva di una propria fonte. Dove il rapporto è più netto della fonte, scrivi il qualificatore mancante accanto all'affermazione e riduci l'affermazione a ciò che la fonte supporta effettivamente.

Non lasciare che un decimale implichi una convalida

La precisione nella presentazione non è prova di accuratezza. Un numero scritto con diverse cifre decimali può sembrare calibrato pur non misurando nulla del mondo reale. Tratta il formato come cosmetico finché il rapporto non definisce la base del punteggio. Rivedi e verifica le fonti in qualsiasi output generato prima di farvi affidamento, perché il testo generato può presentare contenuti non supportati con un tono sicuro. Se il rapporto non offre alcuna definizione, il tuo foglio di lavoro deve riportare la parola indefinito accanto al numero anziché una stima di probabilità. [NIST AI 600-1: confabulazione dell'IA generativa e verifica delle fonti]

Registra il limite esatto e fermati lì

Se la fonte è assente, privata, non corrispondente o ambigua, scrivi quel limite preciso e interrompi l'inferenza non supportata. Non sostituire l'accesso privato, un'ipotesi di somiglianza o un punteggio più alto alle prove mancanti. Un limite utile indica ciò che mancava: il post è stato eliminato, l'immagine corrispondeva solo in modo approssimativo, il profilo potrebbe appartenere a più di una persona. Indicare la lacuna ti permette di decidere cosa fare dopo senza trasformare l'incertezza in una conclusione su qualcuno.

• Indica la lacuna specifica, non un avvertimento generico.
• Non trattare un'impostazione sulla privacy, il silenzio o una foto corrispondente come prova di identità o intenzione.
• Se un indizio è importante, pianifica una verifica lecita attraverso la fonte pubblica stessa, non un aggiramento.

Un foglio di lavoro per il lettore relativo a un rapporto

Crea tre colonne: affermazione del rapporto, base della fonte e stato. Nella colonna della base della fonte, incolla o parafrasa la dichiarazione pubblica su cui il rapporto si basa. Nella colonna dello stato, scegli tra fatto documentato, affermazione inferita o punteggio indefinito. Qualsiasi riga in cui il numero compare da solo resta nella colonna degli indefiniti. Questo è un ausilio redazionale che scrivi tu stesso; non è un controllo offerto da alcuna piattaforma. Mantiene onesto un esempio ipotetico: se un rapporto mostrasse 0.87 accanto a un nome utente pubblico, il foglio di lavoro registrerebbe un nome utente documentato e un'etichetta numerica indefinita, non una probabilità del 87 per cento che qualcosa riguardo alla persona sia vero.

Ancora un paio di domande