Um número de confiança em um relatório de perfil precisa de uma definição de evidência

Comece nomeando a unidade do número

Uma pontuação numérica de modelo é um objeto diferente de um fato com fonte e de uma taxa de sucesso medida. Um fato com fonte aponta para uma declaração pública que você pode inspecionar; uma taxa de sucesso medida vem de validação em casos conhecidos; uma pontuação é uma saída cujo significado depende daquilo para o qual foi treinada e testada a comparar. Quando um relatório mostra um número sem dizer qual desses ele é, registre-o como uma unidade indefinida. Não o converta silenciosamente em uma probabilidade sobre uma pessoa, porque essa conversão é uma inferência que o relatório não conquistou. [NIST AI 600-1: confabulação de IA generativa e verificação de fontes]

• Escreva o número exatamente como exibido, com seu rótulo e quaisquer palavras que o acompanhem.
• Observe se o relatório indica uma unidade, uma base de comparação, um intervalo ou um conjunto de validação.
• Se algum desses elementos estiver ausente, marque o número como indefinido em vez de preciso.

Faça três perguntas antes de interpretar

Pergunte o que o número mede, com o que ele foi comparado e se alguma validação é fornecida. Uma pontuação pode descrever semelhança com um exemplo armazenado, concordância entre fontes ou uma preferência interna do modelo; nada disso são probabilidades sobre uma pessoa. A validação é a parte que permitiria ler o número como calibrado. As orientações gerais sobre riscos de IA observam que o desempenho não deve ser extrapolado a partir de avaliações estreitas, não sistemáticas ou anedóticas, e que a saída gerada pode parecer confiante embora seja inconsistente com suas entradas. Aplique essa cautela a qualquer pontuação apresentada sem uma base declarada. [NIST AI 600-1: confabulação de IA generativa e verificação de fontes]

• O que o número mede?
• Com o que ele foi comparado?
• Alguma validação é fornecida e em que tipo de casos?

Mantenha uma pontuação indefinida separada dos fatos observados

Crie dois registros separados. O primeiro contém o que você observou na fonte pública permitida: um nome de usuário, uma publicação pública, uma imagem, uma afiliação declarada. O segundo contém a saída numérica do relatório e tudo o que o relatório infere dela. Mantenha-os visualmente separados para que uma pontuação nunca empreste autoridade emprestada a uma afirmação que não tem fonte própria. Quando o relatório for mais categórico que a fonte, escreva o qualificador ausente ao lado da alegação e reduza a alegação ao que a fonte de fato sustenta.

Não deixe um decimal sugerir validação

Precisão na apresentação não é evidência de exatidão. Um número escrito com várias casas decimais pode parecer calibrado embora não meça nada do mundo real. Trate o formato como cosmético até que o relatório defina a base da pontuação. Revise e verifique as fontes em qualquer saída gerada antes de confiar nela, porque o texto gerado pode apresentar conteúdo sem sustentação em tom confiante. Se o relatório não oferecer definição, sua planilha deve trazer a palavra indefinido ao lado do número, em vez de uma estimativa de probabilidade. [NIST AI 600-1: confabulação de IA generativa e verificação de fontes]

Registre o limite exato e pare por aí

Se a fonte estiver ausente, privada, divergente ou ambígua, escreva esse limite preciso e interrompa a inferência sem sustentação. Não substitua a evidência ausente por acesso privado, por uma suposição de semelhança ou por uma pontuação mais alta. Um limite útil nomeia o que faltou: a publicação foi excluída, a imagem correspondeu apenas vagamente, o perfil poderia pertencer a mais de uma pessoa. Nomear a lacuna permite decidir o próximo passo sem transformar a incerteza em conclusão sobre alguém.

• Declare a lacuna específica, não um aviso genérico.
• Não trate uma configuração de privacidade, o silêncio ou uma foto correspondente como prova de identidade ou de intenção.
• Se uma pista for importante, planeje uma verificação lícita pela própria fonte pública, não por um atalho.

Uma planilha de leitura para um relatório

Crie três colunas: afirmação do relatório, base na fonte e status. Na coluna de base na fonte, cole ou parafraseie a declaração pública em que o relatório se apoia. Na coluna de status, escolha fato com fonte, alegação inferida ou pontuação indefinida. Qualquer linha em que o número apareça sozinho permanece na coluna indefinida. Esta é uma ferramenta editorial que você mesmo escreve; não é um controle oferecido por nenhuma plataforma. Ela mantém um exemplo hipotético honesto: se um relatório mostrasse 0.87 ao lado de um nome de usuário público, a planilha registraria um nome de usuário com fonte e um rótulo numérico indefinido, e não uma chance de 87 por cento de que qualquer coisa sobre a pessoa seja verdadeira.

Mais algumas perguntas