Um relato de IA afirma um cargo, uma renda ou um estado civil que o perfil não informa

Por que um relato de IA pode afirmar mais do que a página

Ferramentas generativas podem produzir textos fluentes que vão além do material recebido ou entram em conflito com ele. O perfil de IA generativa do NIST descreve sistemas que apresentam conteúdo errôneo com confiança, incluindo resultados inconsistentes com suas entradas, e recomenda que as pessoas revisem e verifiquem as fontes nesses resultados. É essa advertência geral que torna esta auditoria útil: o relato é um conjunto de afirmações a verificar, não um resumo em que se confiar. A própria descrição do proprietário do produto sobre a análise de perfil por IA chama as leituras de trabalho, renda e relacionamento de inferências não verificadas, e não de fatos pessoais estabelecidos, portanto trate esses campos da mesma forma até que a página citada os declare. [NIST AI 600-1: confabulação de IA generativa e verificação de fontes]

Monte uma planilha de auditoria com quatro linhas

Use uma linha por campo. Na primeira coluna, escreva o nome do campo como o relato o formulou. Na segunda, cole a frase exata da página pública citada que trata desse campo, ou escreva "nenhuma frase correspondente". Na terceira, marque o resultado: declaração sustentada, não resolvido ou inferência eliminada. Na quarta, anote a página e a data em que você a verificou. Isso mantém a observação, seu limite e sua decisão visivelmente separados, em vez de misturá-los em uma única impressão.

• Copie as declarações palavra por palavra, em vez de parafraseá-las para algo mais forte.
• Registre a página que você realmente abriu, não um resumo de segunda mão dela.
• Data cada linha para que uma mudança pública posterior não pareça uma contradição anterior.

Leia a própria página citada e depois cite-a

Para cada campo do relatório, abra um link de fonte disponível e procure a declaração de apoio exata. Se o relatório não fornecer uma fonte utilizável, mantenha esse campo sem suporte. Se você não conseguir localizar uma página que declare o campo, essa ausência é a sua constatação: o campo não tem suporte. A orientação do NIST sobre verificação de fontes apoia esse hábito; isso não significa que qualquer relatório ou ferramenta específica tenha sido testada, e é uma observação geral de gestão de riscos, não um endosso. [NIST AI 600-1: confabulação de IA generativa e verificação de fontes]

Risque, rotule e deixe de fora da sua mensagem

Riscar um campo significa removê-lo da versão de trabalho do relatório e marcá-lo como inferência, não rebaixá-lo silenciosamente a um palpite. Um campo riscado não deve aparecer em uma mensagem para a pessoa como se fosse algo conhecido. Se você quiser levantar algo, faça uma pergunta aberta e deixe a pessoa responder com as próprias palavras. O risco é uma decisão sobre o que você vai repetir, não uma afirmação de que a inferência é falsa. Significa apenas que a página pública citada não a sustenta.

• Mantenha uma lista separada dos campos riscados para que você possa ver quanto do relatório se apoiava em inferência.
• Escreva mensagens apenas a partir das declarações com suporte.
• Não peça à pessoa para confirmar ou negar uma inferência como se fosse um fato estabelecido.

O que um selo, status ou silêncio não estabelece

Um perfil público é uma autodescrição, não um registro verificado. A ausência de um status de relacionamento, uma seção privada ou uma conta silenciosa não é evidência de qualquer status, intenção ou honestidade em particular. O TraceSeek pode usar um nome de usuário, semelhança de imagem ou texto visível para buscar possíveis correspondências em perfis públicos, mas a cobertura não é exaustiva e essas buscas não estabelecem fatos pessoais de forma independente. Trate toda interpretação de IA como uma hipótese sobre a redação, nunca como identificação ou prova. [TraceSeek: visão geral do produto e capacidades confirmadas pelo operador]

Exemplo hipotético resolvido

Suponha que um relatório liste um emprego, uma faixa de renda, um status de relacionamento e uma cidade atual. Você abre a página citada para cada campo. Onde a página declara o campo claramente, mantenha-o como declaração com suporte. Onde a página é omissa, ambígua ou não aborda esse campo, risque-o e rotule-o como inferência. Em uma mensagem posterior, você pode se apoiar apenas nas declarações com suporte e fazer uma pergunta aberta sobre qualquer ponto não resolvido. Esse exemplo é hipotético, oferecido para mostrar o método, e não um perfil real. [TraceSeek: visão geral do produto e capacidades confirmadas pelo operador]

Quando a fonte está ausente ou é ambígua

Se a página citada estiver ausente, for privada, não corresponder ou for ambígua, escreva esse limite preciso na planilha e pare. Não tente alcançar a mesma informação por outra via, e não trate uma frase ambígua como sustentação de vários campos. O NIST adverte contra tirar conclusões amplas de verificações estreitas ou anedóticas, o que é outro motivo para registrar o limite em vez de preencher a lacuna com um palpite plausível. Sua planilha é um auxílio à leitura, não um controle de plataforma nem um recurso prometido. [NIST AI 600-1: confabulação de IA generativa e verificação de fontes]

Mais algumas perguntas