A citação em um relatório de IA cobre a alegação para a qual é citada?

Por que uma citação não é o mesmo que prova

Um sistema generativo pode apresentar uma formulação confiante que não corresponde aos seus dados de entrada, e é por isso que a revisão de fontes e citações faz parte de qualquer uso de resultados de IA. Uma frase citada pode ser precisa como sequência de palavras e ainda assim não sustentar a frase construída sobre ela. A verdadeira questão não é se as palavras aparecem em algum lugar, mas se a passagem de onde vieram diz o que o relatório afirma. Trate a citação como um ponteiro de volta para a página pública, não como a evidência em si. [NIST AI 600-1: confabulação de IA generativa e verificação de fontes]

• Suponha que a citação e a alegação sejam objetos separados até tê-las comparado.

Abra o parágrafo, não a frase

Encontre a página pública citada e localize a frase citada no contexto. Leia o parágrafo completo ao redor dela e, se a redação estiver pouco clara, o título da seção acima. Observe quem está falando, o que está sendo descrito e se a passagem afirma um fato, um plano, uma possibilidade ou uma opinião. Uma frase retirada de uma passagem mais longa costuma perder o qualificador que a limitava.

• Leia um parágrafo antes e outro depois da citação quando o sentido for ambíguo.
• Registre o título da página e a data em que você a leu, para que a verificação possa ser repetida.

Escreva uma nota de escopo por citação

Use uma linha para cada citação, para que a comparação permaneça visível. A tabela abaixo mostra como funciona uma nota de escopo; as entradas são ilustrações hipotéticas, não conclusões sobre qualquer página ou produto real.

Retire, restrinja ou mantenha como incerta

Aplique uma regra simples. Se a citação abrange a afirmação, mantenha a afirmação vinculada a essa fonte. Se a citação é mais restrita do que a afirmação, reescreva a afirmação até o escopo citado ou retire o excesso. Se a citação estiver ausente, retire a afirmação por completo, a menos que uma fonte pública independente seja encontrada. Tudo o que sobrar permanece incerto, em vez de ser promovido discretamente. Um relato de IA também pode oferecer interpretações sobre trabalho, renda ou relacionamentos a partir do conteúdo de um perfil público; são inferências não verificadas, não fatos pessoais, e uma citação não as converte em fatos. [TraceSeek: visão geral do produto e capacidades confirmadas pelo operador]

• Nunca deixe uma afirmação retirada sobreviver em forma de resumo em outro ponto do relato.
• Mantenha uma lista curta das afirmações que permanecem incertas, para que não sejam lidas como confirmadas.

Quando a fonte não puder ser verificada

Algumas citações não serão resolvidas de forma clara. A página pode ter desaparecido, o texto ao redor pode ser ambíguo, a fonte citada pode não corresponder ao relato ou o material citado pode ser privado. Em cada um desses casos, registre o limite exato e pare a inferência ali. Não tente reconstruir uma página privada por outros meios e não trate uma fonte ausente como confirmação tácita. Um nome de usuário ou uma imagem pública pode levar a material de perfil público, mas a cobertura não é garantida e nada ali prova identidade ou atividade atual. [TraceSeek: visão geral do produto e capacidades confirmadas pelo operador]

• Escreva o limite em palavras simples ao lado da afirmação: página ausente, página privada, texto ambíguo, fonte divergente.
• Pare em vez de substituir a página citada por outra.

Um exemplo hipotético da distinção

Suponha que um relato hipotético afirme que o dono de um perfil público mora em uma determinada cidade e cite a frase "baseado no norte" da página citada. Se o parágrafo ao redor descrever a localização do escritório de um empregador anterior, a citação não abrange a afirmação sobre onde a pessoa mora atualmente. A nota de escopo correta é que a citação é mais restrita do que a afirmação, e a afirmação sobre residência é retirada ou marcada como incerta. Se uma segunda afirmação no mesmo relato disser que o perfil lista um hobby específico e o parágrafo citado o afirmar claramente, essa citação abrange sua afirmação e pode permanecer, ainda vinculada à única fonte pública.

Mais algumas perguntas