Отчёт ИИ указывает работу, доход или статус отношений, о которых профиль не говорит

Почему отчёт ИИ может утверждать больше, чем страница

Генеративные инструменты могут выдавать гладкий текст, который выходит за рамки предоставленного им материала или противоречит ему. Профиль генеративного ИИ от NIST описывает системы, уверенно представляющие ошибочное содержимое, включая вывод, не согласующийся с их входными данными, и рекомендует людям проверять и верифицировать источники в таких выводах. Именно это общее предупреждение делает данный аудит полезным: отчёт — это набор утверждений для проверки, а не сводка, которой можно доверять. Собственное описание владельца продукта анализа профилей ИИ называет прочтения работы, дохода и отношений неподтверждёнными выводами, а не установленными личными фактами, поэтому относитесь к этим полям так же, пока указанная страница их не подтвердит. [NIST AI 600-1: конфабуляция генеративного ИИ и проверка источников]

Составьте лист аудита из четырёх строк

Используйте одну строку на поле. В первом столбце запишите название поля так, как оно сформулировано в отчёте. Во втором вставьте точное предложение с указанной публичной страницы, которое касается этого поля, или напишите "нет подходящего предложения". В третьем отметьте результат: подтверждённое утверждение, неразрешённое или вычеркнутый вывод. В четвёртом укажите страницу и дату, когда вы её проверяли. Так наблюдение, его предел и ваше решение остаются видимо раздельными, а не сливаются в одно впечатление.

• Копируйте утверждения дословно, а не перефразируйте их во что-то более сильное.
• Записывайте страницу, которую вы действительно открыли, а не пересказ её из вторых рук.
• Проставляйте дату в каждой строке, чтобы более позднее публичное изменение не выглядело как более раннее противоречие.

Прочитайте саму указанную страницу, затем процитируйте её

Для каждого поля отчёта откройте доступную ссылку на источник и поищите точное подтверждающее утверждение. Если отчёт не предоставляет пригодный источник, оставьте это поле неподтверждённым. Если вы не можете найти страницу, где указано это поле, такое отсутствие и есть ваш вывод: поле не подтверждено. Руководство NIST по проверке источников поддерживает эту привычку; это не означает, что какой-либо конкретный отчёт или инструмент был протестирован, и это общее наблюдение о управлении рисками, а не одобрение. [NIST AI 600-1: конфабуляция генеративного ИИ и проверка источников]

Вычеркните, пометьте и не включайте это в своё сообщение

Вычеркнуть поле означает удалить его из рабочей версии отчёта и пометить как вывод-предположение, а не тихо понизить его до догадки. Вычеркнутое поле не должно появляться в сообщении человеку так, будто оно известно. Если вы хотите что-то поднять, задайте открытый вопрос и позвольте человеку ответить своими словами. Вычёркивание — это решение о том, что вы будете повторять, а не утверждение, что вывод-предположение ложен. Оно означает лишь, что указанная публичная страница его не подтверждает.

• Ведите отдельный список вычеркнутых полей, чтобы видеть, насколько большая часть отчёта опиралась на выводы-предположения.
• Составляйте сообщения только на основе подтверждённых утверждений.
• Не просите человека подтвердить или опровергнуть вывод-предположение так, будто это установленный факт.

Чего не устанавливают значок, статус или молчание

Публичный профиль — это самоописание, а не проверенная запись. Отсутствующий статус отношений, закрытый раздел или неактивный аккаунт не являются доказательством какого-либо конкретного статуса, намерения или честности. TraceSeek может использовать имя пользователя, сходство изображений или видимый текст для поиска возможных совпадений с публичными профилями, но охват не является исчерпывающим, и такие поиски не устанавливают личные факты независимо. Относитесь к любой интерпретации ИИ как к гипотезе о формулировке, а не как к идентификации или доказательству. [TraceSeek: обзор продукта и возможности, подтверждённые оператором]

Гипотетический разобранный пример

Предположим, в отчёте указаны работа, диапазон дохода, статус отношений и текущий город. Вы открываете указанную страницу для каждого поля. Там, где страница прямо указывает поле, оставляйте его как подтверждённое утверждение. Там, где страница молчит, неоднозначна или не касается этого поля, вычеркните его и пометьте как вывод-предположение. В последующем сообщении вы можете опираться только на подтверждённые утверждения и задать открытый вопрос обо всём нерешённом. Этот пример гипотетический и приведён, чтобы показать метод, а не какой-либо реальный профиль. [TraceSeek: обзор продукта и возможности, подтверждённые оператором]

Когда источник отсутствует или неоднозначен

Если указанная страница отсутствует, закрыта, не соответствует или неоднозначна, запишите это точное ограничение в таблицу и остановитесь. Не пытайтесь получить ту же информацию другим путём и не считайте неоднозначную фразу подтверждением нескольких полей. NIST предостерегает от широких выводов на основе узких или единичных проверок, и это ещё одна причина записать ограничение, а не заполнять пробел правдоподобной догадкой. Ваша таблица — это вспомогательное средство для читателя, а не функция платформы и не обещанная возможность. [NIST AI 600-1: конфабуляция генеративного ИИ и проверка источников]

Ещё пара вопросов