一文による定義
このガイドでは、ソースの検証とは、ソースが存在し、本物で関連性があり、実際にその特定の主張にサポートされていることを確認することを指します。
クイックアンサー
ソースの検証は、リンクを確認することとは異なります。引用、URL、DOI、公式なタイトル、または自信ありそうな文は、あくまで出発点にすぎません。ユーザーは、ソースを開き、誰が公開したかを特定し、それが十分に最新であるかを確認し、正確な文章が正確な主張を支持しているかを確認する必要があります。
これは生成AIにおいて特に重要です。回答は弱い、関係のない、古くなった、または創作されたサポートに本物のように見える参照を添える可能性があるからです。ユネスコは学生向けのAIリテラシーを、AIソリューションの責任ある使用と批判的判断に基づいています[1]。Richbayにとって、実用的なバージョンは単純です：チェックしていないソースからの権威を借りた洗練された回答に頼らないでください。
なぜ重要なのか
AIツールは役立つ研究アシスタントですが、生成された出力は検証された証拠ではありません。モデルはページを誤って要約したり、誤った主張に実際のソースを引用したり、古いルールと新しいルールを混ぜたり、見かけ上妥当な出版物を創作したりする可能性があります[2]。ソースの検証は、ユーザーが学校、仕事、サポート、政策、または公開コンテンツにこれらの間違いを伝搬することを防ぎます。
リスクは主張によって変わります。カジュアルな旅行アイデアのための弱いソースはリスクが低いかもしれませんが、医療声明、雇用ルール、セキュリティ設定、財務仮定、または顧客ポリシーのための弱いソースは実際の被害をもたらす可能性があります。NISTは生成型AIのリスクを文脈に依存するとし、統治、測定、モニタリングを必要とするとしています [2]。これにより、主張レベルのチェックは装飾的な参照習慣ではなく、責任あるAIの使用の一部となります。
検証は思考を改善します。ユーザーが「ソースが存在する」ことと「ソースが信頼できる」こと、「ソースが最新である」こと、「ソースがこの文を支持している」ことを分離するように強制します。これらは4つの異なるチェックです。1つを通過しても、他のチェックが自動的に通過するわけではありません。
仕組み
存在から始めます。出版者、機関、図書館データベース、公式ドキュメンテーションサイト、標準団体、または他の追跡可能な場所を通じて直接ソースを開きます。リンクが失敗した場合は、タイトルと著者で検索してください。ソースが見つからない場合は、引用しないでください。
次に、信頼性と信頼性を確認します。ソースを作成したのは誰か、どのようなソースか、どのようなインセンティブがあるかを尋ねます。一次ソースには、法律、基準、公式報告書、オリジナルの研究論文、その製品の製品ドキュメンテーション、および直接のデータリリースが含まれます。二次ソースは一次資料を説明、要約、または解釈します。二次ソースは役に立つ場合がありますが、重要な主張において一次証拠を静かに置き換えてはなりません。
その後、新鮮さを確認してください。ソースが本物で信頼できるかもしれませんが、古くなっている可能性があります。製品設定、法律、セキュリティガイドライン、価格、モデルの機能、ポリシーのページは変更されることがあります。安定したコンセプトは古いソースを許容するかもしれませんが、現在の運用上の主張には新しいまたは公式にメンテナンスされているソースが必要です。
最後に、クレームレベルのサポートを確認してください。その文をサポートする正確な段落、表、図、またはページを見つけてください。記事がそのトピックについて述べているだけで、AIの答えが主張していることを言っていない可能性があります。たとえば、記事に「AIシステムは文脈によって異なります」とある場合、すべての職場で安全な特定の製品を主張する根拠にはなりません。
横断的読解は信頼性の確認に役立ちます。WineburgとMcGrewの研究では、プロの事実確認者はしばしば元のサイトをすぐに離れ、他のタブを開いて情報の裏付けとなる人物を確認する傾向があることがわかりました。一方で、専門性のない読者はページ内にとどまり、表面的な特徴を検査する傾向があります。教訓は、ランダムにクリックすることではなく、他の信頼できるソースがその情報について何と言っているかを確認することです。
エンドツーエンドの例
AIアシスタントが「2024年のユネスコの報告書によると、学生はすべての宿題でAIを使用すべきである（出典を明記することを条件に）」と述べたと想像してください。その回答にはユネスコのページへのリンクが含まれています。信頼できる出版者であるからといって、その文をただコピーすべきではありません。
注意深い確認には4つのステップがあります。まず、UNESCOのページを開き、存在することを確認します。第二に、それが本当にUNESCOの出版物であることを確認し、再投稿や関係のない検索結果ではないことを確認します。第三に、そのページが学生のAI能力についてのものであり、日付が関連しているかを確認します。第四に、ソース内で正確な宿題の主張を検索します。ソースが責任あるAIの使用と批判的判断について述べているが、学生がすべての宿題にAIを使用すべきだとは述べていない場合、AIの主張は再構成または削除される必要があります。
一般的な誤解
一般的な誤解は、公式の情報源が自動的に十分であるということです。公式の情報源は、その機関が述べていることに対して強い証拠となることがありますが、それらは古い情報である可能性もあり、狭い範囲にとどまっている、不完全である、またはユーザーのケースに適用できない可能性もあります。ある国の税務庁のページは、別の国のルールには答えられません。ベンダーのドキュメントは、そのベンダーが特徴をどのように説明しているかを証明するかもしれませんが、中立的な業界の結論ではありません。
もう一つの誤解は、同じモデルに自身を検証させることで独立した検証が行われるということです。それはそうではありません。モデルはより自信を持って同じ間違いを繰り返す可能性があります。独立した検証とは、生成された答えの外側で確認することを意味し、できるだけ一次資料または高品質な二次資料を通じて行うべきです。
リスクと制限
ソースの検証には時間がかかるため、いつ適用すべきかについてユーザーの判断が必要です。新しい情報、驚きのある情報、技術的な情報、影響力のある情報、現在の情報、または他人に影響を与える可能性のある情報については、検証する必要があります。また、引用、統計、日付、名前、法律、医療の声明、セキュリティのアドバイス、雇用のルール、製品の機能に関する主張なども検証する必要があります。
検証は正確性を保証するものではありません。ソースが誤解される、不完全である、バイアスがある、または取り消される可能性があります。ユーザーが誤った文章を確認することもあります。目標は、裏付けのない依存を減らすことであり、すべての引用を確実なものにすることではありません。
実践的な判断チェックリスト
引用されたAIの答えに頼る前に、尋ねてください：ソースを開きましたか？それはオリジナルですか、それとも信頼できるコピーですか？誰が公開しましたか？どのような種類のソースですか？それほど最新ですか？正確なセクションが正確な主張を支持していますか？主張はソースが許容するよりも強力ですか？より良い一次ソースがありますか？
高リスクの作業では、短い証拠の痕跡を保持してください。その主張をサポートするソースのタイトル、出版者、URL、アクセス日、および該当する文章またはページを保存してください。答えがポリシー、安全、金銭、健康、法、顧客、または雇用に影響を与える場合、行動する前に資格を持つ人に証拠をレビューしてもらう必要があります。