幻覚

生成型AIにおいて、ホールシネーションは、入力、提供されたソース、または検証可能な証拠によって支持されていない偽の生成されたコンテンツを指す一般的な略語です。これは、説得力があるように聞こえる場合でも当てはまります [1][2]。

幻覚とは、生成されたコンテンツが利用可能な証拠によって十分に裏付けられていないときに発生します。流暢または自信ありげな表現は、問題に気づきにくくします。事実を創作したり、実際のソースを誤って述べたり、異なる文脈からの詳細を組み合わせたり、主張を支持しないように見える引用を提示したりすることがあります。

研究者や基準団体は、常に同じように用語を使用するとは限りません。NISTは「コンファブレーション」という用語をよく使います。このページでは、すべての弱いまたは低品質なAI出力ではなく、事実と根拠の欠如に焦点を当てています。

幻覚はユーザーのミスや稀なタイプミスだけではありません。NISTは、生成型AIシステムにおける信頼性の問題として、コンファビュレーションと関連するリスクを識別し、ガバナンス、測定、モニタリングが必要であると述べています[1]。2024年のACL調査では、幻覚は大規模言語モデル、画像、ビデオ、オーディオの基礎モデル全体で広範な問題であり、ドメインごとに異なる原因と検出方法があるとされています[2]。

AIの出力はしばしば整った形で届くため、幻覚は重要です。スムーズな文章は弱い証拠を強そうに見せます。整った箇条書きは欠けた文脈を隠すことができます。偽の参照は、正直な「私は知らない」と比べてより信頼できるように見えることがあります。

日常的なユーザーにとっての主なリスクは、すべての答えが間違っていることではありません。リスクは、いくつかの間違った答えが見過ごされやすいことです。AIツールが製品ルール、ミーティングの引用、研究の出典、またはポリシーの例外を創作した場合、ユーザーはその誤りを学校の宿題、カスタマーサポート、管理の意思決定、または公開コンテンツに受け継ぐ可能性があります。

ユーザーが疲れている、急いでいる、またはテーマに不慣れなとき、問題はより鋭くなります。流暢な答えは確認のように感じられるかもしれません。特にユーザーが聞きたかったことに一致している場合です。Richbayは、主張が行動に十分に役立つようになった瞬間に読者に遅くすることを教えるべきです。なぜなら、その瞬間が証拠が重要になるからです。

言語モデルは、パターンと文脈からテキストを生成します。どの主張が検証されたものかは自動的に知りません。プロンプトで提示された情報が欠如している、曖昧である、古くなっている、または提示された資料の範囲外である場合でも、モデルは滑らかな答えを生成する可能性があります。その答えには、プロンプトやソースによって支持されていない詳細が含まれる場合があります。

ACLの調査では、幻覚は単一のバグではなく、複数の原因を持つ問題として説明されています[2]。原因には、トレーニングデータ、モデルの挙動、デコードの選択、欠如した根拠、曖昧なプロンプト、または評価のギャップが含まれます。製品の設定では、周囲のシステムが追加の失敗ポイントを追加する可能性があります。例えば、悪い検索、古くなったドキュメント、または安全でないツールの使用などです。

OpenAIは、ユーザーにChatGPTが不正確である可能性があることを説明し、重要な情報は確認する必要があることを示しています。これは、その製品シリーズに対する有用なベンダー固有のガイドラインです [3]。OpenAIはまた、研究指向の資料で、評価のインセンティブが、不確実性がより良い場合でも、自信のある回答を報酬する可能性があると述べています [4]。これらの点は注意を促すものですが、これらを普遍的な幻覚率に転化してはなりません。

幻覚はさまざまな形で現れます。一部は架空の事実です。一部は正しい事実が誤った場所で使われています。一部は条件を省略した要約です。一部は実際のソースを指しているが、その隣の主張には指していない参照です。ユーザーにとって実用的な質問は、「答えは誤っているのか？」だけでなく、「この使用目的に適切に裏付けられているのか？」です。

仮定の例として、学生がAIアシスタントに「睡眠と記憶に関する3つの査読付き論文を見つけて、私に参考文献を教えてください」と尋ねたと想像してください。アシスタントは3つの形式的な参考文献を返します。1つは存在しますが、1つはタイトルは似ていますが著者は間違っています。もう1つは完全に作り出されたものです。

生成された回答は無駄ではありませんが、提出する準備はできていません。生徒は各タイトルを図書館データベースまたは出版者サイトで検索し、論文の記録を開き、著者や出版詳細を確認し、その文が実際に支持されているかをチェックする必要があります。参照が見つからない場合は、信頼するのではなく削除する必要があります。

一般的な誤解は、幻覚（hallucination）はより丁寧に尋ねたり、「幻覚しないで」とプロンプトに追加したりすることで修正できるということです。明確なプロンプトは境界を設定するのに役立ちますが、真実を保証するものではありません。タスクがモデルが持っていない事実を求めている場合や、提供された文脈が不完全な場合、モデルは裏付けのない主張を生成する可能性があります。

もう一つの誤解は、引用が問題を自動的に解決するということです。引用は、実際の、関連性のある、そして実際に主張を支持するものである場合にのみ役立ちます。ソースリンクは破損している、関係がない、古すぎる、または間違った文に結びつけられている可能性があります。

リスクは決定に依存します。映画の推奨事項に架空の詳細が含まれるのは通常、リスクが低いです。しかし、安全手順、法的ルール、財務詳細、医療声明、または顧客アカウントの事実が架空であると、実際の被害をもたらす可能性があります。NISTは生成型AIのリスクを文脈に依存すると定義しており、これはレビューのプロセスがリスクに応じて調整されるべきであることを意味します [1]。

すべてのモデル、タスク、言語、製品、日付に適用可能な一貫した公開された誤認率は存在しません。率は評価設計、ドメイン、プロンプト、検索設定、モデルバージョンによって変化します。チェックされたソースと文脈なしで単一の数値を公開すると、読者を誤導することになります。

AIの回答に事実に関する主張が含まれている場合、次の質問をします：間違っていたら重要な主張はどれですか？重要な主張ごとにソースがありますか？ソースを開きましたか？ソースは同じことを述べていますか？ソースは十分に最新ですか？主張は提供された資料の外にありますか？すべきときにAIは不確実性を表現していますか？

出力に引用、統計、引用、ポリシー規則、名前付き人物、日付、技術的制限、法的言語、医療用語、セキュリティガイドライン、または他の人に影響を与える指示が含まれている場合、より注意深く扱ってください。出力を証拠としてではなく、調査の手がかりとして扱ってください。

確認できない主張は、ステータスを下げてください。可能性として再構成する、削除する、または開けることができるソースを尋ねてください。タスクが重要で、信頼できるソースが利用できない場合、正しい答えはAI出力を磨き上げるのではなく、停止することかもしれません。注意深いユーザーは、すべての答えを信頼する必要はありません。彼らは、証拠、文脈、および可能な害に応じて信頼を調整する必要があります。