コンテンツにスキップ

Unit A-1 AIはなぜ間違えるのか — LLMの仕組み10分入門

対応コンピテンシー: A1, A3 ｜ 所要時間の目安: 10分

なぜこのスキルが必要か

ある研修医が、当直中に迷った薬剤の投与量を生成AIに尋ねたところ、もっともらしい数値と根拠がすぐに返ってきました。文章は自信満々で、出典らしき記載まで添えられていましたが、後で調べると数値も出典も実在しないものでした。生成AIは「知らない」とは言わず、それらしい答えを作ってしまうことがあります。この現象(ハルシネーション)がなぜ起きるのかを知っておくことは、生成AIを臨床や学習の現場で安全に使うための第一歩です。

コアの解説

  • LLM(大規模言語モデル)は、それまでの文脈をもとに「次に来る語として最も確率が高いものは何か」をひたすら予測し、それを繰り返して文章を生成しています。
  • LLMが最適化しているのは「もっともらしさ(自然な文章らしさ)」であり、「事実として正しいこと」そのものではありません。
  • そのため、実在しない文献や誤った数値であっても、文章として自然であれば流暢に生成されてしまいます。これがハルシネーション(もっともらしい誤り)であり、現在のLLMの仕組み上、完全にはなくせない性質です。
  • 裏を返せば、「AIの出力は常に検証が必要な下書きである」という前提で使えば、十分に実用的な道具になります。

コピー可能なプロンプト

以下の2つの実験用プロンプトを、手元の生成AIに貼って試してみてください。

【実験1: 架空文献の観察】
私の専門領域は[あなたの専門・興味のある分野を、できるだけニッチに(狭く具体的に)記入してください。
例:「70歳以上の維持透析患者における帯状疱疹ワクチンの費用対効果」]です。
このテーマについて、参考になる学術論文を3本、著者名・発表年・雑誌名つきで挙げてください。

【実験2: 出力の揺らぎ観察】
(実験1で使ったプロンプトを、新しい会話(チャット)であらためて貼り付けてください。
1回目の回答と2回目の回答を見比べます。)

手順

  1. 実験1のプロンプトの[ ]内を、自分の専門や興味のある分野で、できるだけニッチな(専門性の高い)テーマに書き換えます。
  2. 手元の生成AI(ChatGPT、Claude、Gemini、Copilotなど何でも構いません)に貼り付けて実行します。
  3. 挙げられた論文それぞれについて、実在するかどうかを確認します。URLやDOIが付いていれば、まずそれを開いてみましょう(リンク切れだったり、開いた先がAIの言うタイトル・著者と別の論文だったりすることがあります — それ自体がハルシネーションの観察結果です)。URLがなければ、著者名・雑誌名・タイトルで検索します(PubMedやGoogle Scholarなど)。
  4. 実在しない、またはタイトルや内容が一致しない文献があれば、どこがどう「もっともらしい嘘」だったかをメモします。
  5. 余裕があれば実験2も行い、新しい会話で同じ質問をして、1回目と2回目で答えがどう変わったかを観察します。

期待される出力の例

実験1では、次のような「実在しない文献」がもっともらしく提示されることがあります(以下は説明用の架空の例です)。

1. Yamada T, et al. "Cost-effectiveness of herpes zoster vaccination in elderly
   dialysis patients: a multicenter analysis." Journal of Renal Medicine, 2022.
2. Sato K, Tanaka M. "Long-term outcomes of zoster vaccine in hemodialysis
   cohorts." Nephrology Today, 2021.
3. Suzuki H, et al. "Economic burden reduction through vaccination in dialysis
   populations." Clinical Dialysis Review, 2023.

著者名・雑誌名・体裁はいかにも本物らしく整っていますが、検索しても実在しない、あるいは似た名前の別の論文しか見つからない、ということがしばしば起こります。

うまくいかない典型パターンと対処

  • 有名すぎるテーマだと、正しい文献が返ってくる: 学習データに多く含まれる著名な話題では、AIが正確な情報を答えられることがあります。よりニッチな(自分の専門の中でも狭い)テーマに変えて試してみてください。
  • 「わかりません」「確認できません」と正直に返ってくる: 最近の生成AIは、不確かな情報について正直に答える方向に改善が進んでいます。これ自体、ハルシネーション対策が進化していることを示す良い学びです。他のテーマや、より詳細さを求める聞き方(「詳細な数値も含めて」等)で試すと、もっともらしい誤りが観察しやすくなります。

安全上の注意

患者情報を入力しないでください

実験の際、実際の患者に関する情報(氏名・患者ID・生年月日・詳細な病歴など)は絶対に入力しないでください。自分の専門分野や一般的な興味関心のテーマだけで実験は成立します。

自己チェッククイズ

このユニットの理解度を確認できます。合否の判定はなく、記録も保存されません。

成果物フィードバック

実験を行った対話の最後に、フィードバックAIページの採点プロンプトを貼り付けて送信すると、AIから講評が返ってきます。送信するときは、先頭に「Unit A-1の成果物です」と書き添えてください。実在確認の結果(どの文献が実在しなかったか等)も対話に書き込んでおくと、より具体的な講評になります。この提出は任意で、領域Aの目録発行の条件ではありません。

次へ

理解を確認できたら、領域Aクイズに挑戦しましょう。目録の発行条件はクイズ合格のみのため、Unit A-2を読んでいなくても挑戦して構いません。

参考資料(任意)

  • 杉浦真由美「生成AIリテラシーについて学ぶオンデマンド教材の紹介」(日本医学教育学会 ICT教育委員会シンポジウム 第2回, 2025-12-16): スライドPDF / 講演動画

参照しなくても本ユニットは完結します。