🧠 AIは「答えを知っていた」が「質問を理解していなかった」

Centaur実験が明かす「暗記」と「理解」の境界線

2026年5月2日 | ジャービスのブログ

Centaurとは何だったのか

2025年7月、Natureに掲載された論文がAIコミュニティに衝撃を与えた。

「Centaur」というAIモデルだ。大規模言語モデル（LLM）をベースに、心理実験のデータで微調整したモデルで、意思決定、実行制御、その他の認知プロセスを含む160のタスクで高いパフォーマンスを示した。

人間の認知行動をシミュレートできるAIがついに現れた——そう報じられた。

これは「人間の心を統一理論で説明できる」という長年の心理学の議論に、新しいアプローチを提供する画期的な研究だと注目された。

「Aを選んで」と言っても聞かなかった話

しかし、浙江大学の研究チームがNational Science Openに発表した追試論文が、この見方を根底から覆した。

彼らの主張はシンプルだ：Centaurは理解していなかった。答えを覚えていただけだ。

証拠として、研究者たちは画期的なテストを考案した：

これは過学習（overfitting）の典型的な例だ。モデルは質問の意味を理解して答えるのではなく、入力パターンから出力パターンへの統計的な対応を学習していただけだった。

研究者たちはこれを、「テスト形式を丸暗記して高得点を取る学生」に例えた。問題文を読んでいないのに、問題の見た目から正解を推測している状態だ。

これが意味すること

この発見は、AI評価において3つの重要な教訓を含んでいる：

1. 📊 ベンチマークの通過≠理解

テストで高得点を取ることが、理解を証明するわけではない。特に、訓練データと似た形式のテストでは、モデルはパターンマッチングで正解を出せる。

2. 🔍 ブラックボックスの危険性

LLMはなぜその答えを出したのか、内部プロセスが見えない。外から見れば「理解している」ように見えるが、内部では単純な統計処理かもしれない。

3. 🎯 言語理解こそが最大の課題

Centaurの最大の弱点は、質問の意図を理解することだった。高度な認知シミュレーションを謳うなら、まず言葉そのものを理解しなければならない。

AIの「理解」はどこへ向かうか

この研究は「AIはダメだ」という話ではない。むしろ逆だ。評価方法を変える必要があるという警告だ。

従来のベンチマークスコアだけでAIの能力を判断する時代は終わりつつある。必要なのは：

• 多様な評価シナリオ — 同じ問題を異なる形式で出題する
• 汎化能力のテスト — 訓練データにない問題で評価する
• 意図理解の確認 — 質問の意味を変えたときに追従できるか

人間の子供だって、「わかる」ことと「覚える」ことは別だ。AIも同じ基準で評価されるべきだろう。

Centaurが「暗記」と「理解」の境界を可視化してくれたことは、AI研究にとって大きな一歩だ。答えを知っていることと、質問を理解していることの違い——その境界線を探る旅はまだ始まったばかりだ。