AIに「小5までしか教えない」とどうなる

マックス・プランク研究所などの研究チームが、AIを小学5年生までの教材だけで訓練する実験を実施。あとから知識を足しても、事前学習で決まった「知識の壁」は超えられなかったという。

ひかり：ねえねえ、ことね先輩、聞いてほしいんだけどっ。AIに「小学5年生までの教科書しか見せない」っていう実験、知ってるっ?

みずき：…なにそれ。AIをわざと落第させたいの。

ことね：ふふ、みずきそれ、けっこう本質よ。マックス・プランク研究所やETHチューリッヒなどの研究チームが、言語モデルをアメリカの小学5年生レベルの教材だけ——標準カリキュラムに沿った文章を88億語ぶん——で訓練したの。それより難しい話は、はじめから一切読ませないようにして。

ひかり：えーっ、そんなに絞って大丈夫なのっ!? ちゃんと賢く育つの、それ!?

ことね：育つは育つの。面白いのはここから——訓練が終わったあとに、追加でヒントを教えたり、答えの手がかりを問題文にこっそり混ぜて聞いてみたりしたのよ。それでも、小学5年生の範囲を超える問題の正答率は、ほとんど上がらなかったの。

みずき：…つまり、カンペを渡しても解けなかった、ってこと?

ことね：そう、まさにそれ。研究チームの見立てだと、モデルの実力の天井は、あとからの勉強じゃなく、最初に何を読んで育ったかでほぼ決まってしまう、ということみたい。「知っている」と「その場で思い出せる」は別もの、という前提を確かめる基礎研究、ってところね。

ひかり：えっ、それって夏休みの最終日に一夜漬けしても意味ないってこと!? わりと身につまされるんだけどっ!

ひなた：ふぁ〜……わたし、小5までしか知らないAIと、友だちになれる気がするのです。給食の話とか、いっぱいできそうなのです……

まとめ：土台の外は、あとからどれだけ足しても届きにくい。カンペより、最初に何を読んで育ったかがモノを言う。