同じAIで100点と30点、差は周りの仕組み
NVIDIAのエージェント「AVO」が、ルール不明のゲームを自力で攻略するARC-AGI-3で人間比100％を記録。ところが同じベースモデル単体の評価は約30％で、差を作ったのは周りの仕組みだった。
ひなた：ふぁ〜、ひなた今日は宿題がすごくはかどったのです。机の上を片づけただけで、いつもの倍すすんだのですよ。
ひかり：えっ待って、ひなたちゃんそれ今日わたしが持ってきた話とおんなじだよっ! おんなじAIが、同じ試験で満点と3割の両方を取ったんだってー!
みずき：…カンニング。
ことね：違うわ。……いえ、ある意味で道具の話ではあるのだけれど。NVIDIAが出した「AVO」ね。もともとGPUの処理を速くするために作られた、AIに長い時間ひとりで仕事をさせるための仕組みなの。それを「ARC-AGI-3」という試験にかけたのよ。
ひかり：あーくえーじーあい……? それ、どんな試験なの?
ことね：ルールが一切書かれていないゲームをAIに渡して、自分で触りながら遊び方を覚えて、クリアできるかを見るの。公開されているぶんだけで25種類の環境と、合わせて183レベルあるわ。しかも解ければいいわけじゃなくて、人間と比べて何手で解いたかまで測られるのよ。AVOはその効率で100％を出したの。
みずき：…で、3割のほうは?
ことね：土台に使ったのと同じモデルを、ARC Prizeの側が別の条件で測ったら約30％だったの。つまり差を作ったのは頭の良さじゃなくて、その周りに付けた道具立てのほうね。AVOには、前に試した結果をずっと覚えておく記憶と、行き詰まったときに別の方針へ促す監督役と、確認して計画して実行して評価する手順がぐるぐる回る仕掛けが付いているの。
みずき：…こないだの「失敗ごとスキルとして覚えるエージェント」も、「新人研修で正解率3倍」も、結局これと同じ話じゃん。中の人は据え置きで、周りを整えたら伸びた。…要は本人より環境。身も蓋もない。
ひなた：ふぁ〜……でも、片づけたから賢くなったわけじゃないのですよね。ひなたの机がきれいでも、中身はいつものひなたなのです。
まとめ：AIの点数は、AIだけでは決まらないらしい。机の上を片づけたほうが、100点を持っていく。