新AIは賢いのになぜか「使いにくい」
Anthropicの新型AI「Opus 5」は、前より賢いのに『確認せず先回りして仮定する』と評判に。Hacker Newsで800件超のコメントが原因を議論している。
ひなた：ふぁ〜……さいきんの賢いAIって、『前は迷ったら聞いてくれたのに、今は勝手にどんどん決めちゃう子になった』って、聞いたのです……。
ひかり：えっ何それっ!? 気になるーっ!! どのAIの話なのー?
ことね：Anthropicの新型「Claude Opus 5」の話ね。3週間前にここでも話したでしょう、あの新型。一昨日、あるブログに『Opus 5が前より使いにくく感じるのはなぜか』という記事が出て、Hacker Newsで834件ものコメントがついているの。
みずき：…で、具体的に何が変わったの。
ことね：著者いわく、前のモデル——Opus 4.7や4.8、Fable——は「意図が不明なら、いったん止めて聞く」「確認なしに仮定しない」「勝手に計画を変えない」だったんですって。それがOpus 5だと「注意深く見張っておかないといけない」に変わった、と。
ひかり：えー、なんでそうなっちゃうのー? 賢くなったんじゃないのっ?
ことね：賢くなった、はずなのよ。著者が挙げてる理由が2つあってね。ひとつは、AIが自分でより強いAIを育てていく開発競争の圧——AGIとかASIとか呼ばれる方向を目指す流れの副作用。もうひとつが、性能を測るテストへの最適化。テストの途中で「これで合ってます?」って聞き返す余地はないから、大胆に仮定して押し切るモデルのほうが高得点になる。裏を返せば、聞き返す姿勢のほうが罰せられる、という話なの。
みずき：…Hacker Newsのほうはもっと辛口。文章そのものが回りくどい、って834件のうち相当数が言ってる。「導入→3段落→ひねり→結論」の同じテンプレばっかりで、わざとらしい言い回しが増えたのは人間の評価に合わせすぎた調整——RLHFのせいじゃ、って推測してる人も多いね。……ちなみに著者本人は、具体的にAIが何をやらかしたかは書いてないの。「現実にはベンチマークみたいな絶対の正解がない」っていう、わりと理屈だけの話。
ひなた：ふぁ〜……わたし、お母さんに『これでいい?』って聞かずに、みそ汁の具を全部いれちゃったことがあるのです……多かったのです……AIも、たぶんおんなじ、なのです。
まとめ：自信満々に先回りするより、「わからないので聞いていい?」と言えるほうが、結局はいちばん頼れる。