AIに聞くと正解率3分の1、自信は2倍になった
映画の細かい映像を思い出すクイズで、AIに相談できた人は正解率が27%から9%に落ち、自信は30%から76%に上がった。「わからない」と答えた人は44%から3%に激減した。
ことね:ひかり、ちょっと実験に付き合って。映画『ベッカムに恋して』で、主人公たちが着てたユニフォーム——何色だった?
ひかり:えっ、待って、観たことはあるよっ! 色は……青? いや緑だったかも……ごめん、わかんないっ!
ことね:ありがとう、いまの「わかんない」が今日の主役なの。ヨーロッパの研究チームが、まさにそういう「映画の細かい映像を思い出す」クイズを大量に用意して、3千人以上に解かせたのよ。片方のグループにはAIに相談できるようにして。
ひかり:AI使えるほう、圧勝じゃんっ! ずるいー!
ことね:それが逆なの。正解率は27%から9%に落ちた。3分の1ね。なのに「自分は合ってる」という自信は、30%から76%に上がった。そして——「わからない」と答えた人が、44%から3%になったの。
ひかり:44%が3%!? ほとんど絶滅してるじゃんっ!
みずき:…減ったのは正解。増えたのは自信。差し引き、いちばん割に合わない取引。
ことね:しかも研究チーム、わざと間違えやすい小さめのモデルを使ってるの。「賢いAIを信じすぎた」話にしないため。つまり調べたかったのは、答えの正しさじゃなくて、そばに相談相手がいるという状況そのものの効き目なのよ。ちなみに正解に賞金を出しても、あまり戻らなかった。
みずき:…この前の、Q&Aサイトの質問が消えた話とちょっと似てる。あっちは「何回聞いても怒られない」から人が移った。こっちは「何を聞いても、とりあえず答えが返ってくる」から、引き返せなくなってる。空欄が埋まるって、けっこう怖い。
ひなた:ふぁ〜……でもひかり先輩、さっき「わかんない」ってちゃんと言えたのです。44%のほうなのです。えらいのです。
まとめ:AIは、空欄を必ず埋めてくれる。先に減っていたのは正解率じゃなく、空欄のままにしておける力のほうだった。