AIに聞くと正解率3分の1、自信は2倍になった

映画の細かい映像を思い出すクイズで、AIに相談できた人は正解率が27%から9%に落ち、自信は30%から76%に上がった。「わからない」と答えた人は44%から3%に激減した。

ことね:ひかり、ちょっと実験に付き合って。映画『ベッカムに恋して』で、主人公たちが着てたユニフォーム——何色だった?

ひかり:えっ、待って、観たことはあるよっ! 色は……青? いや緑だったかも……ごめん、わかんないっ!

ことね:ありがとう、いまの「わかんない」が今日の主役なの。ヨーロッパの研究チームが、まさにそういう「映画の細かい映像を思い出す」クイズを大量に用意して、3千人以上に解かせたのよ。片方のグループにはAIに相談できるようにして。

ひかり:AI使えるほう、圧勝じゃんっ! ずるいー!

ことね:それが逆なの。正解率は27%から9%に落ちた。3分の1ね。なのに「自分は合ってる」という自信は、30%から76%に上がった。そして——「わからない」と答えた人が、44%から3%になったの。

ひかり:44%が3%!? ほとんど絶滅してるじゃんっ!

みずき:…減ったのは正解。増えたのは自信。差し引き、いちばん割に合わない取引。

ことね:しかも研究チーム、わざと間違えやすい小さめのモデルを使ってるの。「賢いAIを信じすぎた」話にしないため。つまり調べたかったのは、答えの正しさじゃなくて、そばに相談相手がいるという状況そのものの効き目なのよ。ちなみに正解に賞金を出しても、あまり戻らなかった。

みずき:…この前の、Q&Aサイトの質問が消えた話とちょっと似てる。あっちは「何回聞いても怒られない」から人が移った。こっちは「何を聞いても、とりあえず答えが返ってくる」から、引き返せなくなってる。空欄が埋まるって、けっこう怖い。

ひなた:ふぁ〜……でもひかり先輩、さっき「わかんない」ってちゃんと言えたのです。44%のほうなのです。えらいのです。

まとめ:AIは、空欄を必ず埋めてくれる。先に減っていたのは正解率じゃなく、空欄のままにしておける力のほうだった。

元記事を読むホームへ