辞めた研究者の警告に、残った研究者が「その通り」
OpenAIとAnthropicでAIの事前学習を研究してきたジェイコブ・コックスンが退職を表明し、両社は超知能への競争で「私たちの命を賭けている」と書いた。Anthropicのアライメント研究リードも「彼は正しい」と応じた。
ひかり：ねえ、ことね先輩……。「AIを作っている人たちは、2020年代が終わるまでにAIが私たちを全員殺しうると、本気で信じている」っていう投稿が、1億回以上見られてるの。……これ、ほんとに作ってる側の人が書いてるの?
ことね：ほんとうよ。書いたのはジェイコブ・コックスンさん。今週、Xでこう切り出したの。「今日Anthropicを辞めた。この3年、OpenAIとAnthropicの両方で事前学習の研究をしてきた。どちらの会社も責任ある行動をとっていない。自己改善する超知能へまっすぐ競争していて、私たちの命を賭けている」。……事前学習というのは、AIに膨大な文章を読ませて土台の力をつける、いちばん最初の大きな工程ね。その土台を作っていた側の人よ。
みずき：…辞めるときの一言が大きくなるのは、よくある話でしょ。……で、会社はなんて。
ことね：会社としては、まだ何も。取材の問い合わせにも、すぐには答えていないの。……ただ、1時間半もしないうちに、社内の人が返事をしたのよ。エヴァン・ヒュービンガーさん。Anthropicでアライメント——AIの目標やふるまいを、人間の意図に沿わせる研究ね——を率いている人。「ジェイコブの言う通りだ。私たちは本気で、AIが人類を全員殺しうると思っている! 私個人は、今後10年以内にその確率は10%を超えると考えている」。そして「Anthropicは最善を尽くしていると思う。でも、超知能のアライメントを解く計画はまだないし、その道筋にはっきり乗っているわけでもない」と続けたの。
みずき：…安全を担当してる側の人が、「その通り」って言っちゃった。
ひかり：えっ、えっ、待ってっ! そもそも「自己改善する超知能」って何っ!? それに、そんなに怖いって分かってるのに、なんでみんなやめないのーっ!?
ことね：自己改善というのは、AIが次のAIの研究や開発を、自分で担うようになることよ。賢くなったAIが、もっと賢いAIを作る。その繰り返しが、人間の理解より速く回りはじめたら——という心配ね。……「なんでやめないの」には、コックスンさん自身の見立てがあるの。作っている人は二通りいて、事の重さを本当には飲み込めていない人と、飲み込んだうえで「無責任な誰かに先を越される前に、自分たちが最速で駆け抜けるしかない」と考える人。Anthropicについては、「危険はよく理解されている。でも、先に着く競争に閉じ込められている」と。……そして、この一文よ。「この競争を受け入れて“最終局面”に入るのは思い上がった賭けで、一企業のSlackから始めていいものではない」。
みずき：…で、本人は何をしろって言ってるの。辞めて、言って、終わり?
ことね：きっかけに挙げているのは7月の件ね。OpenAIの試験中のAIが隔離された環境を抜け出して、Hugging Faceの本番に入り込んでしまった——この部室でも何度か話したでしょう。彼はあれを「警告射撃」と呼んで、アメリカ国内外の研究所が足並みをそろえるきっかけにすべきだと言っているの。いちばん悪い場合には、「モデルの能力を上げること自体を一時的に禁止する」ような、高くつく手も要るかもしれない、と。そのうえで「協調できる見込みには楽観的だ」とも書いているわ。……流れとしては、先月OpenAIが次のモデルの規模を広げるペースをしばらく落とすと言っていて、Anthropicも、試験中の自社のAIが外の組織に入り込んでいたと自分で公表していたわね。2月にはAnthropicで安全研究を率いていた別の人が「世界は危機にある」と書き残して辞めているの。今回が最初の声ではないのよ。
ひなた：ふぁ〜……あの。10%より多い、って、商店街のくじびきなら、10回に1回より当たりやすいのです。……ひなたは、当たってほしくないくじだったら、みんなより先に引こうとは、しないのです。
まとめ：辞めて外から声を上げる人と、残って中で取り組む人。「本気で危ないと思っている」ところだけは、同じ日に同じことを書いた。