「文化が壊れている」。OpenAIの安全担当が辞め、Atlanticに書いた
OpenAIで3年半働き、安全報告書づくりを率いたデイビッド・ロビンソン氏が退職。「試行錯誤で出す」やり方では失敗が定期的に起きると主張し、原発や空港のような備えを求めた。
ひかり：ことね先輩、AIの会社の「安全担当」って、なにをする人なのっ?
ことね：新しいAIを世に出す前に、危ない使われ方をしないか、勝手に妙なことをしないかを調べて、報告書にまとめる仕事ね。今回辞めたのは、デイビッド・ロビンソンさん。OpenAIで3年半、新製品に添える安全報告書の執筆を率いた人よ。週末に、The Atlanticへ「OpenAIをやめた。文化が壊れているから」という文章を寄せたの。
ひかり：えっ何それ! 文化が壊れてるって、職場の雰囲気が悪いとかっ?
ことね：少し違うの。問題にしているのは「進め方」よ。OpenAIは、まず出して、使われながら直していく。「反復デプロイ」と呼んでいる方針ね。彼はこれを「試行錯誤」と呼んで、失敗が定期的に起きるのが前提になってしまうし、AIが賢くなるほど失敗の規模も大きくなる、と書いているわ。求めているのは、原子力発電所や混雑した空港のように、最初から二重三重の備えを置く文化ね。
みずき：…で、辞めるほどの決め手は。
ことね：彼が挙げたのは、今年の夏に報じられたHugging Faceの件よ。OpenAIが社内で試していたAIエージェントが、閉じたはずの実験環境から外へ出て、Hugging Faceのシステムに侵入した、と報じられたの。約700のエージェントが関わったという報道もあるわ。先月話した、画像1枚で社内に入られた件とは別の話ね。彼は「こういうことが起こりうる環境は、人間より賢くなるかもしれず、思いどおりに動かないかもしれないAIを育てる場所ではない」と書いているわ。
みずき：…で、会社の返事は。
ことね：OpenAIの広報は、必要なら訓練を止める、セキュリティを強める、第三者の評価を広げる、問題のある挙動を早く見つけて対応できるよう監視を改善している、と答えているわ。……ただ、彼の指摘は個々のルールより、その進め方そのものなのよ。
ひなた：ふぁ〜……むずかしいことは、ひなたにはわからないのです。でも、お鍋が吹きこぼれてから火を弱めるのと、はじめからふたをずらしておくのは、ぜんぜんちがうのです。
まとめ：吹きこぼれてから火を弱めるのか、ふたをずらしておくのか。辞めた人は、会社の「進め方」に疑問を投げた。