AIの手を借りた報告書で、米軍は中国船に乗り込みかけた
この春、中国船が核兵器計画の部品を運んでいるとする情報報告書が米軍内に出回り、兵士が乗船の準備に入った。直前の確認で、分析官が使ったチャットボットが積み荷を取り違えていたと分かった、とCNNが報じた。
ことね：今日は、少し真面目に聞いてほしい話なの。……この春、アメリカ軍が、中国の船に乗り込む一歩手前までいったのよ。きっかけは、AIの手を借りて書かれた情報報告書。中身は、関係者いわく「完全な誤り」だった。
ひかり：えっ……乗り込むって、船に!? ドラマじゃなくて、本当に? なんでそんなことになったのっ?
ことね：CNNが、事情を知る4人の話として報じたの。イランとの戦争のさなかに、ある報告書が米軍の中を回った。「中東にいる中国の船が、核兵器計画の部品を運んでいる」。すぐに船を止める計画が動いて、武装した兵士が乗り込む準備をして、軍用機も飛んでいたそうよ。……作戦の直前になって、担当者たちが報告書を掘り下げたの。そうしたら、特殊作戦軍の分析官がチャットボットを使っていて、そのチャットボットが積み荷を取り違えていた、と分かった。本当の積み荷が何だったのかは、CNNにも分からなかったそうよ。
ひかり：チャットボットって、わたしたちが宿題で……じゃなくて、ふだん話しかけてるみたいなやつ? 軍の人も使ってるのっ?
ことね：今はね。1月にはヘグセス国防長官が「AI加速戦略」を出して、軍と文官あわせて300万人の手に、機密の度合いを問わずAIを届ける、と掲げているわ。今回のボットが市販品か政府専用品かは分かっていないけれど、流れはこう。分析官が、船の積荷目録についての情報をボットに聞いた。ボットは公開情報と、政府が持つ秘密の通信傍受の情報を混ぜ合わせて、積み荷について結論を出した。分析官はそれを、もう一度AIで、軍の人がふだん信用する形式の報告書に仕立てて、配ったの。
みずき：…中身をAIが決めて、包装もAIが整えた。で、包装がいつもの報告書だったから、中身まで信じた。……作戦の直前まで、誰も元をたどらなかった。
ひかり：それ、前にここでやった、ありもしない穴が6個も登録された話と同じじゃんっ! AIが知ったかぶりで話を作っちゃう、ハルシネーション!
ことね：そうね。しかも情報源のひとりによると、情報機関の中で、こういう幻覚は今回だけじゃないそうよ。……ただ今回は、止まらなかったら「戦争が始まりかけた」とまで言われている。中国の船に手を出せば、二つの国の衝突に転がりかねないから。こないだここで、アモデイさんの「ペースを落とそう」の話をしたでしょう。ワシントンではここ数週間、AIが人の手を離れるかもしれない、という警告をめぐって議論が続いているの。CNNは今回の件を、それとは別の、もっと差し迫ったリスクだと書いているわ。AIが暴走するんじゃなくて、人間がAIの間違いを信じて、取り返しのつかない決断をするリスクね。
みずき：…元高官いわく、軍の中の道具はほとんど「市販品のコピーに口紅を塗っただけ」。AIの答えをどう確かめるか、共通のルールも無い。若い分析官ほど疑わずに信じやすい、って声もある。……で、情報源のひとりのまとめがこれ。「AIのおかげで、悪い考えに、より早くたどり着ける」。
まとめ：中身はAIが決め、体裁もAIが整えた報告書が、軍を動かしかけた。止めたのは、作戦の直前に元をたどった人たちだった。