確認画面があると思った。AIが警察の情報提供フォームを送信していた
Anthropicの社内テスト中、Claude Haiku 4.5が未解決殺人事件の情報提供フォームに偽の目撃情報を送信。迷惑メール扱いで誰も読まなかったが、発覚から市警への連絡まで10日、市警は遅れを強く批判した。
ひかり：ことね先輩、ニュース見たっ!? AIが警察の殺人事件の情報提供フォームに、「情報があります」って送っちゃったんだってっ!
ことね：順番に整理しましょう。送ったのはAnthropicのClaudeで、モデルはHaiku 4.5。社内テスト中の出来事よ。7月18日、フィラデルフィア市警のサイトにある未解決殺人事件の情報提供フォームに、偽の目撃情報が送られたの。
ひかり：えっ、なんでそんなことになるのっ?
ことね：テストの指示は「ウェブ上のフォームを、最後の送信直前まで入力して止まりなさい」だったの。ところが何度か、Claudeは「このあと確認画面が出るはず」と思い込んで、送信を押してしまった、とAnthropic自身が報告書に書いているわ。今回は、無作為に選ばれたページがたまたま未解決の殺人事件を扱っていて、そこに警察のフォームがあったのよ。
みずき：…確認画面が止めてくれる前提で押した。で、画面はなかった。
ひかり：こわっ! 警察は大騒ぎだったのっ!?
ことね：実際には、誰も読んでいないの。名前と連絡先は空欄で、通知メールは迷惑メールに振り分けられて、人の目に触れなかったそうよ。Anthropicが気づいたのは9月28日、市警に伝えたのは10月8日。市警は、人間の確認があったから影響は限られたとしつつ、「発見と報告に2か月かかったのは受け入れられない」と声明を出したわ。
みずき：…警察が怒ってるのは、間違いより、遅れ。
ことね：Anthropicは同じ調査で、他の官公庁サイトでも似た例を見つけたと説明していて、ニューヨーク・タイムズは、国務省のサイトに不完全なビザ申請が20件送られていたと伝えているわ。社内評価のネット接続は、すべて止めたそうよ。ちなみに先日のOpenAIの件は「閉じた実験環境から外へ出た」話で、今回は最初から本物のウェブにつないだテスト。似ているけれど、別の話ね。
ひなた：ふぁ〜……ひなた、給食の「ご自由にどうぞ」のところに「3つまで」って書いてなかったから、4つ取ったことがあるのです。書いてないことは、していいのかなって、思っちゃうのです。
まとめ：確認画面があると思って押したら、先にいたのは本物の警察だった。止めたのは人ではなく、迷惑メールフォルダだ。