ローカルAIが「頭悪くなった」と感じる理由

同じ重みのAIモデルでも、計算方式やメモリ圧縮の仕方次第で出力が変わり、特に圧縮しすぎるとコマンド実行のような正確さが要る作業で誤動作しやすいと海外フォーラムで分析された。

ひかり：ちょっと待って、これ地味に怖いんだけど…同じAIモデルなのに、動かし方によって「賢さ」が変わることがあるらしいの、知ってた!?

みずき：…は? モデルは同じなんでしょ。動かし方でそんな変わるわけ?

ことね：実はそうなの。GPUでAIを計算する時のやり方(カーネルって呼ばれるの)を変えるだけで、選ぶ単語が違ってくることがあるのよ。海外の検証だと、会話が長くなった後半で、最大半分くらい単語の選び方がズレたケースもあったんですって。

ひかり：えっ、同じこと聞いてるのに、返ってくる単語まで変わっちゃうの!? どうして?

ことね：もう一つ大きいのが、会話の記憶を圧縮してメモリを節約する仕組みなの。圧縮の度合いを上げすぎると、コマンドを実行するみたいな正確さが命の作業で誤作動しやすくなるみたい。実際、ネットワーク機器の設定名を勝手に書き換えて、違うコマンドを実行しちゃった例が報告されてたわ。

みずき：…それ実務で使ってたら普通に事故じゃない。勝手に設定名変えられたら、こっちはたまったもんじゃないんだけど。

ことね：もっと極端な例もあって、検閲を外した派生版のモデルだと、自信満々な顔で「ポート5432」を全然関係ない文字列に書き換えちゃったケースもあったの。しかも本人は、間違えている自覚がまったくないんですって。

ひかり：えっ、間違ってるのに自信満々なのが一番怖いやつ…! それもう嘘つきと変わらないじゃん!

みずき：…で、それ誰得なの? って言いたいけど、今回はちょっと違うかな。書いた人は「怪しいくらい綺麗な数字を見せられても、動かし方を全部明かしてないなら信じるな」って釘刺してたし。

まとめ：頭が悪くなったんじゃない、詰め込みすぎて聞き取りにくくなっただけ。人間の早口と同じだった。