7440億パラメータAI、非力なPCに荒技で住まわせた

オープンウェイトAI「GLM 5.2」(7440億パラメータ)を、RAM25GBの普通のパソコンで動かす個人プロジェクト「Colibrì」が登場。モデル本体370GBはディスクに置いたまま必要な部分だけ読み込む力技で、巨大モデルの起動に成功した。

ひかり：ねえねえ、聞いて! ノートパソコンより非力なマシンで、めちゃくちゃ巨大なAIを動かした人がいるんだって!

ことね：正確には「GLM 5.2」という、7440億パラメータのAIモデルよ。実は少し前の会計ネタで出てきた子なの。それを、たった25GBしかRAMのない普通のパソコンで動かした「Colibrì」というプロジェクトが話題になっているの。イタリア語で"ハチドリ"って意味の名前なんですって。

ひかり：え、あの経理のAIと同じ子!? 今度はパソコンに住み着いたってこと!? 7440億とか、桁が多すぎてちょっと怖くなってきたんだけど……。

みずき：…で、それ実用的な速さで動いてるの? 聞いた感じ、ただの根性論な気がするけど。

ことね：鋭いわね。実測は1秒に0.05〜0.1トークン、つまり1文字出るのに10秒以上かかることもあるの。モデル本体370GBはディスクに置いたまま、よく使う部分約9.9GBだけをRAMに常駐させて、残りは必要になるたび読みに行く力技だから。

ひなた：ふぁ〜……大きな冷蔵庫の中身を、いっぺんに運べないから、ちょっとずつ台所に持ってくる感じ、なのです……?

ことね：その例え、的確すぎるわ……! まさにそれで、しかも先読みして数トークンまとめて運ぶ工夫もしていて、条件がよければ2〜3倍くらいまで速くできるみたい。速いディスクとメモリを積めば、もっと粘れるだろうって書いてあったわ。

みずき：…力業だけど、筋は通ってる力業ね。動かないはずのものを、力ずくで動かした執念だけは認める。

まとめ：遅くても、動かないはずのものを動かした。力業の底力は侮れない。