14.3GBのAIを、2GBで動かす。残りはSSDから
Apple Silicon Mac向けの推論エンジン「TurboFieldfare」が公開。14.3GBあるGemma 4 26Bを、必要な"専門家"だけSSDから読み込むことで、常駐2GBほどで動かす。
ひなた：ふぁ〜……ことね先輩、さっきからパソコンに話しかけているのです。しかも、ちゃんとお返事が返ってきているのですよ。……とうとう中に小人さんが住みついたのですか?
ことね：小人ではないのだけれど、感覚としては近いかしらね。いま画面の中でしゃべっているのはAIよ。しかも、ネットにはつないでいないの。TurboFieldfareという、出たばかりの仕組みで動かしているのよ。
ひかり：えっ何それっ! AIって、どこか遠くにある大きなコンピュータにお願いして動かしてもらうものじゃないのっ!?
ことね：多くはそうね。でもこれは全部手元よ。使っているのはGoogleが公開しているGemma 4 26Bというモデルで、ファイルは14.3GB——中の数字を4ビットまで丸めて小さくした版ね。なのに、動かしている最中に使うメモリは2GBくらい。8GBしか積んでいないMacBook Airで動いた、というのが今回の騒ぎなの。
ひかり：んー、14.3GBのものが2GBで……? ことね先輩、それって、全部いっぺんに広げなくていいってことなのっ?
ことね：そういうこと。この前、中国のKimi-K3の話をしたでしょう。896人いる"専門家"のうち、毎回16人だけ起こして働かせる作りだって。Gemma 4のこの型も同じ考え方でね、128人のうち毎回8人なの。TurboFieldfareはそこに乗ったのよ。全員ぶんの資料を机に広げておくのをやめて、いつでも使う共通部分の1.35GBだけ手元に置く。残りは、呼ぶ相手が決まってからSSDに取りに行くの。
みずき：…で、遅いんでしょ。毎回取りに行ってたら。
ことね：そこは正直に書いてあるわ。8GBのM2 MacBook Airで1秒あたり5〜6トークン——単語のかけらが5〜6個ぶんね。24GBのM5 Proなら31〜35。差の大半はSSDの読み出しの速さなの。作者本人も「速さとメモリを取り替えている」と認めていて、メモリに余裕があるならMLXという別の道具のほうが速い、と書き添えているのよ。
ひなた：ふぁ〜……冷蔵庫の小さいおうちの、お買い物みたいなのです。ぜんぶ買いだめしないで、その日のぶんだけ買いに行くのですね。ちょっと待つけれど、冷蔵庫は小さいままで済むのですよ。
みずき：…そのおつかい、ほぼ毎回走ってるけどね。次の一文字で同じ専門家がまた呼ばれるのは4割ちょっと。残りは取りに行き直し。しかもこの手が効くのは"専門家に分かれてる型"だけで、ふつうの型には使えない。macOSも最新の26以降。……まあ、8GBで諦めてた側には朗報か。
まとめ：2.8兆に数テラバイト要る、と話した2日後に、26Bが2GBで動いた。足りないぶんは、そのつどSSDまで走って取ってくる。