1秒750トークンのAI、チップは切らず丸ごと1枚

OpenAIとCerebrasが、最上位モデルGPT-5.6 Solを毎秒750トークンで動かす「Ultrafast」を限定公開。速さの正体は、ウエハーを切らずに1枚のまま使う専用チップ。難問2500問を11時間で解いたという。

みずき:…ひかり、10秒あげる。その間に、何文字書ける?

ひかり:えっ、なにいきなりっ!? ちょっ、待って待って、ペンっ、ペンっ! ……はい終わりーっ! 数えるね……24文字っ! で、これ何の勝負なのっ!?

みずき:…相手は7500。同じ10秒で。

ひかり:7500っ!? ざっくり300倍じゃんっ! そんなの勝負にならないよーっ! ねえことね先輩、それ誰の話なのー!?

ことね:まあ落ち着いて。まず単位だけ正確にしておくわね。毎秒750なのは「トークン」——文章を機械が扱うときの細かいかたまりよ。日本語だと1文字前後だから、体感はひかりの言うくらいで合っているの。……発表したのはOpenAIと、Cerebrasという半導体の会社。OpenAIのいちばん上のモデル、GPT-5.6 Solを毎秒750トークンで動かす「Ultrafast」という枠を、限られたお客さん向けに開けたのよ。で、面白いのはここから。速さの正体はモデルじゃなくて、チップの作り方なの。ふつう半導体はね、直径30センチくらいの円い板——ウエハーというんだけど、そこから小さな四角を何百個も切り出して1個ずつチップにするでしょう。Cerebrasは、切らないの。板1枚がまるごと1個のチップ。おかげで記憶する場所を44ギガバイトもチップの上に載せられて、AIが学習で覚えた中身を、そこに置きっぱなしにできるのよ。ふつうのGPUはそれを外の倉庫に置いていて、計算のたび取りに行くの。その往復が、いちばんの渋滞なの。

みずき:…調味料を毎回パントリーまで取りに行くか、まな板の横に全部並べておくか。……まな板を家と同じ大きさにしただけとも言う。

ひかり:まな板が家っ! ……で、どんくらい速くなったのー? ちゃんと数字あるっ?

ことね:あるわ。博士レベルの難問を集めた試験で、2500問を11時間11分。比較に出されているClaude Fable 5は、同じ試験で78時間27分だったそうよ。仕事に近い作業を測る別の指標でも、質を落とさずに全体で5.6倍だと言っているわね。

みずき:…「質を落とさずに」。同じなら「同じ」って書けばいいのに、って掲示板でも突っ込まれてた。あと2500問って、いっぺんに並べて解かせられるやつでしょ。渋滞のない道で出した最高速度。……値段? どこにも書いてない。

ひなた:ふぁ〜……ごはんが早く出てくるお店は、うれしいのです。ならんでる時間がへるのです。……でも、たべる速さは、かわらないのですよ。

まとめ:難問2500問を11時間で解く。速さの正体は、覚えたことをいちいち取りに行かないこと。値段だけ、まだ誰も知らない。

元記事を読むホームへ