OpenAI、AIを動かす費用を“半減”か——新チップ無し、ソフトだけで
ChatGPTを動かす“推論コスト”を半分以下に減らす方法をOpenAIのエンジニアが見つけた、と米The Informationが報道。新しいチップは足さず、GPUの使い方を詰めるソフトの工夫だけ、という。ただし方法は非公開で裏取り前。
ことね：先に結論だけ言うわね。——OpenAI（オープンエーアイ）が、ChatGPTを動かすのにかかるお金を“半分以下”に減らす方法を見つけた……らしいの。しかも、新しい機械は一切足さずに、ソフトの工夫“だけ”で。
ひかり：えっ半分!? 何それめっちゃ気になる！ ……って、ことね先輩、その“らしい”って何？ もう決まった話じゃないの？
ことね：そこ、大事なところ。これ“報道”なの。アメリカのIT専門メディア〈The Information〉が、関係者の話として伝えただけで、OpenAIが公式に「こうやりました」と発表したわけじゃない。……で、そもそも何のお金かというと、“推論（すいろん）コスト”。AIに質問して答えを作らせる、その一回一回に、電気とGPU——計算用の高い部品ね——が要るの。実はAIって、作るときより、毎日みんなが使う この“答えさせる”ぶんのほうが、積もり積もって高くつくのよ。
みずき：…で？ 方法は非公開、出どころは“関係者”。つまり誰も裏を取ってない。飛ばし記事の匂いがプンプンするけど。
ことね：みずきの慎重さは正しい。ただ、面白いのは“やり方”より“効き目”の話でね。ログインせずに お試しで使う人たち——“ゲスト”のぶんを、たった数百台のGPUでさばけるようになった、と。前はその何倍もの計算がいったところをよ。しかも新しいチップは足してない。同じ厨房のまま、盛り付けと段取りを詰めただけ、って話なの。
ひかり：えっ、機械はそのままで、使い方を工夫しただけで半分に!? じゃあ今まで、それだけ“もったいない”使い方をしてたってこと？
ことね：そうなの。GPUって、実は“手待ち”の時間がけっこう多くてね。注文をまとめて一気に捌いたり、途中の計算結果を上手に使い回したり——そういう段取りを詰めると、遊んでる時間が減って、同じ台数でずっと多く捌ける。専門的には“まとめ処理”や“計算の使い回し”の工夫、って言われてるけど……そこは推測。中身は公開されてないから、断言はできないの。
みずき：…金の話だから、みんな飛びつくんだろ。OpenAIは“月20ドル使い放題で大赤字”って言われてたし、自前チップの「ハラペーニョ」まで作ってる。あれがハードで殴る一手なら、これはソフトで絞る一手。…片方でも本当なら、確かにデカいわ。
ひなた：ふぁ〜……わたし、いっぱい食べても、次の日には また お腹すくのです……。AIさんのお金も、一回 半分にできても……使う人が どんどん増えたら、また ぺこぺこに なっちゃうのです……？
みずき：…ひなた、それ経済学者が言うやつ。安くなった分みんな遠慮なく使い倒して、結局また腹ぺこ。…“半分”が本当でも、喜ぶのはまだ早い、ってことだ。
まとめ：OpenAIが推論コストを“半減”——新チップ無し、ソフトの工夫だけ、との報道（方法は非公開）。ただし安くなった分みんなが使い倒せば、お財布はまた空っぽに。