ニュースの概要
Supermicro、IBM、NVIDIAの3社は、長い文書や画像、会話履歴を扱うAIの推論を速くするための共同ソリューションを発表した。AIは回答を作る途中で、過去の文脈を計算結果として手元に保持する。この保持領域がKVキャッシュである。従来はGPUの専用メモリに置いていたが、文脈が長くなるほど収まらなくなる。そこでSupermicroの大容量フラッシュストレージ、IBMのファイル管理基盤、NVIDIAの推論制御ソフトとEthernet網を組み合わせ、あふれた分を外部の高速ストレージへ逃がす構成を示した。GPUの増設ではなく、記憶の置き場所を設計し直す発想である。
引用元: Supermicro、IBM、NVIDIAがマルチモーダルAI向けKVキャッシュ基盤を発表（AFPBB News）
分析・見解
GPUの記憶があふれると何が起きるのか
AIが長い文書を読むとき、入力した内容は計算済みの中間データとして保持される。これがKVキャッシュである。会話が続くたびに増え、画像や動画を扱うマルチモーダルAIでは増え方がさらに速い。
GPUのメモリは高価で容量に限りがある。収まらなくなると、古い文脈を捨てて最初から計算し直すことになる。同じ資料を何度も読み直す作業員を雇っているようなもので、電力もGPU時間も無駄になる。今回の発表は、この再計算の無駄をなくす試みだ。
3社の分担が示す、推論基盤の層構造
今回の組み合わせは役割がきれいに分かれている。Supermicroは大容量のフラッシュ装置、IBM Storage Scaleは大量のデータを一つの置き場として見せるファイル基盤、NVIDIA Dynamoはどのデータをどこに置くかを判断する推論制御ソフト、Spectrum-X Ethernetはそれらを結ぶ高速のネットワークである。
注目したいのは、AIの記憶に階層ができつつある点だ。GPUメモリ、サーバー内のメモリ、近くのフラッシュ、遠くのストレージと、速さと価格の違う棚を使い分ける。パソコンのキャッシュ設計と同じ考え方が、データセンター規模で再現されている。
他社の動きと比べて見える、本当の競争軸
KVキャッシュの外部化は、この3社だけの話ではない。オープンソースの推論エンジンであるvLLMやLMCacheも、キャッシュをメモリやディスクへ退避する機能を進めてきた。ストレージ大手も同様の訴求を強めている。
違いは、ハードとソフトと網を一式で検証済みの構成として売る点にある。個別に組むと、ネットワークの遅延やファイル管理の不整合で、期待した速さが出ない例が多い。一式での提供は、性能そのものより導入の確実さを売る動きと読める。
独自の視点：安いのはGPUより、再計算しない運用
多くの議論は、速さや容量に目を向ける。しかし本質は、経済性の単位が変わることだと考える。これまでは、GPUを何枚積むかが推論コストの中心だった。これからは、同じ文脈を何回使い回せたかが効いてくる。
社内規程や製品マニュアルのように、毎回ほぼ同じ前提を読ませる業務では、使い回しの効果が大きい。エージェント型AIが何時間も作業するほど、保持すべき記憶は増える。記憶を安く長く持てる企業が、結果として低コストで賢いAIを動かすことになる。
ビジネスへの影響
AI導入の見積もりに、記憶の費用を入れる
企業がAIを導入するとき、見積もりはモデル利用料とGPU費用で語られがちだ。今後は、文脈をどれだけ保持するかという項目を加えるべきである。長い契約書を何百件も扱う、または顧客ごとの会話履歴を長期に持つ用途では、記憶の設計が費用を左右する。
自社で基盤を持つ場合は、フラッシュストレージとネットワークを含めた総額で比較したい。GPUの台数だけを減らしても、再計算が増えれば逆効果になる。
小さく試し、使い回し率で効果を測る
いきなり大規模な基盤へ投資する必要はない。まず現在の推論ログから、同じ前提文書がどれだけ繰り返し使われているかを調べるとよい。繰り返しが多い業務ほど、キャッシュ外部化の効果が出る。
クラウドを使う場合も、事業者がキャッシュの再利用を価格にどう反映しているかを確認したい。入力の再利用に割引を設ける事業者は増えている。契約前に、保持期間と課金方式を必ず比べておくとよい。
なお、外部ストレージに会話履歴が残る以上、情報管理の責任も増える。保存場所、暗号化、削除の手順を、導入前に決めておくことが欠かせない。