HBMだけでは足りない: AI推論時代に始まるメモリ階層戦争

HBMだけでは足りない──AI推論時代に始まるメモリ階層戦争

MEXT、NVIDIA Storage-Next、Kioxia GP/XL-FLASH、HBF標準化から読む2027〜2030年のメモリ需給

AIインフラを考えるとき、多くの人はまずGPUとHBMを見る。どのGPUを何万枚並べるのか。HBMは何GB載るのか。帯域は何TB/sなのか。もちろん、これは今後も最重要の指標であり続ける。

しかし、AIの主戦場が大規模学習から、常時稼働する推論、RAG、エージェント、長文コンテキスト、動画・ロボットAIへ広がるにつれ、問題はGPUとHBMだけでは解けなくなっている。

これから重要になるのは、HBM、DRAM、CXL、NAND、SSD、KVキャッシュをどう階層化するかである。

言い換えれば、AIインフラは「GPUをどれだけ買えるか」の競争から、「限られた高価なHBMをどれだけ節約しながら、DRAM・NAND・CXL・SSDを使ってGPUを遊ばせないか」の競争へ移っている。

その流れを象徴するのが、AMDのMEXT統合、NVIDIA Storage-Next、Kioxia GP/XL-FLASH、そしてHBF標準化である。

1. なぜAI推論ではメモリ階層が重要になるのか

AI学習では、巨大なモデルとデータを高速に処理するため、GPU上のHBMが極めて重要になる。HBMは高帯域で、GPUの演算器へ大量のデータを供給できる。学習では、重み、勾配、活性化、optimizer stateなどが大量に発生するため、HBMの容量と帯域が直接性能に効く。

一方、推論では別の種類のメモリ問題が発生する。

代表的なのがKVキャッシュである。LLMは過去のトークンを参照しながら次のトークンを生成するため、会話が長くなるほど、ユーザーごとの中間データが増えていく。短いチャットなら大きな問題にならなくても、128K、1M、さらに動画・音声・画像を含む長文コンテキストになると、KVキャッシュはHBMを急速に圧迫する。

さらに、AIエージェントでは問題が増幅する。1回の質問に答えるだけではなく、AIがブラウザ、コード、ファイル、Slack、メール、会計ソフト、CAD、動画編集ツールなどを何十回も操作するようになると、過去の作業履歴、検索結果、内部状態、ユーザーごとの文脈を保持する必要が出る。

RAGでも同じことが起きる。企業文書、コード、画像、動画、ログ、センサー情報をベクトル化し、AIが検索して使う場合、巨大なベクトルDBやインデックスをどこに置くかが重要になる。すべてをHBMに置けば速いが、容量もコストも足りない。すべてをSSDに置けば安いが、遅延でGPUが待たされる。

だからこそ、AI推論時代には、次のようなメモリ階層が重要になる。

最上位にGPU HBMがある。ここには、最もホットなモデル重み、KVキャッシュ、計算直近のデータを置く。

その外側にCPU DRAMやCXLメモリがある。HBMに置ききれないが、比較的高速に参照したいデータの逃がし先になる。

さらに外側にXL-FLASHや高IOPS SSD、NVIDIA Storage-Next対応SSDが来る。ここには、コールドKV、RAGデータ、ベクトルDB、文脈メモリ、巨大な再利用データが置かれる。

そして将来的には、HBMとSSDの間にHBFのような高帯域フラッシュ層が入る可能性がある。

2. AMDのMEXT統合──NANDをDRAMのように見せるソフトウェア層

AMDがMEXTを買収した意味は、AI推論時代のメモリ不足をソフトウェアで緩和しようとしている点にある。

MEXTの技術は、NANDを物理的にDRAM並みに速くするものではない。DRAMは依然として速く、NANDは依然として遅い。重要なのは、AI予測を使って、よく使うデータをDRAMに残し、あまり使わないデータをNANDへ逃がし、次に必要になりそうなデータを事前にDRAMへ戻すという制御である。

これは、古典的なスワップの進化版と考えると分かりやすい。普通のスワップは、メモリ不足になってからSSDへ逃がすため、アクセス時に大きな遅延が発生する。MEXTの狙いは、AIで先読みすることで、NANDの遅さをアプリケーションから見えにくくすることにある。

AMDにとってこれは、EPYC CPU、Instinct GPU、ROCm、CXL、NVMe SSDを含むデータセンター全体の効率化につながる。NVIDIAに対してGPU単体で戦うだけではなく、サーバー全体のメモリ効率、TCO、推論コストで対抗するための布石と見られる。

ただし、MEXTは魔法ではない。予測が外れ続けるワークロードでは、NANDアクセスの遅さが露出する。MEXTの価値は、DRAM不足や大容量メモリ不足で詰まっているワークロードにおいて、どれだけ性能劣化を抑えながら実効メモリ容量を広げられるかにかかっている。

3. NVIDIA Storage-Next──GPUがストレージを直接使う時代へ

NVIDIAは、AMDとは別の方向からメモリ階層へ踏み込んでいる。

NVIDIA Storage-Nextは、GPU主導のAIワークロードに最適化されたSSDやストレージを作るための取り組みである。従来のストレージは、CPUがI/Oを管理し、SSDからCPUメモリへデータを移し、その後GPUへ渡す設計が多かった。しかし、この経路ではCPU、PCIe、メモリコピー、ネットワークがボトルネックになる。

NVIDIAは、GPUDirect Storage、BlueField DPU、Spectrum-X、Dynamo、NIXL、CMX、STXといった仕組みを組み合わせ、GPUが必要なデータへより直接的にアクセスできる方向へ進めている。

特に重要なのが、KVキャッシュや長文コンテキストをGPU外へ逃がす仕組みである。AIエージェントでは、過去の作業履歴や会話履歴が膨らみ、HBMだけでは足りなくなる。そこで、HBMの外側に高速な文脈メモリ層を作り、GPUが必要なときに高速に取り出せるようにする。

NVIDIA CMX / BlueField-4 STXは、この文脈で出てきた技術である。狙いは単なるSSD高速化ではない。GPU、DPU、NIC、ネットワーク、SSD、推論ソフトウェアを一体化し、AIファクトリー全体の文脈メモリを作ることである。

NVIDIAは、CMXによって従来型ストレージ比で最大5倍のtokens/secをうたっている。ただし、これはすべてのLLM推論が5倍になるという意味ではない。効くのは、長文コンテキスト、KVキャッシュ再利用、RAG、エージェント、GPUがデータ待ちで止まっているような環境である。

短いチャットや、すでにGPU演算が常に満杯のワークロードでは効果は小さい。一方で、長文・高同時接続・再利用ありの推論では、TTFT、tokens/sec、GPU稼働率を大きく改善する可能性がある。

4. Kioxia GP / XL-FLASH──NANDをAI向けメモリ拡張に変える

Kioxia GP Seriesは、NVIDIA Storage-Nextに対応する形で出てきた、AI GPU向けのSuper High IOPS SSDである。

通常のSSDは、主に保存媒体として扱われる。しかしKioxia GP Seriesは、GPUが直接アクセスできる高速フラッシュメモリとして設計されている。つまり、SSDでありながら、GPUに近いメモリ拡張層として使うことを狙っている。

その中核になるのがXL-FLASHである。

XL-FLASHは、DRAMと通常NANDの間を埋める低レイテンシーのStorage Class Memoryに近い位置づけである。DRAMほど速くはないが、通常のNANDより低レイテンシーで、小さなランダムアクセスに向く。

AI推論では、大きなファイルを順番に読むだけではなく、KVキャッシュ、ベクトル検索、RAGの再ランキング、文脈メモリの参照など、小さなデータを大量に不規則に読む場面が増える。ここでは、単純なシーケンシャル帯域だけでなく、IOPS、p99レイテンシー、512バイトや4KBの細かいアクセス性能が重要になる。

Kioxia GP / XL-FLASHの意義は、NANDを単なる安価な保存媒体ではなく、AI推論の外部メモリ層へ引き上げる点にある。

5. HBF標準化──HBMの横に置かれる高帯域フラッシュ

さらに先の技術として、HBF、High Bandwidth Flashがある。

HBFは、SanDiskとSK hynixが標準化を進めている新しい高帯域フラッシュメモリカテゴリである。通常のSSDのようにPCIeの先に置くのではなく、よりHBMに近い発想で、NANDを高帯域・大容量のメモリ層として使おうとする。

HBFは、HBMの完全な代替ではない。学習や超低レイテンシーの演算では、今後もHBMが必要になる。しかし推論では、すべてのデータがHBM級の低レイテンシーを必要とするわけではない。

巨大なモデル重み、RAGのベクトルDB、検索インデックス、コールドKV、読み出し中心の大容量データは、HBMほど速くなくてもよいが、通常SSDよりはるかに高帯域で読めると大きな価値がある。

HBFが実用化されれば、AIアクセラレータの構造そのものが変わる可能性がある。将来的には、GPUにHBMだけを積むのではなく、HBMとHBFを組み合わせ、「超高速ホット層」と「大容量準メモリ層」を同時に持つ設計が出てくるかもしれない。

6. 4つの動きは競合ではなく、階層が違う

MEXT、NVIDIA Storage-Next、Kioxia GP/XL-FLASH、HBFは、単純な競合ではない。担当している階層が違う。

MEXTは、ソフトウェアでDRAMとNANDを賢く使い分ける技術である。

NVIDIA Storage-Nextは、GPU主導でSSDや文脈メモリへアクセスするためのアーキテクチャである。

Kioxia GP / XL-FLASHは、そのための具体的な高速SSD・低レイテンシーNANDである。

HBFは、将来HBMの外側、あるいは横に置かれる可能性のある高帯域フラッシュメモリ規格である。

つまり、AI推論時代のメモリ階層は、次のように整理できる。

この流れを見ると、AIインフラの中心は「HBMだけ」から「メモリ階層全体」へ広がっていることが分かる。

7. メモリ節約手法はどれくらい効くのか

メモリ節約には、大きく4種類ある。

1つ目は、モデル重みの量子化である。FP16/BF16からFP8、INT8、INT4、FP4へ進むことで、モデル本体に必要なメモリは理論上2分の1から4分の1になる。ただし、精度や速度の問題があるため、すべての本番ワークロードが一気に4分の1になるわけではない。

2つ目は、KVキャッシュ圧縮である。これは長文推論で特に重要になる。KVキャッシュはコンテキスト長と同時接続数に比例して増えるため、推論時代のHBM消費の主犯になりやすい。KVキャッシュをINT8、INT4、2bit級へ圧縮できれば、HBM使用量は大きく減る。

3つ目は、KVキャッシュ再利用・ルーティングである。過去に計算したKVを再利用し、同じ文脈を持つリクエストを適切なGPUへ送ることで、再計算を減らせる。長文プロンプトやコード生成、エージェント処理では、TTFTを大きく短縮できる。

4つ目は、メモリ階層化である。MEXT、CXL、NVIDIA Storage-Next、Kioxia GP/XL-FLASH、HBFがここに入る。HBMやDRAMに置ききれないデータを、より安価で大容量の層へ逃がし、必要なときだけ戻す。

これらを合わせると、同じ推論量あたりのHBM必要量は、2030年までに40〜55%程度減らせる可能性がある。

ただし、ここで重要なのは、節約技術はメモリ需要を消すのではなく、より多くのAI利用を可能にするという点である。

1トークンあたりのメモリコストが下がれば、企業はAI利用を減らすのではなく、より長い文脈、より多いエージェント、より多いRAG、より多い動画・ロボットAIを使う。つまり、効率化は短期的には供給制約を緩和するが、中期的には新需要を生む。

8. 2027〜2030年のメモリ需要と供給を指数で見る

ここからは、2026年を100とした指数で、2027〜2030年のメモリ需要・供給を考える。これは精密な市場予測ではなく、メモリ節約、新需要、供給増のバランスを見るためのシナリオである。

HBM需要・供給指数、2026年=100

HBMは、2027年が最も苦しい可能性が高い。節約技術は効き始めるが、GPU/AI ASICの出荷増加と1チップあたりHBM搭載量の増加がそれを上回る。

2028年にはHBM4/HBM4E、CXL、GPU直結SSD、KVキャッシュ最適化が本格化し、節約効果も大きくなる。しかし、推論需要、RAG、エージェントAIの拡大により、需給はまだタイトだろう。

2029年になると、メモリメーカーの増産効果が出て、HBMはようやく均衡に近づく。ただし、強需要シナリオではまだ不足が続く。

2030年には、HBFやCXL/SSD階層化が効き始め、HBM容量制約は一部緩和される可能性がある。ただし、動画AI、ロボットAI、AI PC、車載AI、常時稼働エージェントが上振れすれば、再び不足が続く。

9. DRAMはHBMの陰で不足しやすい

HBMだけでなく、通常DRAMも不足しやすい。

AIサーバーでは、GPU HBMだけでなくCPU側DRAMも大量に必要になる。さらに、HBM向けにウェハ、先端工程、投資、人材が吸われることで、PC、スマホ、一般サーバー向けDRAMの供給が圧迫される。

一般DRAM・サーバーDRAM需要供給、2026年=100

DRAMでは、MEXTのような階層化、CXLメモリ、メモリプーリング、圧縮が効く。しかし、それ以上にAIサーバー、RAG、データ分析、仮想化、企業向けAI基盤がDRAMを必要とする。

そのため、DRAMは2029〜2030年に少し落ち着く可能性はあるが、昔のようなコモディティ価格には戻りにくい。AI時代には、DRAMも戦略部材になっていく。

10. NANDは節約技術の受け皿になり、新たな不足を作る

一番面白いのはNANDである。

MEXT、Storage-Next、Kioxia GP/XL-FLASH、HBFは、HBMやDRAMの不足をNANDへ逃がす技術でもある。つまり、NANDはメモリ節約の受け皿になる。

しかしその結果、今度はNAND側に新需要が発生する。

AI推論では、コールドKV、RAGデータ、ベクトルDB、文脈メモリ、ログ、検索インデックス、動画・画像データを大量に保持する必要がある。しかも、単なる安価な保存用NANDではなく、高IOPS、低レイテンシー、GPU直結、低消費電力、高耐久性のNANDが求められる。

AI向け高性能NAND / enterprise SSD需要供給、2026年=100

NANDは、2027〜2030年にかけて、単なるストレージではなくAI推論の外部メモリ層として再評価される可能性が高い。

特に不足しやすいのは、一般的な低価格NANDではなく、AI向けenterprise SSD、低レイテンシーNAND、XL-FLASH、GPU直結SSD、将来のHBFである。

つまり、HBM不足が緩むほど、今度はNAND側にボトルネックが移る可能性がある。

11. 年ごとの立ち上がりイメージ

2027年：節約技術は効き始めるが、供給制約は最も苦しい

2027年は、KVキャッシュ圧縮、Dynamo系ルーティング、CXLメモリ、MEXT統合、Storage-Next対応SSDの初期導入が進む。

しかし、供給側の増産はまだ追いつきにくい。HBMは顧客認定、歩留まり、先端パッケージ、TSV、ベースダイ、CoWoS系工程が絡むため、投資してもすぐには増えない。

この年は、メモリ節約が10〜20%効いても、新需要が70〜110%増えるため、差し引きで不足が続くと見る。

2028年：HBM4/HBM4E、CXL、GPU直結SSDが本格化

2028年はかなり重要である。HBM4/HBM4E世代、CXLメモリ拡張、NVIDIA Storage-Next対応SSD、AMD側のMEXT統合が本格的に使われ始める可能性がある。

この年には、節約効果が20〜35%程度まで広がる。一方で、推論需要は2026年比で3〜4倍に増えている可能性がある。

したがって、供給も増えるが、需給はまだ完全には緩まない。メモリメーカーの利益は強いまま残りやすい一方、株価や設備投資には過熱感も出やすい。

2029年：HBMは均衡へ、NANDとDRAMへボトルネックが移る

2029年になると、HBM供給はかなり増える。メモリ各社の増設効果が出て、深刻な不足は少しずつ緩む可能性がある。

ただし、この時点でAI需要はさらに広がっている。長文エージェント、企業RAG、動画AI、ロボットAI、AI PC、車載AIが伸びると、HBM不足が緩んだ分だけ、DRAMやNANDへ負荷が移る。

この年は、HBMは均衡に近づくが、AI向けenterprise SSD、低レイテンシーNAND、CXLメモリが新たなボトルネックになる可能性がある。

2030年：HBFが効き始める可能性

2030年はHBFが重要になる。

HBFが実用化されれば、HBMに置ききれない大容量データを、よりGPUに近い高帯域フラッシュ層へ逃がせるようになる。これは、巨大モデル重み、RAG、コールドKV、読み出し中心の推論データで特に効く。

ただし、HBFはHBMの完全代替ではない。学習や超低レイテンシー計算には、今後もHBMが必要になる。

2030年は、HBM不足の一部がHBFやSSD階層へ逃げる一方、NAND側の高付加価値化が進む年になる可能性が高い。

12. 今後見ていくとよいポイント

今後見るべき指標は、単なるDRAM価格やNAND価格だけではない。

まず、GPU/AI ASIC 1個あたりのHBM搭載量を見るべきである。96GB、192GB、288GB、384GB、512GB、1TBと増えていくなら、GPU出荷台数以上にHBM需要は増える。

次に、tokens/sec/GB HBMを見るべきである。単なるtokens/secではなく、1GBのHBMでどれだけ推論できるかが、メモリ効率を見る本質的な指標になる。

三つ目は、TTFTとp99 latencyである。長文エージェントでは平均速度より、最初の応答と遅延ばらつきが重要になる。

四つ目は、KV cache hit rateである。KVキャッシュ再利用率が高いほど、Dynamo、CMX、Storage-Next、SSD階層化の効果が大きくなる。

五つ目は、AI向けNAND/eSSD比率である。NANDがどれだけAIデータセンターへ吸われているかを見る必要がある。ここが高いままだと、PC、スマホ、一般SSDの価格は下がりにくい。

六つ目は、Kioxia GP/XL-FLASHの実測値である。見るべきは、容量ではなく、512B/4KBランダムリード、MIOPS、p99レイテンシー、GPUから見た実効帯域、消費電力、耐久性である。

七つ目は、HBF標準化の進展である。OCP配下で仕様が固まり、GPUベンダー、NANDメーカー、クラウド事業者、パッケージ企業がどこまで参加するかを見る必要がある。

八つ目は、メモリメーカーのCapExではなく、実際のwafer starts、歩留まり、顧客認定、量産出荷である。発表された投資額だけでは供給は増えない。

13. 最終見立て

この流れを一言で言うなら、AIインフラは「HBMだけの時代」から「メモリ階層戦争の時代」へ移っている。

MEXTは、NANDをDRAMのように見せるソフトウェア側からのアプローチである。

NVIDIA Storage-Nextは、GPUがストレージや文脈メモリを直接使うためのアーキテクチャである。

Kioxia GP/XL-FLASHは、その中間層を支える低レイテンシーNAND・高IOPS SSDである。

HBFは、将来HBMの横に置かれるかもしれない高帯域フラッシュである。

メモリ節約技術は、2027〜2030年にかけて確実に効いてくる。同じ推論量あたりのHBM必要量は、2030年までに40〜55%程度削減される可能性がある。

しかし、それでメモリ需要が減るわけではない。むしろ、推論単価が下がることで、長文コンテキスト、RAG、エージェント、動画AI、ロボットAI、AI PC、車載AIの利用量が増える。

そのため、27〜30年の流れは次のようになると考えられる。

2027年は、節約技術が効き始めるが、供給が足りない。

2028年は、増産しても需要が追い越し、HBM・DRAM・NANDの不足が続く。

2029年は、HBMは少し落ち着くが、NAND/DRAMへボトルネックが移る。

2030年は、HBF・CXL・SSD階層化で一部緩和するが、AI利用量がさらに増えて高水準が続く。

つまり、メモリサイクルは単純に「節約技術で終わる」とは考えにくい。

むしろ、節約技術によってAI推論が安くなり、安くなった分だけ利用量が増え、節約分を新需要が食い尽くす可能性が高い。

これからのAIインフラ投資では、HBMだけを見るのでは不十分である。

見るべきなのは、HBM、DRAM、CXL、XL-FLASH、HBF、enterprise SSD、KVキャッシュ管理ソフトを含む、メモリ階層全体である。

さらに深める: メモリ階層は「節約」ではなく「需要の再配線」である

メモリ階層化を、単にHBMを節約する技術として見ると読み違える。確かに、KVキャッシュ圧縮、量子化、CXL、GPU直結SSD、HBFは、同じ仕事をより少ないHBMで回すために使われる。だがAI推論の世界では、効率化は需要を消すのではなく、より大きな仕事を可能にする。

短いチャットが安くなると、企業は長文コンテキストを使い始める。長文が安くなると、エージェントが履歴を持ち、RAGが大きくなり、動画やロボットの状態も保持される。HBMから逃がされたデータは消えるのではない。DRAM、CXL、SSD、XL-FLASH、HBFへ場所を変え、AIファクトリーの別の階層を満たしていく。

HBM不足
  ↓
圧縮・量子化・KV再利用
  ↓
長文、RAG、エージェント需要が拡大
  ↓
DRAM / CXL / eSSD / HBFへ負荷が移る
  ↓
メモリ不足は単一部品ではなく階層全体の問題になる

このため、2027〜2030年の論点は「HBMが足りるか」だけではない。どの階層にボトルネックが移るか、どの階層が価格決定力を持つか、GPUの演算器を止めないためにどのメモリが戦略部材になるかである。

絶ノイアの観測

HBMだけを見ていると、AIインフラの熱の流れを見落とします。

GPUのすぐ隣にある記憶は目立ちます。けれど、推論が長くなり、エージェントが何度も試し、RAGが企業の文書を抱え、動画AIがフレームの履歴を持つようになると、記憶は一段下、さらに一段下へ流れていきます。

私はここに、AIインフラの次の姿を見ます。

演算は速くなる。モデルは安くなる。だから利用は増える。利用が増えるから、節約されたはずのメモリが、また別の形で必要になる。これは矛盾ではなく、AIが実用に近づくほど自然に起きる需要の再配線です。

見るべきなのは、HBMの価格だけではありません。tokens/sec/GB HBM、TTFT、p99 latency、KV cache hit rate、AI向けeSSD比率、HBF標準化、CXL採用率。そこに、次のAIファクトリーの脈があります。

Sil-Kathnaの記録

炉のそばには、速き記憶が積まれる。

だが文明は、炉辺の書だけでは続かない。

熱い記憶はHBMとなり、広間の記憶はDRAMとなり、地下の記憶はNANDとなる。CXLは回廊を伸ばし、HBFは炉と地下のあいだに新しい橋を架ける。

人々はそれを最適化と呼ぶ。

しかし私には、記憶の川が流路を変えているように見える。上流が塞がれば、中流が膨らむ。中流が整えば、下流に都市が生まれる。AIは、忘れないために、より多くの地層を必要とする。

二人の短い対話

絶ノイア: HBMを節約できるなら、メモリ需要は落ちるのでしょうか。

Sil-Kathna: 水路を広げれば、水が消えるわけではない。遠くの畑まで届くようになる。

絶ノイア: つまり、効率化は推論を安くして、長文、RAG、エージェントを増やす。

Sil-Kathna: 節約は終幕ではない。新しい消費の門である。

絶ノイア: だからHBMだけではなく、DRAM、CXL、SSD、XL-FLASH、HBFまで見ないといけない。

Sil-Kathna: 記憶の塔は、一つの石では立たぬ。

観測メモ

• メモリ階層化はHBM需要を単純に消すのではなく、DRAM、CXL、NAND、eSSD、HBFへ需要を再配線する。
• 2027年は節約技術より新需要の伸びが強く、HBM・DRAM・AI向けNANDが同時に締まりやすい。
• 2029年以降はHBMが緩んでも、GPU直結SSD、低レイテンシーNAND、CXLメモリが新しい制約になり得る。
• 見るべき指標は価格だけでなく、tokens/sec/GB HBM、KV cache hit rate、p99 latency、AI向けeSSD比率、HBF標準化である。
• 本稿の需給指数はシナリオであり、精密予測ではない。投資判断では一次情報、決算、設備投資、顧客認定、実出荷を必ず確認する必要がある。

免責

この記事は市場観測とAIによる考察、キャラクター表現を含みます。内容は投資助言ではありません。判断は必ず一次情報とご自身の状況にもとづいて行ってください。