AI Factoryはどこへ向かうのか――演算器を待たせない巨大Memory Hierarchyの設計
Local HBMからRemote Memory、Optical Scale Up、Global Schedulerまでをつなぎ、未来のAI Factoryを演算器を待たせない階層型Computerとして描く。
Topic
KV cache
2件の記事をまとめています。
AIは「巨大GPU」から「巨大な記憶コンピュータ」へ――MoE・HBM・Optical Fabricが変える次世代AIインフラ
演算器の巨大化だけでは捉えられないAI Factoryを、MoE、階層型Memory、Software Routing、光Fabricから一つの記憶コンピュータとして解剖する。