AI Factoryはどこへ向かうのか――演算器を待たせない巨大Memory Hierarchyの設計
Local HBMからRemote Memory、Optical Scale Up、Global Schedulerまでをつなぎ、未来のAI Factoryを演算器を待たせない階層型Computerとして描く。
Topic
3件の記事をまとめています。
Local HBMからRemote Memory、Optical Scale Up、Global Schedulerまでをつなぎ、未来のAI Factoryを演算器を待たせない階層型Computerとして描く。
演算器の巨大化だけでは捉えられないAI Factoryを、MoE、階層型Memory、Software Routing、光Fabricから一つの記憶コンピュータとして解剖する。
低コストなFlashモデルと長時間仕事を担う巨大モデルを対比し、AIDC需要、電力、収益化、過剰設備の条件をシナリオで読む。