省エネ化が重視される中、生成系AI時代の、ディスアグリゲーションを活用した、グリーンDCでは、メモリ階層はどうなるのだろうか。現在主流のエヌビディアは、従来型のノイマン型であり、故に、熱を食うDRAMをHBMにして省エネを試みているが、限界がある。あらたな非ノイマン的なプロセッサが出てくれば、DRAMへのアクセスを減らせる、スイッチのようなアプリケーションでは十分可能だろう。さらに、NANDは、これまでは、ストレージ階層であり、ビットコストが安いことが重要であったが、広いバンド幅の需要が出てくれば、DRAMのある階層をリプレースすることもある。さらに、チップレットが、そのトレンドを加速する。
そういう時代には、下記のようなメモリ階層ピラミッドも出てくる。