低精度フォーマットを処理するGPUコアなどの進歩により、GPUのコンピュート能力は劇的に向上しましたが、メモリ・システムはそのペースに追いついていません。コンピュートとメモリーの間のこの増加する不均衡は、「メモリー・ウォール」と呼ばれ、ますます大きなディープ・ラーニング・モデルをトレーニングする際に重要なボトルネックとなっています。