DRAMで作られたメモリからデータを読み、処理を行ってメモリに書き戻すというのは時間が掛かり効率が悪い。このため、CPUでは小容量だが高速のメモリをキャッシュとして使うが、GPUでは伝統的にローカルな小容量のスクラッチパッドメモリを用いてきた。

GDDR5 DRAMやHBMを使うGPUのメインメモリ(以下ではCPUのメインメモリと区別するためデバイスメモリと呼ぶ)は高いメモリバンド幅を持っているが、アクセスに掛かる時間は、DDR3/4 DRAMと大差ない。GPUのクロックはCPUよりも遅いと言っても、直接、デバイスメモリ ...