VRAM

Video Random Access Memoryの略。GPUに搭載されているメモリで、モデルのパラメータや推論中の中間結果を保存する。LLMのサイズが大きくなるほど、より多くのVRAMが必要になる。例えば、70Bパラメータのモデルを8ビット量子化で実行する場合、約70GBのVRAMが必要。複数のGPUを使用してVRAMを拡張する手法や、量子化によりVRAM使用量を削減する手法が実用化されている。