KVキャッシュ最適化

Transformerモデルの推論において、過去の計算結果（Key-Valueペア）を効率的にキャッシュすることで、繰り返し計算を削減する技術。テキスト生成時に、すでに処理したトークンのアテンション計算結果を再利用することで、推論速度を大幅に向上させる。メモリ使用量と計算速度のトレードオフを最適化し、長文生成やチャット対話で特に効果を発揮する。エッジ推論最適化の重要な要素技術の一つ。