電力効率

消費電力あたりの推論性能。GPUサーバーは高性能だが消費電力も大きく、特に大規模なLLMを実行する場合、電力コストが運用コストの大きな部分を占める。量子化モデルや最適化技術により、同じ推論性能を少ない電力で実現できる。NVIDIA H100は前世代のA100と比較して電力効率が向上しており、長期的な運用コスト削減に寄与する。データセンターの冷却コストも電力効率に大きく影響する。