フェイルオーバー

カテゴリ: コスト・運用

主系システムが障害で停止した際に、自動的に待機系システムに切り替えて継続運用する仕組み。ローカルLLMホスティングでは、複数のGPUサーバーを配置し、一台が故障しても他のサーバーで推論処理を継続できるようにする。負荷分散装置(ロードバランサー)と組み合わせて、ヘルスチェックを実施し、障害を検知すると自動的にトラフィックを切り替える。高可用性とBCPの実現に不可欠な機能。

関連キーワード

フェイルオーバー