ニュースの概要
フランスのクラウド事業者OVHcloudが、オープンソースの大規模言語モデル(LLM)を動かす方法を三つに整理して比較した。一つ目は、API経由ですぐ使えるオンデマンド推論で、導入は早いが基盤には手を入れにくい。二つ目は、事業者が用意する管理付きの容器型基盤に、vLLMなどを積んだDockerイメージをGPU上で動かす方式である。インフラ運用の一部は事業者が担い、モデルやAPIの設計は利用者が握れる。三つ目はサーバーレスAIで、サーバーの管理を意識せずに使える。要は、手間を事業者に預けるほど楽になり、預けないほど自由が増すという整理である。
引用元: OVHcloud、オープンソースLLMのホスティング方式を運用負担と制御性で整理(OVHcloud)
このニュースが関係する人
社内でAIを使いたい情報システム担当者と小さな開発チーム
まず該当するのは、社内の問い合わせ対応や文書要約にAIを入れたい情報システム担当者である。専任のインフラ技術者がいない会社ほど、どの方式を選ぶかで半年後の負担が大きく変わる。数人規模の開発チームも同じ立場にある。
試作を急ぐスタートアップの技術責任者も対象になる。
顧客データを外に出せない業種の責任者は制御の範囲を確認する
次に、医療、金融、自治体、士業など、扱う情報が重い業種の責任者である。データをどこで処理し、誰が基盤を管理するかを説明できなければ、社内審査が通らない。
欧州の事業者が主題になっているのは偶然ではない。EU域内で完結させたいという需要が、方式選びに強く影響するためである。海外拠点を持つ日本企業の法務担当も、無関係ではない。
月々のAI利用料に不安を持つ経営者と購買担当者
最後に、AIの請求額が読めずに困っている経営者や購買担当者である。使った分だけ払う方式と、GPUを借りて固定で払う方式では、費用の増え方が違う。利用が増えたときに予算を超えないかを心配する人は、この比較を自分の問題として読む価値がある。
関係する人に起こる変化
情報システム担当者は、運用の手間と引き換えに自由度を選ぶ
オンデマンド推論を選べば、導入は数日で済む。一方で、モデルの細かな設定や、応答速度の調整には手を出しにくい。
容器型基盤を選ぶと、モデルの入れ替えや設定変更が自由になる。ただし、容器の更新、監視、障害時の切り分けが担当者の仕事に加わる。夜間の障害対応を誰がやるかを、先に決めておく必要がある。
厳格な業種では、データの置き場所を自社で決められるようになる
モデルを自分で動かせる方式なら、入力した文章を外部の事業者のモデルに学習させる心配が減る。審査部門への説明も、API利用より通しやすい。
ただし、基盤を借りている以上、事業者との契約や保管場所の確認は残る。完全に自社で持つ場合との差を、書面で整理しておくことが求められる。
経営者は、従量課金と固定費のどちらが得かを数字で見る必要が出る
利用が少ないうちは、使った分だけ払う方式が安い。利用が増えると、GPUを借りて使い切る方式のほうが、一回あたりの単価は下がりやすい。
たとえば社員百人が毎日使う規模と、顧客向けに常時動かす規模では、損益の分かれ目が違う。早い段階で月間の利用量を見積もり、乗り換えの時期を決めておく経営判断が迫られる。
分析・見解
三つの方式は技術の違いではなく、責任の置き場所の違いである
この比較の本質は、どのソフトを使うかではない。障害、更新、費用の変動という責任を、誰が負うかの分け方にある。オンデマンド推論は責任の大半を事業者に渡す。容器型基盤は半分ずつ持つ。自社で完全に運用すれば、すべてを抱える。
ここで見落とされがちなのは、オープンソースのモデルは無料でも、運用する人の時間は無料ではないという点である。モデルの料金がゼロでも、人件費が別の形で請求書に現れる。
最初の選択は固定ではなく、段階的に動かすものと考えるべきだ
多くの企業は、まず手軽な方式で試し、利用が定着してから容器型基盤へ移るだろう。同じ形式のAPIで動くモデルが増えており、乗り換えの壁は以前より低い。
だからこそ、最初から最適解を探すより、乗り換えやすい設計にしておくことが重要になる。この視点は、導入計画や予算の組み方に直結する。次に、実務でどう判断すればよいかを見ていく。
ビジネスへの影響
方式選びは三つの問いで決められる
意思決定者は、次の三つを順に確認するとよい。第一に、データを外に出せるか。第二に、社内に夜間も対応できる技術者がいるか。第三に、利用量が半年で何倍になりそうか。
出せない、技術者がいない、利用量が読めないのであれば、オンデマンド推論から始めるのが無難である。出せない、技術者がいる、利用量が多いのであれば、容器型基盤が候補になる。
費用は月額ではなく一回あたりの単価で比べる
見積もりでは、月額の合計だけを並べると判断を誤る。一回の問い合わせあたりの費用に直し、利用量が二倍、五倍になった場合の変化を表にしておくとよい。
GPUの空き時間も見落としやすい。夜間や休日に使われない時間まで料金が発生する方式では、実際の単価は見かけより高くなる。
契約と運用の取り決めを先に固めておく
基盤を借りる場合は、障害時の連絡経路、データの保管場所、契約終了時のデータ消去を、契約前に確認する。
また、モデルを一つの事業者に縛られない形で組んでおくと、値上げや方針変更への備えになる。小さく始め、数字を見て移る。この順序が、無駄な投資を避ける最も現実的な進め方である。