ローカルLLMホスティング・運用代行

推論基盤の運用を外部に任せる時代へ、ベスルAIとSOLAR Pro 4が示す分業の形

推論基盤の運用を外部に任せる時代へ、ベスルAIとSOLAR Pro 4が示す分業の形
推論基盤の運用を外部に任せる時代へ、ベスルAIとSOLAR Pro 4が示す分業の形のニュース解説イメージ

ニュースの概要

韓国のAIインフラ企業ベスルAIが、アップステージの大規模言語モデル「SOLAR Pro 4」向けに、世界規模の推論基盤と運用支援を提供したと発表した。利用量が急増したことを受け、韓国、米国、欧州など複数の地域にGPUクラスター(=画像処理半導体を束ねた計算設備)を構築し、独自の推論エンジン最適化によって利用者からの要求をさばいたという。報道によると、対象期間の1日あたりのトークン処理量は80億トークン台から大きく増加した。モデルを開発する会社と、それを動かす会社が別々に力を発揮する構図が、韓国のAI市場でも鮮明になってきた。

引用元: ベスルAI、アップステージの「SOLAR Pro 4」推論インフラを提供し運用事業を拡大(MoneyToday)

分析・見解

モデルを作る会社と動かす会社が分かれ始めた

今回の発表で注目したいのは、数字そのものより役割分担の形である。アップステージはモデルの開発に集中し、世界各地での推論は専門企業が受け持つ。家電メーカーと電力会社の関係に近い。メーカーは発電所を持たず、電気は電力会社から買う。AIモデルも同じように、作る力と動かす力が別の事業になりつつある。

開発会社が自前でGPUを抱えると、利用が急増したときに設備が追いつかない。逆に需要が落ちれば、高価な設備が遊んでしまう。外部の運用会社と組めば、こうした波を吸収しやすくなる。

複数地域にGPUを置く理由は速さだけではない

推論(=学習済みのAIに質問して答えを出させる処理)では、利用者との物理的な距離が応答時間に響く。韓国、米国、欧州に拠点を分ければ、待ち時間を短くできる。加えて、地域ごとの法規制にも対応しやすい。欧州ではデータを域外に出すことへの警戒が強く、拠点が域内にあること自体が営業上の武器になる。

障害への備えとしても有効だ。一つの地域で停電や機器故障が起きても、別の地域へ処理を回せる。利用者から見れば、止まらないことが何よりの品質である。

推論エンジンの最適化が利益率を左右する

同じGPUでも、ソフトウェアの工夫次第で1日にさばける量は大きく変わる。複数の要求をまとめて処理する、過去の計算結果を使い回す、数値の精度を少し落として軽くする、といった手法がある。日次80億トークン超の規模になれば、数%の効率改善でも年間の設備費に大きな差が出る。

つまり運用会社の競争力は、GPUの台数ではなく、1台からどれだけ絞り出せるかにある。ここは簡単には真似できないため、参入の壁になりうる。

急増する需要の裏にある危うさと、選ぶ基準の変化

日次処理量が短期間に何倍にも伸びる状況は、順調さの証拠であると同時に危うさも抱える。需要予測が外れてGPUの調達が間に合わなければ、品質はすぐに落ちる。特定の運用会社への依存が深まれば、価格交渉の力も弱まる。

ここで独自の見方を示したい。今後は「モデルの賢さ」より「混雑時でも一定の品質で返せるか」が選定の決め手になる。ベンチマークの数点差より、夕方の混み合う時間帯の応答時間の方が、現場の満足度を決めるからだ。

ビジネスへの影響

自社で動かすか、任せるか。判断の物差しを先に決める

今回の事例は、AIを使う企業にとっても他人事ではない。自社でGPUを持つ方式は、データを手元に置けて安心だが、設備投資と運用人材が重い。外部委託は初期費用を抑えられる反面、使うほど費用が積み上がる。

判断の物差しは三つに絞れる。一つ目は1日あたりの利用量の見通し。二つ目は扱うデータの機密度。三つ目は社内に運用できる人材がいるかどうかである。利用量が読めない初期段階は外部委託で始め、安定してから一部を自社へ戻す段階的な進め方が現実的だ。

委託先と契約する前に確認したい三つの条件

第一に、処理を行う地域の指定ができるか。個人情報や機密を扱うなら、データが国外へ出ない設定を契約書に明記したい。第二に、混雑時の応答時間について、数値の目標と未達時の扱いが決まっているか。平均値ではなく、遅い方の数%を示してもらうと実態が見える。第三に、他社へ乗り換えるときにデータや設定を持ち出せるか。

この三点を曖昧にしたまま導入すると、後から費用や制約が膨らみやすい。見積もりの安さだけで決めず、止まったときの責任範囲まで確認しておくことが、結果的に最も安い選択になる。

関連記事

[PR]