オンプレLLMは本当に安いのか。3年TCOと損益分岐点を正直に計算する

Q: オンプレミスのLLMとクラウドAPIはどちらが安いですか？

GPUの稼働率と利用量で決まります。オンデマンドのクラウドとの比較では1日約5時間・約12か月の連続稼働、3年コミット割引との比較では1日約8.9時間の稼働がオンプレ逆転の目安です。稼働率が7割を切る用途では固定費がアイドル時間に溶けるため、多くの場合クラウドが安くなります。

Q: オンプレLLMの損益分岐点は月いくらの利用量からですか？

3年償却・高稼働前提の目安で、月間API利用料が10万円以下ならクラウド従量課金のまま、30〜80万円で運用人材がいれば単一GPUサーバーが視野、250万円超の高稼働なら専有GPUノードが候補です。80〜250万円の帯では機密ワークロードのみオンプレに置くハイブリッドが現実的です。

Q: オンプレLLMの隠れコストには何がありますか？

最大のものは運用人件費です。専任0.3人でも年250万円前後、3年で750万円となり、単一GPUサーバーではハード代を超えることもあります。ほかに電気代（高圧受電で約18.9円/kWh）、ハード保守（年10〜15%、3年で約100万円）、半年ごとのモデル世代交代に伴う載せ替え・再評価の工数があります。

Q: クラウドAIに入力したデータは学習に使われますか？

法人プランとAPIは契約上、入力を学習に使いません。学習利用の同意が必要になるのは個人プランで、オプトアウト設定で外せます。機密度だけを理由にオンプレを選ぶ前に、契約形態で要件を満たせないかの確認をおすすめします。

Q: GPUサーバーの償却期間は何年で計算すべきですか？

TCO試算では2〜3年で引くことをおすすめします。オープンモデルは半年〜1年で世代交代するため、5年間同じモデルを使い続ける前提は非現実的です。償却期間を長く取るほど机上のTCOは実態より安く見えます。

Q: 中小企業はオンプレとクラウドのどちらを選ぶべきですか？

大半の中小企業は「法人クラウド＋PC1台ローカル」の二層構造から始めるのが現実的です。機密の下処理はローカルの小型モデルで、量が必要な本番処理はクラウドで回し、稼働率と機密要件がはっきりしてから専有投資を検討してください。

「オンプレミスにすれば安くなる」という説明は、条件付きの真実です。分岐点はGPUの稼働率と月間の利用量で決まります。GPUを1日5時間も回さない用途であれば、ほとんどの場合クラウドが安くなります。逆に高稼働で使い倒す用途であれば、3〜5年で数十%のコスト削減も現実的です。本記事では、ハードメーカーの試算と独立系の試算で前提がどう違うのかを並べ、自社の数字を当てはめて判断できる形に整理します。

この記事の要点

「オンプレは安い」は高稼働が前提です。オンデマンドのクラウドとの比較で1日約5時間、3年コミット割引との比較で1日約8.9時間の稼働が損益分岐の目安です

ハードメーカーの試算（H100×8基・5年で80%削減）はクラウドをオンデマンド料金で比較した数字であり、3年コミット割引と比較すると削減率は63%まで縮みます

最大の隠れコストは運用人件費です。専任0.3人でも年250万円前後、3年で750万円となり、単一GPUサーバーではハード代を超えることもあります

2026年はDRAM価格が年初来で約2倍という高騰局面にあり、新規購入は高値づかみになりやすい時期です

大半の中小企業の現実解は、「法人クラウド＋PC1台ローカル」の二層構造から始めることです

「30〜50%削減」と「クラウドの方が安い」が両方存在する理由

どちらも嘘ではありません。差は前提にあります。

ハードメーカー系の試算は、GPUを高稼働で回し、クラウドはオンデマンド料金と比較します。そのため削減率が大きく出ます
独立系の試算は、アイドル時間・運用人件費・クラウドの長期契約割引を織り込みます。そのため「稼働率が低いと逆にクラウドが安い」という結論になります

実例で見てみます。ハードメーカーの2025年版TCO試算（H100を8基積んだサーバー）では、5年でオンプレ約87万ドル対クラウド約430万ドルとなり、80%削減と示されています。ただし、これはクラウドをオンデマンド料金で比較した場合です。クラウド側を3年コミット割引にすると、同じ試算でクラウドは約236万ドルまで下がり、削減率は63%、損益分岐は「1日約8.9時間の稼働」まで上がります（Lenovo Press, 2025 Edition）。同じデータでも、前提次第で結論が動きます。

比較の前提	5年のクラウド費用	オンプレの削減率	損益分岐の稼働時間
クラウド＝オンデマンド料金	約430万ドル	80%	1日約5時間（約12か月の連続稼働）
クラウド＝3年コミット割引	約236万ドル	63%	1日約8.9時間

本記事では両方の前提を並べます。自社の稼働率と利用量を当てはめて、自分で判断できるようにすることが狙いです。

オンプレミスLLMのコスト構造（初期費用と継続費用の全リスト）

見積書に見えているのはハードウェアだけです。実際には継続費、特に人件費が効いてきます。まず初期費用を3つの規模で並べます（1ドル約160円換算）。

規模	構成例	初期費用の目安
SMBワークステーション	RTX 6000 Ada / L40S 1枚、量子化した中型モデル	約150万〜400万円
単一GPUサーバー	H100 1基のサーバー	約700万〜1,000万円
専有GPUノード	H100 8基（HGX）	約5,000万〜6,500万円

継続費は単一GPUサーバーを例に取ります。

費目	目安
電気代	高圧受電で約18.9円/kWh（新電力ネット, 2026年3月）。約0.7kW連続＋冷却で月1万〜1.5万円、年15万〜18万円
ハード保守	年10〜15%、3年で約100万円
モデル更新・検証作業	オープンモデルは半年で世代交代。載せ替えと再評価の工数が定期的に発生
運用人件費（最大の隠れコスト）	専任0.3人でも年250万円前後、3年で750万円。単一GPUサーバーではハード代を超えることも

運用できる人が社内に必要だという点は、金額以上に重い前提です。継続費の合計は、人件費を入れるか入れないかで倍近く変わります。この「誰が維持するのか」という問題は『導入したローカルLLM、誰が維持するのか。挫折の最大要因は運用担当者問題』で詳しく扱っています。

2026年のDRAM高騰という逆風

さらに、2026年には逆風があります。AI向けHBM需要でメモリが逼迫し、2026年に入って一般DRAM価格は四半期で80〜90%上昇し、年初来で約2倍になりました（IEEE Spectrum / Tom’s Hardware）。GPU本体だけでなく、サーバーに搭載するメモリも高くなっています。供給回復は2027〜2028年とされており、現在は買うほど高値づかみになりやすい時期です。なお、ローカルLLMのハードウェア選定でメモリがなぜ重要かは『ローカルLLMの速度はメモリ帯域で決まる。スペック表の正しい読み方』で解説しています。

クラウドLLMのコスト構造（従量課金の弱点と下げる手段）

クラウドの弱点は、安さではなく予測しにくさにあります。

従量課金は使うほど増えます。ヒットしたサービスほど請求が膨らみます
レート制限があり、突発的な大量処理はスロットルされます

一方で、費用を下げる手段も揃っています。

法人プランの月額固定は、変動を平準化する中間解になります
プロンプトキャッシュとバッチ処理を使えば、同じ処理でも単価を大きく下げられます
H100のクラウド単価も下落基調です。2025年6月にAWSがオンデマンド料金を44%値下げし、3年コミットで1GPU時あたり1.9〜2.1ドル前後まで下がっています（Spheron, 2026）

「クラウド＝学習される」は誤解です

機密面の誤解も正しておきます。「クラウドに入力すると学習される」という理解は不正確です。法人プランとAPIは契約上、入力を学習に使いません。学習利用の同意が必要になるのは個人プランで、こちらはオプトアウト設定で外せます。この線引きは『Claudeの学習利用ポリシー』に整理しています。機密度だけを理由にオンプレへ飛ぶ前に、契約形態で要件を満たせないかを確認する価値があります。

オンプレLLMの損益分岐点（1日何時間・月いくらから逆転するか）

独立系の目安はシンプルで、GPUを回している時間が全てです。

オンデマンドのクラウドと比べる場合、1日約5時間・約12か月の連続稼働でオンプレが逆転します
3年コミットの割安なクラウドと比べる場合、1日約8.9時間までの稼働が必要です（Lenovo Press）

言い換えると、稼働率が7割を切る用途では、オンプレの固定費がアイドル時間に溶けていきます。

実務では、時間よりも「月にいくら使うか」で考える方が早く判断できます。3年で均等償却した月額と、置き換え対象のAPI利用料を突き合わせます（1ドル約160円、高稼働前提）。

月間API利用料（置換対象）	推奨
〜10万円	クラウド従量一択。オンプレ検討は不要
10〜30万円	法人固定＋キャッシュ/バッチ最適化。機密の下処理用にPC1台ローカルを併用
30〜80万円（高稼働・運用人材あり）	単一GPUサーバーのオンプレが視野
80〜250万円	ハイブリッド。機密ワークロードのみオンプレ、残りはクラウド
250万円〜（高稼働）	専有GPUノードのオンプレ

この表の前提は、トークン単価が中位のモデルを高稼働で回すことです。安価な小型モデルを置き換える場合は閾値が上振れし（オンプレに不利）、高価なフロンティアモデルを大量に使う用途では下振れします（オンプレに有利）。「月◯円を超え続けたら試算する」という当たりを付ける道具として使ってください。なお、併用先となる「PC1台ローカル」の予算感は『予算別ローカルLLM PC 2026。10万・30万・60万・100万円で何が動くか』で整理しています。

5年償却の落とし穴（償却期間はモデルの陳腐化速度に合わせる）

経営視点では、月額が読めること自体に価値があります。設備を償却すれば、GPUノードは月額固定費になります。従量課金の変動に比べて、予算が立てやすくなります。

ただし、この前提には穴があります。同じモデルを何年使い続けられるかという問題です。オープンモデルは半年〜1年で世代交代し、性能も効率も上がっていきます。5年固定は非現実的で、実際には2〜3年での載せ替えを見込むべきです。つまり「5年償却だから安い」を鵜呑みにせず、償却期間はモデルの陳腐化速度に合わせて2〜3年で引く方が安全です。ここを長く取るほど、机上のTCOは実態より安く見えてしまいます。

オンプレかクラウドかの判断フレーム（利用量×機密度×運用人材）

利用量・機密度・人材の3軸で切り分けます。

利用量	機密度	運用人材	判断
少〜中	低〜中	なし	クラウド継続（法人固定＋最適化）
中	高	一部あり	ハイブリッド（機密のみローカル）
大・高稼働	高	確保済み	オンプレ/専有ノード

正直な結論を書きます。大半の中小企業にとっては、いきなり専有ノードを持つのではなく、法人クラウド＋PC1台ローカルの二層構造から始めるのが現実的です。機密の下処理や試作はローカルの小型モデルで行い、量が必要な本番処理はクラウドで回します。使い込んで稼働率と機密要件がはっきりしてから、初めてオンプレの専有投資を検討します。スモールスタートには、GPUサーバー不要のMac 1台から始める構成もあります（Macで始める社内専用AI導入支援）。

手法全体の地図は『[2026年7月更新] 社内データを外に出さずに生成AIを使う全手法と費用』に、費用の実額内訳は『ローカルLLM導入費用の実額内訳。PoC300万円〜本番1,500万円の中身を開示する』に、始める前に決めるべきことは『ローカルLLMのPoCで300万円溶かす前に。始める前に決める撤退基準』にまとめています。GPUサーバーでの本格構成を検討する段階になったら、ローカルLLM導入支援もご覧ください。

試算前チェックリスト

自社でTCOを試算する前に、次の項目が埋まっているかを確認してください。埋まっていない項目は、試算結果を実態から乖離させる要因になります。

置き換え対象の月間API利用料（または想定利用量）を把握している
GPUの想定稼働時間（1日何時間・稼働率）を見積もった
クラウド側の比較条件をオンデマンドか長期コミット割引かで明確にした
運用人件費（専任0.3人でも年250万円前後）をTCOに織り込んだ
電気代・ハード保守（年10〜15%）・モデル更新の工数を計上した
償却期間をモデルの陳腐化速度に合わせて2〜3年で引いた
機密要件が法人プラン/APIの契約条件で満たせないかを確認した
導入後に運用を担う人材の当てがある（運用担当者問題）
現在がDRAM/GPU高騰局面であることを踏まえて購入時期を検討した

まとめ

「オンプレは安い」は高稼働が前提です。1日5〜9時間GPUを回せないなら、多くの場合クラウドが安くなります
ハードメーカー試算（80%削減）はオンデマンド比較・高稼働前提です。独立系の試算はアイドル・人件費・長期割引を織り込むため、結論が縮みます
最大の隠れコストは人件費です。単一GPUサーバーでは3年でハード代を超えることもあります
2026年はDRAM/GPU高騰局面です。新規購入は高値づかみになりやすい時期です
「クラウド＝学習される」は誤解です。法人プラン/APIは入力を学習に使いません。機密度だけでオンプレに飛ばないでください
中小企業の現実解は、「法人クラウド＋PC1台ローカル」の二層構造から始めることです

よくある質問

Q. オンプレミスのLLMとクラウドAPIはどちらが安いですか？

GPUの稼働率と利用量で決まります。オンデマンドのクラウドと比較する場合は1日約5時間・約12か月の連続稼働、3年コミット割引のクラウドと比較する場合は1日約8.9時間の稼働が、オンプレ逆転の目安です。稼働率が7割を切る用途ではオンプレの固定費がアイドル時間に溶けるため、多くの場合クラウドが安くなります。

Q. オンプレLLMの損益分岐点は月いくらの利用量からですか？

3年償却・高稼働前提の目安で、置き換え対象の月間API利用料が10万円以下ならクラウド従量課金のままが安く、30〜80万円で運用人材がいれば単一GPUサーバーが視野に入り、250万円超の高稼働なら専有GPUノードが候補になります。80〜250万円の帯では、機密ワークロードのみオンプレに置くハイブリッドが現実的です。

Q. オンプレLLMの隠れコストには何がありますか？

最大のものは運用人件費です。専任0.3人でも年250万円前後、3年で750万円となり、単一GPUサーバーではハードウェア代を超えることも珍しくありません。ほかに電気代（高圧受電で約18.9円/kWh、年15万〜18万円）、ハード保守（年10〜15%、3年で約100万円）、半年ごとのモデル世代交代に伴う載せ替え・再評価の工数があります。運用体制の問題は『導入したローカルLLM、誰が維持するのか』で詳しく解説しています。

Q. クラウドAIに入力したデータは学習に使われますか？

法人プランとAPIは契約上、入力を学習に使いません。学習利用の同意が必要になるのは個人プランで、こちらはオプトアウト設定で外せます。「クラウド＝学習される」という理解だけを根拠にオンプレを選ぶ前に、契約形態で機密要件を満たせないかを確認することをおすすめします（詳細は『Claudeの学習利用ポリシー』を参照してください）。

Q. GPUサーバーの償却期間は何年で計算すべきですか？

TCO試算では2〜3年で引くことをおすすめします。オープンモデルは半年〜1年で世代交代するため、同じモデルを5年間使い続ける前提は非現実的で、実際には2〜3年での載せ替えを見込むべきです。償却期間を長く取るほど机上のTCOは実態より安く見えるため、モデルの陳腐化速度に合わせた期間設定が安全です。

Q. 2026年にオンプレ用のGPUサーバーを買うのは損ですか？

高値づかみになりやすい時期です。AI向けHBM需要でメモリが逼迫し、2026年の一般DRAM価格は四半期で80〜90%上昇、年初来で約2倍になっています。供給回復は2027〜2028年と見られています。急ぎでなければ、まずクラウドやPC1台ローカルで稼働率と機密要件を見極めてから、購入時期を判断することをおすすめします。

Q. 中小企業はオンプレとクラウドのどちらを選ぶべきですか？

大半の中小企業は、「法人クラウド＋PC1台ローカル」の二層構造から始めるのが現実的です。機密の下処理や試作はローカルの小型モデルで行い、量が必要な本番処理はクラウドで回します。使い込んで稼働率と機密要件がはっきりしてから、専有投資を検討してください。GPUサーバー不要のMac 1台から始める構成はMacで始める社内専用AI導入支援で紹介しています。

主な参考資料: Lenovo Press: On-Premise vs Cloud Generative AI TCO 2025、新電力ネット電気料金単価、IEEE Spectrum: DRAM Shortage、Tom’s Hardware: DRAM/NAND価格動向、Spheron: GPU Cloud Pricing Comparison 2026、Claudeの学習利用ポリシー

TodoONadaでは、ローカルLLM／生成AIの導入判断からPoC・構築までを支援しています。自社の実際の利用量と稼働率を当てはめた3年TCO試算を含め、まずは30万円・2週間のミニ検証から始められます。「うちの利用量ならオンプレとクラウドのどちらが安いのか」という試算段階のご相談も歓迎します。

この記事に関連するサービス

TodoONada株式会社では、機密データを外部に出さないローカルLLMの導入支援を行っています。

ローカルLLM導入支援 — GPUサーバーでの本格構成。モデル選定からRAG構築・運用まで
Macで始める社内専用AI導入支援 — Mac 1台から始める社内専用AI。PoCから部門導入まで対応

導入・開発のご相談はお問い合わせからお気軽にどうぞ。検討段階のご相談も歓迎です。