ローカルLLMのPoCで300万円溶かす前に。始める前に決める撤退基準

Q: ローカルLLMのPoC費用はいくらかかりますか？

生成AIのPoC全般の相場は150万〜500万円で、ローカルLLMを含むオンプレミス環境での検証は300万円以上・期間3か月から半年が一般的です。前段に30万円・2週間のミニ検証を挟み、日本語精度・実用度・必要スペックを見極めてから進むと損失の上限を抑えられます。

Q: ローカルLLMのPoCの撤退基準はどう決めればいいですか？

精度・コスト・運用の3本に絞り、始める前に合格ラインを数字で合意します。例えば精度はサンプル100件で人手修正なしに使える出力が80%以上、コストは想定利用量での3年TCOがクラウドAIを下回ること、運用はモデル更新・障害対応・精度監視を担う人を確保できることです。1つでも割ったらクラウド継続か対象業務の縮小、3つ満たして初めて本番構築に進みます。

Q: ローカルLLMのPoCが失敗（塩漬け）に終わる原因は何ですか？

目的が試すこと自体になっている、評価指標を決めていない、本番の利用量（トークン量・同時利用者数）を測っていない、導入後の運用担当者を決めていない、対象業務を広げすぎている、の5つが共通の型です。特に多いのは試すことの目的化で、検証の出口がないと成果は「動きました」で止まります。

Q: PoCの評価セットはどう作りますか？

対象業務の実データから代表的なサンプルを50〜100件集め、それぞれに正解または合格の条件を人手で用意し、モデルの出力と突き合わせて合格率を出します。現場の生データで作ること、構築者ではなく業務担当者が採点することが重要です。クラウドAIを対照群に置くブラインド比較も有効です。

Q: ローカルLLMは無料で試せますか？

試せます。手元のPCやMacにOllamaやLM Studioをインストールすれば候補モデルを0円で動かせます。精度もスペックも本番とは異なりますが、方向性の当たりをつけるには十分です。

Q: PoCで撤退と判断したら投じた費用は無駄になりますか？

無駄にはなりません。検証で作った評価セットと業務分解の成果物は資産として残り、新しいモデルが出たときに同じ評価セットを通せばすぐ再判定できます。撤退基準を割ってクラウドAI継続を決めることは、失敗ではなく判断の成果です。

ローカルLLMのPoC（概念実証）の多くは、成功とも失敗とも言えないまま終わります。動くことは動くものの、本番に進む決め手も、やめる理由も出てきません。この宙ぶらりんの状態こそが、最も費用を吸い込みます。本記事では、PoCに投じる300万円を「判断のための費用」に変えるために、始める前に決めておくべき撤退基準（精度・コスト・運用）の作り方を具体的に解説します。

この記事の要点

生成AIのPoCの相場は150万〜500万円、ローカルLLMを含むオンプレミス検証では300万円以上・期間3か月から半年が一般的です

PoCが塩漬けで終わる最大の原因は、始める前に「どうなったらやめるか」という撤退基準を決めていないことです

撤退基準は精度・コスト・運用の3本に絞ります。「サンプル100件で人手修正なしに使える出力が80%以上」のように、合格ラインを数字で先に合意します

300万円のPoCの前に、0円の手元検証と30万円・2週間のミニ検証で、日本語精度・実用度・必要スペックの不確実性を潰せます

撤退は失敗ではなく判断の成果です。検証で作った評価セットと業務分解の成果物は、次の再判定に使える資産として残ります

なぜローカルLLMのPoCは塩漬けで終わるのか（よくある5つの型）

生成AIのPoCの相場は、規模にもよりますがおおむね150万〜500万円です。ここに人と時間を投じたあとで「判断できません」となる事態を避ける唯一の方法は、始める前に「どうなったらやめるか」を決めておくことです。撤退基準を先に合意しておけば、300万円は判断のための費用になり、塩漬けにはなりません。

塩漬けになるPoCには、共通の型があります。

目的が「ローカルLLMを試すこと」自体になっている（何を判断するための検証かが曖昧です）
評価指標を決めていない（良し悪しを測る物差しがありません）
本番の利用量（トークン量・同時利用者数）を測っていない
導入後に維持する担当者を決めていない
最初から対象業務を広げすぎて、どれも中途半端に終わる

最も多いのは、最初の「試すことが目的化する」パターンです。動いた画面を見て満足し、いざ判断の場に持っていくと「で、これは本番で使えるのか」という問いに誰も答えられません。検証の出口を決めていないと、成果は「動きました」で止まります。

利用量の見落としも、あとになって効いてきます。担当者が数十件を手で試して「速い、使える」と感じても、全社100人が毎日使う本番環境では、同時アクセスとトークン量がまるで違います。1人なら待てる数秒の遅延も、同時に10人が使えば待ち行列になります。PoCの段階で想定利用量（1日あたりのリクエスト数・同時利用者数・1件あたりの入出力トークン）を測っておかないと、本番で必要なGPUの規模もコストも見積もれません（推論速度がハードウェアのどの数値で決まるかは『ローカルLLMの速度はメモリ帯域で決まる。スペック表の正しい読み方』で解説しています）。

始める前に決める3つの撤退基準（精度・コスト・運用）

撤退基準は、精度・コスト・運用の3つに絞ると合意しやすくなります。いずれも、始める前に合格ラインを数字で決めておくことが要点です。

基準	合格ライン（例）	割ったときの判断
精度	対象業務のサンプル100件で、人手修正なしで使える出力が80%以上	クラウドAI継続、または対象業務を絞る
コスト	想定利用量での3年TCOがクラウドAIを下回る	クラウド継続
運用	モデル更新・障害対応・精度監視を担える人を確保できる	導入見送り、または外部保守を前提に切替

精度の基準：業務を1つに絞り、合格率を事前合意する

精度の基準は、対象業務ごとに決めます。全業務で一律に測るのではなく、「この帳票の読み取り」「この問い合わせの分類」のように業務を1つに絞り、人間の一次チェックをどれだけ減らせるかで見ます。80%という数字自体に意味があるのではなく、始める前に「何%を超えたら合格か」を関係者で合意しておくことに意味があります。

コストの基準：想定利用量での3年TCOで比較する

コストの基準は、想定利用量での3年TCO（総保有コスト）でクラウドAIと比較します。GPU本体だけでなく、電気代・保守・人件費まで含めた総額で見ます。稼働率が低く利用量が少ない段階では、クラウドAIのほうが安く済むことは珍しくありません。この総額の出し方と損益分岐点の引き方は『オンプレLLMは本当に安いのか。3年TCOと損益分岐点を正直に計算する』で計算しています。

運用の基準：維持する人を確保できるか

運用の基準は、意外と見落とされます。ローカルLLMは構築して終わりではなく、モデルの更新、GPU障害への対応、精度が落ちていないかの監視が続きます。これを担う人を用意できなければ、動くものが作れても運用には乗りません。運用担当者の不在は導入挫折の最大要因であり、『導入したローカルLLM、誰が維持するのか。挫折の最大要因は運用担当者問題』にまとめています。

判断ルール：1つでも割ったら止まることを文書で合意する

判断はシンプルにします。3つのうち1つでも割ったら、クラウド継続か、対象業務を縮小しての再検証です。3つとも満たして初めて本番構築に進みます。この一線を始める前に文書で合意しておくことが、「撤退基準を決める」ということです。

具体例を挙げます。精度は合格ライン85%で満たした、けれど想定利用量での3年TCOがクラウドAIを2割上回った——このとき「精度は良かったから進めよう」ではなく、コスト基準を割った以上いったん止めて、利用量が本当にその水準まで伸びるのかを問い直します。あるいは対象業務を、コストが見合う範囲まで絞って再検証します。基準を先に決めておくと、こうした場面で「良かった点」に引きずられず、割った基準を起点に落ち着いて判断できます。

PoC費用の相場と段階投資（0円→30万円→300万円）

いきなり300万円のPoCに入る必要はありません。その前に、30万円・2週間のミニ検証で、大きな不確実性の多くを潰せます。

ミニ検証で先に確かめることは次の3点です。

候補モデルの日本語精度（想定業務の実データで測ります）
想定業務での実用度（デモではなく、現場の生データで通用するかを確認します）
必要スペック（どのGPU・メモリ構成なら現実的な速度が出るかを見極めます）

段階を分けると、投資の順番は次のようになります。

段階	費用の目安	期間	出口（判断すること）
ミニ検証	30万円	2週間	日本語精度・実用度・必要スペックの見極め
PoC	300万〜500万円	1〜3か月	撤退基準3項目のクリア/未達を判定
本番構築	1,000万〜1,500万円	3〜6か月	運用体制まで含めて本稼働

各段階の出口で、次に進むか止まるかを判断します。ミニ検証で「日本語精度が業務に耐えない」と分かれば、300万円のPoCに入る前に止められます。段階を分けること自体が、損失の上限を決める仕組みです。各フェーズで何にお金が動くのかという内訳は『ローカルLLM導入費用の実額内訳。PoC300万円〜本番1,500万円の中身を開示する』で開示しています。

さらに前段として、手元のPCやMacで0円から試す選択肢も正直にあります。OllamaやLM Studioをインストールし、候補モデルを自分の業務データで動かしてみます。ここで「そもそも実用に届かない」と感じたら、その時点で判断材料になります。0円検証は精度もスペックも本番とは異なりますが、方向性の当たりをつけるには十分です（手元の予算でどのクラスのモデルが動くかは『予算別ローカルLLM PC 2026』を、Mac 1台からのスモールスタート構成はMacで始める社内専用AI導入支援を参照してください）。なお、こうした試作で使うOllamaと本番の推論基盤で使われるvLLMは役割が異なります。乗り換えのタイミングは『試作はOllama、本番はvLLM。乗り換えのタイミングと20倍の性能差』で解説しています。データを外に出さずに生成AIを使う手法の全体像は『[2026年7月更新] 社内データを外に出さずに生成AIを使う全手法と費用』に整理しています。

ローカルLLMを含むオンプレミス検証まで踏み込むと、見積もりは300万円以上・期間3か月から半年が一般的です。300万〜500万円という相場は、いわば業界標準の入り口価格です。だからこそ、その前段に0円の手元検証と30万円のミニ検証を挟み、大きな不確実性を先に潰す意味があります。

PoCの評価指標・評価セットの作り方

撤退基準の精度ラインを判定するには、評価セットが必要です。作り方の骨格はシンプルです。

対象業務の実データから、代表的なサンプルを50〜100件集めます
それぞれに「正解」または「合格の条件」を人手で用意します
モデルの出力をその正解と突き合わせて、合格率を算出します

ここで注意したいのが、「デモで感動」と「業務で使える」の差です。用意した綺麗な例文ではよく動くのに、現場の崩れた実データを入れると精度が落ちる、というのは典型的なパターンです。評価セットは必ず現場の生データで作ります。

採点する人も先に決めておきます。理想は、モデルを構築した人ではなく、その業務を実際に担当している人が採点することです。作った本人は出力に甘くなりがちで、現場の担当者は「この程度の間違いは許容できない」という肌感覚を持っています。サンプルは多いほど精度が安定しますが、50〜100件あれば合格率の傾向は十分に読めます。件数を増やすことよりも、業務のばらつきを代表する例が入っているかを優先します。

もう一つ有効なのが、クラウドAI（Claudeなど）を対照群に置くブラインド比較です。同じ評価セットをローカルLLMとクラウドAIの両方に通し、どちらの出力か伏せた状態で人が採点します。ここでの目的は、ローカルが勝つことではありません。「クラウドと同等以上か」ではなく「自社の業務要件を満たすか」で見るのが正しい読み方です。要件を満たすなら、クラウドに劣っていても採用してかまいません。逆に、クラウドに勝っていても要件に届かなければ見送りです。

PoCを始める前のチェックリスト

次の項目が埋まっていない状態でPoCを始めると、塩漬けの型にはまりやすくなります。着手前に確認してください。

このPoCで何を判断するのか（検証の出口）を文書化した
対象業務を1つに絞った（「この帳票の読み取り」のレベルまで具体化した）
精度の合格ラインを数字で合意した（例：サンプル100件で人手修正なし80%以上）
コストの基準を決めた（想定利用量での3年TCOがクラウドAIを下回るか）
想定利用量を見積もった（1日のリクエスト数・同時利用者数・1件あたりの入出力トークン）
導入後の運用担当者（モデル更新・障害対応・精度監視）の当てがある
評価セットに使える現場の生データ50〜100件を用意できる
採点者を決めた（構築者ではなく業務担当者）
1つでも基準を割ったら止まることを関係者と文書で合意した

撤退は失敗ではない（評価セットと業務分解は資産に残る）

撤退基準を割って「今回はクラウドAIで続ける」と決めることは、失敗ではなく判断の成果です。検証で作った評価セットと、業務を分解した成果物は、そのまま資産として残ります。次にモデルが新しくなったとき、同じ評価セットを通せばすぐに再判定でき、ゼロからのやり直しにはなりません。

そして、撤退基準を先に合意しておく最大の効果は、社内政治で引き返せなくなる事態を防ぐことです。300万円を投じたあとに「ここまでやったのだから本番に進もう」という力学が働くと、基準を満たしていないのに前へ進んでしまいます。始める前に「この線を割ったらやめる」と文書で握っておけば、投じた費用に引きずられずに判断できます。撤退基準は、未来の自分たちが冷静さを失ったときのための約束です。

まとめ

ローカルLLMのPoCで最も多い終わり方は、失敗ではなく塩漬けです。始める前に撤退基準を決めていないことが原因です
撤退基準は精度・コスト・運用の3本です。合格ラインを数字で先に合意し、1つでも割ったらクラウド継続かスコープ縮小、3つ満たして初めて本番化します
300万円のPoCの前に、0円の手元検証と30万円・2週間のミニ検証で、日本語精度・実用度・必要スペックの不確実性を潰せます
評価は現場の生データで作った評価セット（50〜100件）とブラインド比較で行います。クラウドAIを対照群に置き、勝つことではなく業務要件を満たすかで判定します
撤退は失敗ではなく判断の成果です。評価セットと業務分解は資産に残り、事前の合意が投じた費用に引きずられる事態を防ぎます

よくある質問

Q. ローカルLLMのPoC費用はいくらかかりますか？

生成AIのPoC全般の相場は150万〜500万円で、ローカルLLMを含むオンプレミス環境での検証まで踏み込むと300万円以上・期間3か月から半年が一般的です。その前段として30万円・2週間のミニ検証を挟み、日本語精度・実用度・必要スペックを見極めてから進むと、損失の上限を抑えられます。費用の中身は『ローカルLLM導入費用の実額内訳』で開示しています。

Q. ローカルLLMのPoCの撤退基準はどう決めればいいですか？

精度・コスト・運用の3本に絞り、始める前に合格ラインを数字で合意します。例えば、精度は「対象業務のサンプル100件で人手修正なしに使える出力が80%以上」、コストは「想定利用量での3年TCOがクラウドAIを下回る」、運用は「モデル更新・障害対応・精度監視を担える人を確保できる」です。1つでも割ったらクラウド継続か対象業務の縮小、3つ満たして初めて本番構築に進む、という一線を文書で合意しておきます。

Q. ローカルLLMのPoCが失敗（塩漬け）に終わる原因は何ですか？

共通する型は5つあります。目的が「試すこと」自体になっている、評価指標を決めていない、本番の利用量（トークン量・同時利用者数）を測っていない、導入後の運用担当者を決めていない、対象業務を広げすぎている、です。特に多いのは試すことの目的化で、検証の出口を決めていないと成果は「動きました」で止まり、本番可否を誰も判断できなくなります。

Q. PoCの評価セットはどう作りますか？

対象業務の実データから代表的なサンプルを50〜100件集め、それぞれに「正解」または「合格の条件」を人手で用意し、モデルの出力と突き合わせて合格率を出します。綺麗な例文ではなく現場の生データで作ること、モデルを構築した人ではなく業務担当者が採点することが重要です。クラウドAIを対照群に置き、どちらの出力か伏せて採点するブラインド比較も有効です。

Q. ローカルLLMは無料で試せますか？

試せます。手元のPCやMacにOllamaやLM Studioをインストールすれば、候補モデルを0円で動かせます。精度もスペックも本番環境とは異なりますが、方向性の当たりをつけるには十分です。どの予算のマシンで何が動くかは『予算別ローカルLLM PC 2026』を参照してください。

Q. PoCで撤退と判断したら、投じた費用は無駄になりますか？

無駄にはなりません。検証で作った評価セットと、業務を分解した成果物は資産として残ります。次に新しいモデルが出たとき、同じ評価セットを通せばすぐに再判定でき、ゼロからのやり直しにはなりません。撤退基準を割って「今回はクラウドAIで続ける」と決めることは、失敗ではなく判断の成果です。

Q. ローカルLLMのPoCの期間はどれくらいかかりますか？

段階によって異なります。目安は、ミニ検証が2週間、PoCが1〜3か月、本番構築が3〜6か月です。ローカルLLMを含むオンプレミス検証の見積もりでは、期間3か月から半年が一般的とされています。各段階の出口で次に進むか止まるかを判断する設計にすると、期間と損失の上限を同時に管理できます。

主な参考資料: 生成AI受託開発の費用相場2026（renue）、AI開発・生成AIシステム開発の費用相場（AI Market）、企業が今「ローカルLLM」を求める切実なワケ（ITmedia）

TodoONadaでは、ローカルLLM・生成AIの導入判断からPoC・構築までを支援しています（サービスの詳細はローカルLLM導入支援をご覧ください）。「試してみたい」の前に、撤退基準の設計込みで、まず30万円・2週間のミニ検証から始めることをおすすめしています。候補モデルの日本語精度、想定業務での実用度、必要スペックを実データで見極め、300万円のPoCに進む価値があるかを先に判断します。「そもそもローカルでやるべきか、クラウドAIで足りるか」という整理からのご相談も歓迎します。

この記事に関連するサービス

TodoONada株式会社では、機密データを外部に出さないローカルLLMの導入支援を行っています。

ローカルLLM導入支援 — GPUサーバーでの本格構成。モデル選定からRAG構築・運用まで
Macで始める社内専用AI導入支援 — Mac 1台から始める社内専用AI。PoCから部門導入まで対応

導入・開発のご相談はお問い合わせからお気軽にどうぞ。検討段階のご相談も歓迎です。