中小企業のローカルLLM2026。従業員30人の会社が閉域の社内AIを持つ現実解(1台構成・運用委託・費用)

中小企業のローカルLLM2026。従業員30人の会社が閉域の社内AIを持つ現実解(1台構成・運用委託・費用)

「取引先から、うちの図面を外部のAIに入れないでほしいと言われた」「社員が個人のChatGPTに顧客名を貼っていたのが分かった」。従業員30人前後の会社からの相談は、こうした出来事が起点になることがほとんどです。ところが調べ始めると、出てくる情報はGPUサーバーと専任担当者を前提にした大企業向けの構成ばかりで、「うちには無理だ」と検討が止まってしまいます。

本記事では、情シス専任がいない中小企業がローカルLLM(社内に置いて外部へデータを出さない生成AI)を持つ現実的な線を、規模別の構成・1台構成の中身・運用の委託先・費用の全体像の順に整理します。クラウドの法人契約で足りる会社の判定も含めて、「買ってから困らない」順番で書いています。

この記事の要点

  • 中小企業がローカルLLMを検討する動機は、取引先の要求・事故への不安・公式に使えるAIが無いことの3つです。会社として生成AIを導入している中小企業は16.2%(商工中金)、個人利用を含む活用は32.4%(帝国データバンク)という調査があり、管理外の利用が相当量あります
  • GPUサーバー・専任担当・RAG基盤を前提にした大企業向けの構成は、30人規模では前提が崩れます。現実解はMac 1台を社内LANだけにつないだ「1台構成」で、Mac 1台の社内専用AIはPoCから部門導入までで50〜150万円が目安です
  • 元が取れる用途は、議事録要約・社内文書検索・メール下書き・翻訳のような「機密で、毎日発生する定型文書業務」です。派手な自動化から入ると失敗します
  • 運用は、情シス専任のいない会社ではベンダー保守契約か運用込みの委託が基本です。平常月で月1〜2人日、更新月で3〜5人日の工数をゼロで見積もると稼働後に破綻します
  • 事故の直後に機材を買わず、社内設置の実現性検証(2週間)→ミニ検証→1台導入の順で進めると、買ってから置けない・使われないという失敗を避けられます

中小企業がローカルLLMを検討する3つの動機

相談の入口を分けると、次の3つに集約されます。

動機典型的な出来事ローカルLLMで解けること解けないこと
取引先の要求製造業の親会社や元請から「図面・仕様書を外部AIに入れない」と契約や口頭で求められた社内に閉じた環境で図面や仕様書を扱える。構成図を取引先に提示できる取引先が求める書式の確認。契約条項の解釈は法務に確認する
事故への不安社員が個人アカウントの生成AIに顧客名や見積額を貼っていた。ニュースで他社の情報漏洩を見た公式に使えるAIを用意し、個人アカウントへ流れる動機を減らすルールと相談窓口が無いと、公式の道があっても使われない
公式に使えるAIが無い「生成AIは禁止」のまま1年以上経ち、現場は隠れて使っている禁止の代わりに「ここなら使ってよい」を示せる禁止期間に根づいた個人利用の棚卸し

3つ目の動機は数字でも裏づけられます。商工中金の2026年1月の付帯調査では、会社として生成AIを導入している中小企業は16.2%でした。一方、帝国データバンクの2026年調査では、個人利用を含む活用は中小企業で32.4%に上ります。調査主体も「活用」の定義も異なるため単純比較はできませんが、会社が把握していない利用が相当量あることは、この差から読み取れます。無断利用を公式ルートで吸収する設計は『シャドーAI対策2026』で扱っています。

どの動機であっても、「ローカルLLMを買えば解決する」わけではありません。取引先の要求は構成図と運用ルールで、事故への不安は公式ルートとルールで、禁止の解除は段階的な解禁で、それぞれ解きます。ローカルLLMはそのうちの1つの部品です。

大企業向けの構成をそのまま持ち込むと失敗する理由

ローカルLLMの解説記事の多くは、GPUサーバー・専任の運用担当・RAG(社内文書を検索して回答に使う仕組み)基盤を前提にしています。従業員30人の会社では、この3つの前提がそれぞれ崩れます。

大企業向け構成の前提30人規模で起きること代わりの前提
GPUサーバー(数百万円〜)を置く置き場所・電源・騒音・保守契約がオフィスに収まらない。サーバールームが無い机の上に置ける統合メモリ機(Mac mini/Mac Studio)1台
情シスが運用する情シス専任がいない。総務や社長が兼務しているベンダー保守契約か運用込みの委託。社内は「使う人」と「窓口」だけ
RAG基盤を最初から構築する整理された社内文書が少なく、索引を作る前に文書の整理で止まるまずチャットと要約だけで使い始め、文書検索は後から足す
全社一斉に展開する利用者が少なく、同時利用の設計が過剰になる数人の部署から始めて、使われた用途だけ広げる

費用の桁も変わります。『ローカルLLM導入費用の相場2026』では、ミニ検証約30万円・PoC300〜500万円・本番構築約1,500万円という王道ルートを示していますが、同じ記事で士業・専門サービス(10〜30名)の現実的な入り方はMac 1台構成で50〜150万円としています。30人規模の会社が見るべきは後者です。

もう1つ、大企業向けの情報をそのまま読むと「ローカルLLMは最新のクラウドAIより劣る」という印象だけが残ります。実際には、社内文書の要約・検索・定型文書の下書きのような用途では実用水準に達することが多く、総合的な文章力が必要な一般業務はクラウド、機密業務はローカルという使い分けが現実的です。

規模別の現実解(5〜10人・30人・100人)

同じ「中小企業」でも、利用人数で構成は変わります。目安を表にします。費用は『ローカルLLM導入費用の相場2026』と『M6 Mac miniとM5 Ultra Mac Studio、ローカルLLMで買うならどっち』の範囲で示し、機材本体は別です。

規模機材同時利用の想定置き場所運用体制費用の目安
5〜10人(士業・小規模事務所)Mac mini 1台(M6 32GBまたはM5 Pro 64GB)1〜2人が同時に使う程度執務室の机上ベンダー保守契約。社内は窓口1人社内専用AIのPoC 50万円〜。部門導入まで含めて50〜150万円
30人(製造業・卸・サービス)Mac Studio 1台(M5 Max 128GB)数人が同時に使う。文書検索あり執務室の棚か小さな機器置き場ベンダー保守契約+社内の推進担当1人(兼務)部門導入150万円〜(Mac LPの部門向けプラン)。機材本体は別
100人(情シス数名あり)Mac Studio複数台、またはSMB向けワークステーション(RTX PRO系1枚)十数人が同時に使う。認証とログが必要機器置き場か小規模サーバールーム保守契約を土台に、日常監視は内製ワークステーション構成で約150万〜400万円(TCO記事の目安)。全社向け基盤構築は300万円〜

機材の読み方は1点だけ押さえてください。ローカルLLMの生成速度はメモリ帯域をモデルサイズで割った値が上限で、帯域が大きい機材ほど多人数に耐えます。M6 Mac mini(帯域170GB/s)で30B Q4のモデルを動かすと1人で毎秒約6.6トークン、M5 Max Mac Studio(614GB/s)なら70B Q4でも毎秒約11トークンです。30人規模で「数人が同時に使う」なら、Mac Studioの帯域が効きます。同時利用人数と帯域の関係は『ローカルLLMを社内サーバーとして置く前に確認する10項目』で整理しています。

100人規模でも、最初から複数台やGPUサーバーを買う必要はありません。1台で部署から始め、使われた用途と人数を見てから増やすほうが、機材の無駄も稟議の通りやすさも改善します。

「1台構成」の中身

30人規模の現実解である1台構成は、次の部品で成り立ちます。

部品中身中小企業での選び方
本体Mac mini(M6 32GB/M5 Pro 64GB)またはMac Studio(M5 Max 128GB)使いたいモデルの大きさで決める。8B〜14Bなら32GB、30Bなら64GB、70Bなら128GB
推論エンジンOllama、llama.cpp、vLLMなど。モデルを動かす土台試作はOllama、多人数の本番はvLLMが定石。1台構成の初期はOllamaで足りる
モデル日本語に強いオープンウェイトのモデル(Qwen3系、Gemma系、国産モデルなど)業務サンプルで3〜4種類を比べて決める。『日本語で使えるローカルLLMおすすめ2026』を参照
チャット画面Open WebUIなどのブラウザUI利用者はWindowsのブラウザから使える。アカウントを個人別に発行する
社内文書の検索RAG(文書を索引にして回答に使う)最初は無しで始め、使われる用途が見えてから足す
ネットワーク社内LANだけに接続。インターネットへは出さない情シスや保守会社に構成図を渡す。閉域の作り方は『生成AIをオフラインで使う2026』

設置で見落とされやすいのは、Macが本来1人用の端末として設計されている点です。共有サーバーとして使うなら、スリープの無効化、自動ログインと自動起動、再起動後にサービスが戻る設定、ストレージの暗号化、持ち出し防止の施錠が必要です。この10項目は『ローカルLLMを社内サーバーとして置く前に確認する10項目』にまとめています。

電気代は、GPUサーバーなら数百W〜kW級の消費電力に稼働時間と単価を掛けて積み上がりますが、Mac系は推論時でも数十W台です。低圧の小規模事業者では電力単価が実効20円台後半になることもあるため(新電力ネット、2026年3月時点)、1台構成なら電気代は月額の判断材料になりません。

何に使うと元が取れるか

ローカルLLMが元を取れるのは、「外に出せない情報を扱い、毎日大量に発生する定型文書業務」です。国内の導入事例8社を並べた『LLM導入事例・活用事例2026』でも、入口はすべて既存文書の照会・要約・下書きで、自律的なエージェントではありませんでした。中小企業で成立しやすい用途を挙げます。

用途扱う情報ローカルにする理由最初の1業務に向くか
議事録の要約・整形顧客名、取引条件、社内の人事会議の音声や逐語録は機密の塊向く。毎週発生し、効果が見えやすい
社内文書の検索と回答規程、マニュアル、過去の見積・提案書社外秘の文書を索引にする文書が整理されていれば向く。未整理なら後回し
メール・報告書の下書き顧客名入りの連絡、クレーム対応顧客情報を外部に送らない向く。営業・サポート部門で使われる
契約書・仕様書の翻訳取引先との契約、海外仕様書外部翻訳サービスに出せない文書海外取引がある会社なら向く。『ローカルLLMで翻訳する2026』
問い合わせの分類と一次回答案顧客からの問い合わせ本文個人情報を含む件数が多ければ向く
図面・帳票の読み取り設計図、請求書、手書き帳票取引先の機密精度の検証が先。『ローカルLLMでOCR』

逆に向かないのは、「最新の知識が必要な調査」「高度な推論を要する分析」「画像の生成」です。これらはクラウドの法人契約に任せ、ローカルは機密の定型業務に絞るのが、中小企業で最も費用対効果の高い配置です。

効果の測り方は単純で、1業務を選び、現状の1件あたりの所要時間と月の件数を控えておき、導入後に同じ指標を取ります。「1件30分の議事録整形が10分になれば、月20件で約6.7時間」のように、検証で確かめられる形にしておくと、稟議と効果報告が同じ数字で通ります。

売上や顧客のExcel・CSVを扱う場合の方式と限界は『ローカルLLMでExcel・CSVを分析する2026』、禁止したままの会社が解禁する手順は『生成AIを禁止した会社の次の一手2026』を参照してください。

運用は誰がやるか(内製・ベンダー保守・運用委託)

中小企業でローカルLLMが止まる最大の理由は、機材でも精度でもなく運用担当者です。『導入したローカルLLM、誰が維持するのか』で整理している運用タスクを再掲すると、平常月で月1〜2人日、モデルやランタイムの更新が重なる月で3〜5人日の工数がかかります。これを「片手間でできる」と見積もった稟議は、稼働後に必ず破綻します。

体制中身費用感30人規模での向き不向き
内製情シスや推進担当が監視・更新・障害対応を担う既存人件費の再配分(月1〜5人日相当)情シス専任がいない会社では不向き。兼務1人への丸投げは属人化する
ベンダー保守契約構築ベンダーと月額で保守契約。監視・更新・障害対応の範囲を契約で決める月額数万〜数十万円(構築費の10〜15%/年が目安)向く。社内は「使う人」と「窓口」だけで回る
運用込みの委託(マネージド)運用込みで外部に委ねる。国産オンプレLLMサービスなどサービス月額(規模による)向く。ただし完全な自社管理ではなくなるため、データの保管場所と境界を確認する

情シス専任のいない会社では、ベンダー保守契約か運用込みの委託が基本です。契約で必ず決めておくのは、監視だけか更新と障害対応まで含むか、脆弱性の修正が公表されたときに誰が何日以内に当てるか、モデルの入れ替えを年に何回行うか、の3点です。「ローカルだから安全」ではなく「更新し続けるから安全に保てる」という理解が前提で、閉域に置いても残るリスクは『ローカルLLMは本当に安全か』で整理しています。

社内側に残す役割は2つだけです。利用者からの問い合わせを受けて保守会社へつなぐ窓口と、「この業務で使ってよいか」を判断する責任者です。この2人を決めずに導入すると、使い方の質問が保守会社に直接流れて契約外の費用になるか、誰にも聞けずに使われなくなります。

費用の全体像(初期・月額・3年)

30人規模のMac 1台構成を例に、費用の構造を示します。金額は『ローカルLLM導入費用の相場2026』とMacで始める社内専用AI導入支援の範囲です。

区分項目目安
検証社内設置の実現性検証(貸出機材で2週間)30万円〜(税別・機材貸出料込み)
検証社内専用AIのPoC(Mac構成、実データで精度確認)50万円〜・2週間〜1ヶ月
初期機材本体(Mac mini/Mac Studio)機種による。M6 Mac miniは149,800円〜、M5 Max Mac Studioは419,800円〜
初期部門導入(構築・実データ登録・アカウント・研修・手順書)150万円〜
月額ベンダー保守契約構築費の10〜15%/年が目安
月額電気代Mac系は推論時でも数十W台。判断材料にならない水準
継続モデルの入れ替えと再評価数ヶ月ごとに発生。保守契約に含めるか確認

3年で見るときの注意は2つあります。1つは、機材の償却期間をモデルの世代交代に合わせることです。オープンモデルは半年単位で世代交代するため、5年償却で計画すると途中で陳腐化します。もう1つは、人件費を入れることです。『オンプレLLMは本当に安いのか』では、専任0.3人でも年250万円前後の運用人件費がかかると試算しており、単一GPUサーバーではハード代を超えることもあります。1台構成で保守を委託すれば、この人件費を保守月額に置き換えられます。

初期費用の一部に補助金が使える場合もあります。ただしIT導入補助金は登録されたITツールしか対象にならないという落とし穴があり、ハードウェアを含む構築ではものづくり補助金や省力化投資補助金のほうが現実的です。制度ごとの向き不向きは『ローカルLLM構築に補助金は使えるか』にまとめています。補助金ありきで構成を決めないことが原則です。

クラウドの法人契約で足りる会社と、足りない会社

ローカルLLMの導入支援をしている立場で書きますが、不要な会社に勧めることはしません。『生成AIの情報漏洩対策2026』で示している判定条件を、中小企業向けに言い換えます。

クラウドの法人契約で足りる会社

  • 扱うデータの大半が社内情報の一般区分で、法人契約で「学習に使わない」と保持期間を確認できる
  • 利用者が少なく、機材と保守契約を抱えるより法人契約の月額のほうが安い
  • 最新モデルの性能が業務に直結し、オープンウェイトのモデルでは精度が足りない

ローカルLLMが必要になる会社

  • 取引先との契約や業界のガイドラインで、データの社外送信や外部保管そのものが禁止されている
  • 学習に使わない契約があっても、「事業者の従業員がアクセスし得る」状態を許容できない
  • 閉域で完結する必要があり、インターネット接続自体が制限されている

多くの中小企業は、この両方に当てはまる業務を持っています。その場合の現実解は併用です。顧客情報や取引先の機密を扱う業務だけをローカルに載せ、一般的な文章作成や調査は法人契約のクラウドで行います。『オンプレLLMは本当に安いのか』の判断フレームでも、利用量が少なく機密度が高く運用人材がいない会社には「機密のみローカル」のハイブリッドが示されています。

併用で大切なのは、どの業務をどちらで行うかを一覧にして社員に配ることです。一覧が無いと、社員は迷った末に慣れた個人アカウントへ戻ります。

事故の直後に慌てて買わないための順番

事故や取引先からの指摘の直後は、「とにかく機材を買って閉じた環境を作ろう」という判断になりがちです。買ってから「置けない」「遅い」「使われない」と分かる失敗を避けるため、次の順番で進めてください。

段階問い期間費用成果物
1. 社内設置の実現性検証うちのオフィスに置いて回せるか2週間30万円〜(税別・機材貸出料込み)可・条件付き可・不可の判定、推奨構成と概算、設置と運用の条件
2. ミニ検証(社内専用AIのPoC)自社の文書でどのモデルがどこまで使えるか2週間〜1ヶ月50万円〜(Mac構成)業務サンプルでの精度、使う用途と使わない用途の線引き
3. 1台導入(部門導入)1部署で実際に業務に使えるか1〜3ヶ月150万円〜+機材稼働する社内専用AI、アカウント、手順書、保守契約
4. 広げる他部署や文書検索へ広げるか稼働後に判断使われた用途の分だけ効果測定の数字と次の稟議

段階1は、機材を買わずに貸出機材で判定します。社内設置の実現性検証では、DGX SparkやMacを貴社のオフィスに設置して2週間検証し、貸出機は社内LANだけに接続してインターネットへは出しません。返却時にはストレージを完全に消去し、消去の記録を渡します。機材のみの短期貸出(1週4.5万円〜・税別)もあり、貸出料は次の段階の費用や機材購入に充当されます。

段階2では、社内の実データ10〜30件と「こう答えてほしい」という正解データを社内で用意します。これを社内で作ると外注工数が減り、評価の質も上がります。段階ごとに出口基準を決めておく考え方は『ローカルLLM PoCの費用・期間・進め方』で扱っています。

並行して、生成AIの利用ルールと相談窓口を文書にして配ります。経済産業省と総務省の「AI事業者ガイドライン」は中小企業にも参考になる上位のルールですが、社員向けには「何を入れてよいか」「迷ったら誰に聞くか」「入れてしまったらどこに報告するか」の3点が書かれた1枚で足ります。

導入前チェックリスト

機材の見積もりを取る前に、次の項目を埋めてください。埋まらない項目があれば、その項目が最初に片づけるべき課題です。

  • ローカルLLMを検討する動機(取引先の要求・事故への不安・公式ルートの不在)を1つに特定した
  • 最初の1業務を決め、現状の1件あたりの所要時間と月の件数を控えた
  • その業務で扱う情報が、クラウドの法人契約では扱えない区分だと確認した
  • 同時に使う人数を数え、1台構成で足りるか判断した
  • 置き場所・電源・施錠・ネットワークの接続範囲を確認した(設置チェック10項目)
  • 運用の担当(ベンダー保守契約か運用込みの委託か)と、社内の窓口1人・責任者1人を決めた
  • 保守契約に、脆弱性修正の期限とモデル入れ替えの回数が含まれているか確認した
  • 検証費用と本番費用を分け、今回承認を求める範囲を検証費用だけにした
  • 社員向けの利用ルール1枚と相談窓口を用意した
  • 機材を買う前に、貸出機材で社内設置の実現性を確かめる段取りにした

まとめ

  • 中小企業がローカルLLMを検討する動機は、取引先の要求・事故への不安・公式ルートの不在の3つです。会社導入16.2%に対し個人利用込みの活用は32.4%という調査があり、管理外の利用は相当量あります
  • GPUサーバー・専任担当・RAG基盤を前提にした大企業向け構成は30人規模では崩れます。現実解はMac 1台を社内LANだけにつないだ1台構成で、PoCから部門導入までの目安は50〜150万円です
  • 元が取れる用途は、議事録要約・社内文書検索・メール下書き・翻訳のような機密で定型の文書業務です。最新知識や高度な推論が要る業務はクラウドの法人契約に任せ、併用します
  • 運用は情シス専任のいない会社ではベンダー保守契約か運用込みの委託が基本で、社内には窓口1人と責任者1人を残します。平常月1〜2人日、更新月3〜5人日の工数をゼロにしないでください
  • 事故の直後に機材を買わず、社内設置の実現性検証(2週間・30万円〜)→ミニ検証→1台導入の順で進めれば、置けない・使われないという失敗を避けられます

よくある質問

Q. 従業員30人の会社にローカルLLMは過剰投資ではありませんか?

扱うデータ次第です。社内情報の一般区分が中心で、法人契約のクラウドで学習利用なしと保持期間を確認できるなら、クラウドで足ります。取引先との契約や業界のガイドラインでデータの社外送信が禁止されている業務があるなら、その業務だけをローカルに載せる併用構成が現実的です。Mac 1台構成ならPoCから部門導入までで50〜150万円が目安で、GPUサーバーを構える構成とは桁が違います。

Q. 情シスがいなくても運用できますか?

できますが、運用をゼロで見積もらないことが条件です。平常月で月1〜2人日、モデルやランタイムの更新月で3〜5人日の工数が発生するため、情シス専任のいない会社ではベンダー保守契約か運用込みの委託で回します。社内には利用者の問い合わせを受ける窓口1人と、業務での使い方を判断する責任者1人を残してください。

Q. 機材は何を買えばよいですか?

使いたいモデルの大きさと同時に使う人数で決めます。8B〜14Bクラスなら32GBのMac mini、30Bクラスなら64GBのM5 Pro Mac mini、70Bクラスや数人の同時利用なら128GBのM5 Max Mac Studioが目安です。生成速度はメモリ帯域で決まるため、同時利用が多いほど帯域の大きい機種が向きます。買う前に貸出機材で社内設置の実現性を確かめると、機種選定を外しにくくなります。

Q. 最初にどの業務から始めるべきですか?

外に出せない情報を扱い、毎日または毎週発生する定型文書業務です。議事録の要約・整形、顧客名入りのメールや報告書の下書き、契約書や仕様書の翻訳が代表例です。現状の1件あたりの所要時間と月の件数を控えておき、導入後に同じ指標で効果を測ります。社内文書の検索は、文書が整理されていれば向きますが、未整理なら後回しにします。

Q. クラウドのAIと併用してもよいですか?

併用が中小企業の現実解です。顧客情報や取引先の機密を扱う業務はローカル、一般的な文章作成や調査は法人契約のクラウドと分けます。大切なのは、どの業務をどちらで行うかを一覧にして社員に配ることです。一覧が無いと社員は迷った末に個人アカウントへ戻り、ローカルを入れた意味が薄れます。

Q. 事故が起きた直後に、すぐ導入すべきですか?

機材をすぐ買うのは避けてください。先にやるのは、社員向けの利用ルール1枚と相談窓口の設置、そして貸出機材による社内設置の実現性検証(2週間・30万円〜・税別)です。置けるか・何を買うべきかの判定が出てから、ミニ検証で自社の文書での精度を確かめ、1部署への導入へ進みます。この順番なら、買ってから置けない・使われないという失敗を避けられます。

主な参考資料: 商工中金「中小企業設備投資動向調査(2026年1月)付帯調査」、帝国データバンク「生成AIの活用に関する企業アンケート」、新電力ネット「電気料金単価の推移」、総務省・経済産業省「AI事業者ガイドライン(第1.2版)」

TodoONadaでは、情シス専任のいない中小企業向けに、Mac 1台から始める社内専用AIの導入と、機材を買う前の社内設置の実現性検証(30万円〜・税別・2週間・機材貸出料込み)を行っています。機材のみの短期貸出(1週4.5万円〜・税別)もあり、貸出料は次の段階の費用や機材購入に充当します。「うちの規模でローカルLLMは要るのか、クラウドの法人契約で足りるのか」という判定のご相談だけでも歓迎します。


この記事に関連するサービス

TodoONada株式会社では、機密データを外部に出さないローカルLLMの導入支援を行っています。

導入・開発のご相談はお問い合わせからお気軽にどうぞ。検討段階のご相談も歓迎です。

出典・参照

技術ブログ一覧へ戻る