ローカルLLM国内導入事例2026。8社から見える共通パターン

Q: 日本でローカルLLMを導入している企業・組織にはどこがありますか？

公表事例として、あおぞら銀行（neoAI）、常陽銀行（Athena Technologies）、織田病院（オプティム）、三重大学病院（NTT西日本・tsuzumi）、那須赤十字病院（リコー）、東京通信大学（NTT東日本・tsuzumi）、デジタル庁「源内」、パナソニックホールディングス（ストックマーク）の8件があります。金融・医療・教育・行政・製造と規制の強い業界が先行しています。

Q: ローカルLLMの導入効果はどのくらいありますか？

公表値では、織田病院が退院時看護サマリー作成時間を6か月運用で54.2%削減、あおぞら銀行が難問応答精度を従来比130%向上（内部ベンチマーク）、デジタル庁「源内」が3か月で職員約8割・のべ6.5万回超の利用と報告されています。いずれもベンダー・導入先の公表値であり、独立した第三者検証ではありません。

Q: なぜクラウドAIではなくローカルLLMを選ぶのですか？

8事例に共通する動機は、金融庁・FISC基準、3省2ガイドライン、機密性2情報といった規制・契約でデータの持ち出し自体が禁じられていることです。法人プランやAPIでは入力データは契約上学習に使われないため、「学習されるから」ではなく規制対応が本当の理由です。

Q: ローカルLLMにはどのモデルが使われていますか？

tsuzumiが最多で、ほかにLlama 2ベースのOPTiM AI、リコー製700億パラメータLLM、OSSベースの「あおぞらLLM」、Stockmark-LLM-100bベースの独自LLMが使われています。いずれも既存モデルに自社データで追加学習・RAGを組み合わせる構成で、フルスクラッチ開発の事例はありません。

Q: 社内向けChatGPT（Azure OpenAIの社内チャット）はローカルLLMに含まれますか？

本記事の線引きでは含めていません。セキュアテナントで動く内製チャットはデータを学習に使わせない広義の閉域利用には入りますが、推論はクラウド事業者の環境で実行されます。住友化学「ChatSCC」や旭鉄工のカイゼンGAIなどはこのため対象外です。

Q: ローカルLLMの導入は何から始めればよいですか？

8事例の共通パターンは、外に出せないデータで毎日大量に発生する文書業務を1つ選び、効果を数値で測定してから広げることです。全社一斉導入ではなく、1業務・小さな効果検証・段階拡大という順路が定石です。

国内でローカルLLM（自社・閉域環境で推論するLLM）を動かしている組織は、実は同じことをしています。金融・医療・教育・行政・製造の8事例を同じ枠で並べると、入口はほぼ「社内文書の照会・要約」で、モデルはほぼ「既存の国産LLMかOSSを自社データで追加学習」した構成です。派手な自律エージェントを最初から回している事例は、公表ベースでは見当たりません。本記事では8事例を統一フォーマットで構造化し、そこから自社への当てはめ方までを解説します。

この記事の要点

国内ローカルLLMの公表事例8件（金融2・医療3・教育1・行政1・製造1）の用途は、ほぼ「社内文書の照会・要約・生成」に収れんしています

公表されている効果の例は、織田病院の退院時看護サマリー作成時間54.2%削減、あおぞら銀行の難問応答精度130%向上（内部ベンチマーク）、デジタル庁「源内」の3か月で職員約8割・のべ6.5万回超の利用です

モデルは既存の国産LLM（tsuzumiが最多）やOSSを自社データで追加学習・RAG化するのが定石で、フルスクラッチ開発の事例は公表ベースで見当たりません

ローカルLLMが選ばれる理由は「クラウドが危ない」からではなく、規制・契約でデータの持ち出し自体が禁じられているためです

成功事例は1業務に絞って効果を測定してから拡大しています

事例の選定基準（「推論を自社環境で動かす」事例だけを扱います）

ローカルLLMの導入事例は、単体で読むと「すごい会社の特別な話」に見えてしまいます。そこで本記事では、8事例をすべて次の5項目で構造化します。

動機（なぜクラウドAPIではなかったのか）
用途（どの業務に当てたか）
構成（モデル・パートナー・稼働環境、公表されている範囲）
効果・状態（数値と、実証／本番の別）
出典（報道または公式発表へのリンク）

数値はすべて出典付きで扱い、一次情報・報道で確認できなかった事例は載せていません。効果の数字はベンダーまたは導入先の公表値であり、独立した第三者検証ではない点も、そのつど明記します。

もう一つ、線引きを最初に置きます。ここで扱うのは「推論そのものを自社サーバーや閉域環境で動かす」ローカルLLMに限ります。社内向けChatGPT（Azure OpenAIなどのセキュアテナントで動く内製チャット）は「データを外に出さない」という広義には入りますが、推論はクラウド事業者の環境で実行されます。住友化学「ChatSCC」や旭鉄工のカイゼンGAIのようなChatGPTベースの社内AIは、この線引きでは本記事の対象外としました。

そもそも「クラウドAIを使うと入力データが学習される」という前提自体が、法人プランやAPIでは契約上あてはまりません。学習利用の線引きは「Claudeの学習利用ポリシー（法人／個人の線引き）」に整理しています。ローカルLLMを選ぶ本当の理由は「学習されるから」ではなく、後述するとおり「規制・契約でデータの持ち出し自体が禁じられているから」にあります。

国内ローカルLLM導入事例8社の一覧表（金融・医療・教育・行政・製造）

まず全体像を俯瞰します。8事例のうち金融が2、医療が3、教育・行政・製造が各1です。用途は事務規定照会・稟議書・退院サマリー・授業Q&A・行政文書・設計資料検索と幅がありますが、抽象化すると「社内にある文書を、社内から出さずに検索・要約・生成する」に収れんします。

組織	業界	パートナー / モデル	主な用途	公表効果・状態
あおぞら銀行	金融	neoAI / OSSベース「あおぞらLLM」	事務規定管理業務の照会（RAG）	難問応答の精度が従来比130%向上（内部ベンチ）
常陽銀行	金融	Athena Technologies / ローカルLLM	稟議書・報告書生成、融資資料、金融翻訳など5業務	ネット完全分離環境で実証（2025年7月開始）
織田病院	医療	オプティム / OPTiM AI（Llama 2ベース）	電子カルテ連携・退院看護サマリー自動作成	サマリー作成時間54.2%削減、2025年1月に製品版
三重大学病院	医療	NTT西日本 / tsuzumi	退院サマリー作成支援（追加学習）	院内セキュア環境で実証、2024年11月連携協定
那須赤十字病院	医療	リコー / 700億パラメータLLM＋Dify	退院サマリーの要約・ドラフト生成	オンプレGPUで運用、2025年4月に事例公表
東京通信大学	教育	NTT東日本 / tsuzumi・tsuzumi 2	授業Q&A、教材・試験作成、履修相談	学内にデータを留める学内LLM基盤
デジタル庁「源内」	行政	内製環境＋国産LLM7件	行政文書作成、職員向け対話AI	機密性2情報対応、入力は学習に不使用
パナソニックHD	製造	ストックマーク / 独自1000億パラメータLLM	業務マニュアル・設計資料の検索、ノウハウ活用	社内データで追加学習、エッジ活用を視野

業界別の事例詳細（動機・構成・公表効果）

あおぞら銀行 × neoAI（金融）

動機は、金融の機密情報を扱う照会業務で、クラウドAPI型では届かないセキュリティ水準を確保することです。あおぞら銀行とneoAIは、行内データで学習しオンプレミスで運用する金融特化LLM「あおぞらLLM」（仮称）を共同開発しました。用途は法人・リテール業務の事務規定管理業務の照会で、行内固有用語や融資業務の体系を正しく踏まえたRAGを狙っています。オープンソースLLMをベースに継続事前学習を行い、内部ベンチマークでは難易度の高い問いへの応答精度が従来比130%向上したと公表されています（neoAI公表の内部評価値）。出典: neoAI プレスリリース、FinBridge。

常陽銀行 × Athena Technologies（金融）

動機は、機密情報を外部に送らずに生成AIを使うことです。常陽銀行とAthena Technologiesは、インターネットから物理的に完全分離したシステム上でローカルLLMを稼働させる実証を2025年7月に開始しました。用途は稟議書・報告書などの定型文書生成、融資案件の資料作成、金融・会計分野の翻訳など5業務で、複数のAIエージェントを相互連携させて回答精度を高める構成です。現在は、非構造化データ処理の作業時間短縮とヒューマンエラー削減を測定する段階にあります。出典: 常陽銀行 IR資料（PDF）、PR TIMES。

織田病院 × オプティム（医療）

動機は、入院患者の要配慮個人情報を院外に出せないことです。佐賀県の織田病院（131床、医師34名）は、院内にGPUサーバー（HP Z4 Rack G5 Workstation＋NVIDIA GPU）を置き、Llama 2をベースにしたオプティムの「OPTiM AI」をオンプレミスで稼働させました。用途は電子カルテと連携した退院時看護サマリーの自動作成で、カルテ画面のボタンから1クリックで下書きを生成します。2024年4〜10月の6か月運用で退院時看護サマリーの作成時間を54.2%削減し、2025年1月に製品版へ到達しました（導入先・ベンダー公表値）。電子カルテと連携したオンプレLLMの臨床導入としては国内初と報じられています。出典: IT Leaders、日経クロステック、HP Tech&Device。

三重大学病院 × NTT西日本（医療）

動機は、医師の文書作成負担を減らしつつ、カルテの個人情報を院外に出さないことです。三重大学とNTT西日本は2024年11月に医療DXの包括連携協定を締結し、院内ネットワーク内のセキュア環境に軽量LLM「tsuzumi」のサーバーを置き、電子カルテと接続しました。退院サマリー作成支援に特化した追加学習で、専門用語の多いカルテへの対応力を高めています。個人情報を外に出さずにLLMを使える点が、軽量な国産モデルを選んだ理由です。出典: 三重大学 MUDX Initiative。

那須赤十字病院 × リコー（医療）

動機は前の2例と同じく、患者情報を院外に出さないことです。栃木県の那須赤十字病院は、オンプレミスのGPUサーバーにリコー製700億パラメータのLLMと生成AIアプリ開発基盤「Dify」を載せ、電子カルテと連携して退院サマリーの要約・ドラフトを自動生成しています。この構成はリコーが「RICOH オンプレLLMスターターキット」として2025年4月に製品化しており、医師は生成された下書きをもとにサマリーを仕上げます。医療で独立に3件が、いずれも退院・看護サマリーに収れんしている点は後述します。出典: リコープレスリリース、クラウド Watch。

東京通信大学 × NTT東日本（教育）

動機は、学生・教職員のデータを学内に留めるという要件です。通信制の東京通信大学はNTT東日本と連携し、クラウド依存のない国産LLMを核とする学内LLM基盤を整備しました。2024年9月にtsuzumiを教育現場へ日本で初めて導入する連携協定を結び、2025年10月には次世代の「tsuzumi 2」の導入を決定しています。用途は授業Q&Aの高度化、教材・試験作成支援、履修・進路相談のパーソナライズで、対話を重ねて学生の思考力を引き出す使い方を志向しています。出典: 東京通信大学ニュース、NTT東日本プレスリリース。

デジタル庁「源内」（行政）

動機は、機密性2情報を扱いながら職員が生成AIを使えるようにすることです。デジタル庁が内製した生成AI利用環境「源内」は、入力データを学習に使わず、機密性2情報を取り扱えるセキュアな環境を提供します。2025年5月の運用開始から3か月で、デジタル庁の全職員約1,200人のうち約950人（約8割）が利用し、利用回数はのべ6.5万回超に達しました。国内LLMを対象にした公募には15件が応募し、審査を経て7件が選定されています。行政文書作成や職員向け対話AIなどの用途で、全府省庁の約18万人規模へ広げる計画です。単一の巨大モデルに賭けず、複数の国産LLMを選定して使い分ける調達姿勢が特徴です。出典: Ledge.ai、i Magazine。

パナソニックホールディングス × ストックマーク（製造）

動機は、業務マニュアルや設計資料といった蓄積データを外に出さず、かつ工場のような潤沢でない計算資源でも動かすことです。パナソニックHDは、ストックマークがフルスクラッチで開発した「Stockmark-LLM-100b」をベースに、グループ独自データで追加学習した1000億パラメータの自社専用LLMを構築すると2024年7月に発表しました。用途は社内情報に関する質問検索や過去ノウハウの検索です。性能を保ったまま小型化・高速化し、工場などのエッジ環境で使うことも視野に入れています。単なる社内チャットではなく「グループ固有知識を学習させた自社専用モデル」を目指す点が、他の内製チャット導入と一線を画します。出典: 日経クロステック。

8事例から抽出できる4つの共通パターン

8事例を並べると、業界を越えて4つのパターンが繰り返し現れます。

パターン1: 入口は「社内文書の照会・要約」であり、自律エージェントではありません。 事務規定照会、稟議書生成、退院サマリー、授業Q&A、行政文書、設計資料検索。すべて既存文書を検索・要約・生成するRAG的な用途で、複数エージェントの自律協調は常陽銀行のように一部で始まっている程度です。派手なユースケースからではなく、毎日大量に発生する定型文書業務から入っています。

パターン2: 規制・機密が動機の業界が先行しています。 金融（金融庁・FISC、顧客情報）、医療（3省2ガイドライン、要配慮個人情報）、行政（機密性2）、教育（学生データ）。いずれも「データを外に出せない」ことが制度で決まっている領域です。ローカルLLMは技術的な好みではなく、規制対応の帰結として選ばれています。「クラウドは危ない」からではなく「そもそも持ち出しが禁じられている」から、という順序が正確です。

パターン3: 特定業務に絞り、効果測定をしてから広げています。 織田病院は退院サマリー1業務に絞って6か月運用し、54.2%削減という数字を出してから製品版へ進みました。源内も3か月の試用で利用率8割を確認してから全府省庁展開へ向かっています。全社一斉導入ではなく、1業務・小さな効果検証・段階拡大という順路をたどっています。ここを飛ばして全社展開すると、PoCで費用を溶かすことになりかねません。始める前の撤退基準は『ローカルLLMのPoCで300万円溶かす前に。始める前に決める撤退基準』で扱っています。

パターン4: モデルは「既存の国産LLM／OSS×自社データ」で、フルスクラッチ開発はしていません。 tsuzumi（三重大・東京通信大・源内の一部）、Llama 2（織田病院）、リコー製LLM（那須赤十字）、OSSベース（あおぞら）、Stockmark-LLM-100b（パナソニックHD）。自前でLLMを一から作った事例は無く、既存モデルを追加学習・RAGで自社化するのが定石です。そのため内製力の有無は「モデルを作るか否か」ではなく「ベンダーとどこまで協業するか」に現れます。純国産モデルではtsuzumiが最多で、日本語性能とデータ持ち出し要件が選定理由になっています。国産オンプレLLMの選び方は『国産オンプレLLM比較2026。tsuzumi・PLaMo・cotomi・Takaneをどう選ぶか』で整理しています。

自社に当てはめる3つの質問

事例をなぞるのではなく、自社の入口を見つけるための3つの質問です。

外に出せないデータで、繰り返し発生する文書業務はどれか。 退院サマリー、稟議書、事務規定照会のように「機密」かつ「毎日大量」の交点にある業務が最初の候補です。件数が多いほど工数削減の効果が数字で見えます。
その業務は、検索・要約・下書き生成で8割方片づくか。 ローカルLLMが得意なのはRAGと文書生成です。自律的な判断や外部システム操作が主役の業務は、入口には向きません。
モデルを自作せず、既存の国産LLM／OSS＋自社データ＋RAGで足りるか。 「ほぼ足りる」というのが8事例の答えです。足りない部分は追加学習で埋める前提で、パートナー選定の話に進みます。

業界ごとの規制・構成の勘所は、金融は『金融機関のローカルLLM導入。FISC基準・金融庁の考え方と国内事例』、医療は『医療機関のローカルLLM。3省2ガイドラインと院内オンプレAIの現在地』、自治体は『自治体のローカルLLM。LGWAN閉域・DS-920・「源内」から読む現実解』、製造は『製造業のローカルLLM。設計データと営業秘密を外に出さないAI活用』、士業は『士業のローカルLLM。守秘義務と機密文書を外に出さないAI実務』で個別に扱っています。全体像は常設ガイド『[2026年7月更新] 社内データを外に出さずに生成AIを使う全手法と費用』を参照してください。

導入検討前チェックリスト

8事例の共通パターンを、自社の検討に落とし込むためのチェックリストです。着手前に次の項目が埋まっているかを確認してください。

外に出せないデータで、繰り返し発生する文書業務を特定した（「機密×毎日大量」の交点。退院サマリー・稟議書・事務規定照会が典型です）
その業務が検索・要約・下書き生成で8割方片づくことを確認した（自律的な判断や外部システム操作が主役の業務は入口に不向きです）
既存の国産LLM／OSS＋自社データ＋RAGで足りるかを検討した（8事例にフルスクラッチ開発はありません）
1業務に絞った効果測定の方法を決めた（例: 織田病院は6か月運用で作成時間54.2%削減を測定してから拡大）
拡大判断の前に撤退基準を決めた（決め方はこちら）
自社業界の規制要件（金融庁・FISC、3省2ガイドライン、機密性2など）を確認した

まとめ

国内のローカルLLM導入は金融・医療・行政・教育・製造で進み、入口はほぼ「社内文書の照会・要約・生成」に収れんしています
選ばれる理由は「クラウドが危ない」ではなく、規制・契約でデータの持ち出しが禁じられていることです。学習利用の線引きとは別問題です
モデルは既存の国産LLM（tsuzumiが最多）やOSSを自社データで追加学習・RAGするのが定石で、フルスクラッチ開発の事例は公表ベースで見当たりません
成功事例は1業務に絞り、効果測定（例: 退院サマリー作成54.2%削減）を経てから拡大しています
効果の数値はベンダー・導入先の公表値であり、独立検証ではない点は割り引いて読む必要があります
自社の入口は「外に出せない × 毎日大量に発生する文書業務」の交点から探します

よくある質問

Q. 日本でローカルLLMを導入している企業・組織にはどこがありますか？

公表事例として、あおぞら銀行（neoAIと共同開発の「あおぞらLLM」）、常陽銀行（Athena Technologiesと実証）、織田病院（オプティム）、三重大学病院（NTT西日本・tsuzumi）、那須赤十字病院（リコー）、東京通信大学（NTT東日本・tsuzumi）、デジタル庁「源内」、パナソニックホールディングス（ストックマーク）の8件を本記事で整理しています。金融・医療・教育・行政・製造と、規制・機密要件の強い業界が先行しています。

Q. ローカルLLMは実際にどんな業務に使われていますか？

事務規定の照会、稟議書・報告書の生成、退院サマリーの自動作成、授業Q&A、行政文書作成、業務マニュアル・設計資料の検索などです。抽象化すると「社内にある文書を、社内から出さずに検索・要約・生成する」用途に収れんしており、自律エージェントを最初から本格的に回している事例は公表ベースでは見当たりません。

Q. ローカルLLMの導入効果はどのくらいありますか？

公表値では、織田病院が退院時看護サマリーの作成時間を6か月運用で54.2%削減、あおぞら銀行が難易度の高い問いへの応答精度を従来比130%向上（内部ベンチマーク）、デジタル庁「源内」が運用開始3か月で職員約8割・のべ6.5万回超の利用と報告されています。ただし、いずれもベンダーまたは導入先の公表値であり、独立した第三者検証ではない点は割り引いて読む必要があります。

Q. なぜクラウドAIではなくローカルLLMを選ぶのですか？

8事例に共通する動機は、金融庁・FISC基準、3省2ガイドライン、機密性2情報といった規制・契約により、データの持ち出し自体が禁じられていることです。「クラウドAIに入力すると学習される」という理由ではありません。法人プランやAPIでは入力データは契約上学習に使われないためです。業界別の要件は金融機関のローカルLLM導入や医療機関のローカルLLMで詳しく解説しています。

Q. ローカルLLMにはどのモデルが使われていますか？

tsuzumi（三重大学病院・東京通信大学・「源内」選定モデルの一部）が最多で、ほかにLlama 2ベースのOPTiM AI（織田病院）、リコー製700億パラメータLLM（那須赤十字病院）、OSSベースの「あおぞらLLM」（あおぞら銀行）、Stockmark-LLM-100bベースの独自LLM（パナソニックHD）が使われています。いずれも既存モデルに自社データで追加学習・RAGを組み合わせる構成で、フルスクラッチ開発の事例はありません。国産モデルの選び方は『国産オンプレLLM比較2026』を参照してください。

Q. 社内向けChatGPT（Azure OpenAIの社内チャット）はローカルLLMに含まれますか？

本記事の線引きでは含めていません。Azure OpenAIなどのセキュアテナントで動く内製チャットは「データを学習に使わせない」という広義の閉域利用には入りますが、推論はクラウド事業者の環境で実行されます。住友化学「ChatSCC」や旭鉄工のカイゼンGAIのようなChatGPTベースの社内AIは、このため対象外としています。

Q. ローカルLLMの導入は何から始めればよいですか？

8事例の共通パターンは、「外に出せない × 毎日大量に発生する文書業務」を1つ選び、効果を数値で測定してから広げることです。フェーズ別の費用感は『ローカルLLM導入費用の実額内訳』で解説しています。GPUサーバーでの本格構成はローカルLLM導入支援、小さく始めたい場合はMacで始める社内専用AI導入支援を参照してください。

主な参考資料: neoAI プレスリリース、常陽銀行 IR資料、IT Leaders（織田病院）、三重大学 MUDX Initiative、リコープレスリリース（那須赤十字病院）、東京通信大学ニュース、Ledge.ai（源内）、日経クロステック（パナソニックHD）。

TodoONadaでは、ローカルLLM／生成AIの導入判断からPoC・構築までを支援しています。まずは「外に出せない × 毎日発生する文書業務」を1つ選び、30万円・2週間のミニ検証で削減効果を数字にするところから始めることをおすすめしています。自社に当てはめた入口設計のご相談も承ります。

この記事に関連するサービス

TodoONada株式会社では、機密データを外部に出さないローカルLLMの導入支援を行っています。

ローカルLLM導入支援 — GPUサーバーでの本格構成。モデル選定からRAG構築・運用まで
Macで始める社内専用AI導入支援 — Mac 1台から始める社内専用AI。PoCから部門導入まで対応

導入・開発のご相談はお問い合わせからお気軽にどうぞ。検討段階のご相談も歓迎です。