日本語で使えるローカルLLMおすすめ2026年10月版。VRAM別の現実解

Q: 日本語に強いローカルLLMのおすすめは何ですか？

手元のVRAM別に選ぶのが現実的です。8〜12GBならQwen3.5-9B（日本語強化ならQwen3 Swallow 8B、完全国産ならllm-jp-4.1-8b-thinking）、16GBならGemma 4 12Bまたは約16GBに収まるgpt-oss-20B、24GBならQwen3.8-27B・Gemma 4 31B・Qwen3.6-35B-A3Bか国産基盤のELYZA-Thinking-1.0-llm-jp-4-33b、48GB以上ならgpt-oss-120BやQwen3.5-122B-A10Bなどの大型MoEが候補です（2026年10月時点）。最終判断は自社の日本語タスクでの検証をおすすめします。

Q: 日本語LLMの性能はどのベンチマークで比較すればいいですか？

第三者ベンチマークのNejumi Leaderboard 4が一次比較に使えます。総合順位ではなく、同じサイズ帯のモデル同士を自分の用途に対応するカテゴリ（生成・推論・コーディングなど）で比較します。ベンチ上位が自社業務で最良とは限らないため、最終判断は同じ日本語タスクを投げ比べる自社検証で行うのが確実です。

Q: ローカルLLMの日本語モデルは商用利用できますか？

モデルごとにライセンスが異なるため、必ず個別に確認が必要です。本記事で挙げたモデルでは、Qwen3.5／3.6／3.8・Gemma 4・gpt-oss・Qwen3 Swallow・GPT-OSS Swallow・llm-jp-4.1・ELYZA-Thinking-1.0-llm-jp-4がいずれもApache 2.0ライセンスで公開されています（2026年10月26日にモデルカードで確認）。Qwen3.8-Flash-Nextだけはqwen-community-1.0です。

日本語で使えるローカルLLMは、モデル名から選ぶと迷子になります。先に「どのVRAMで動かすか」を決め、そのサイズクラスの中で日本語向けの最有力を選ぶ——この順番なら迷いません。本記事では、各モデルの公開情報（モデルカードの諸元・ライセンス・公表ベンチマーク）に基づいて、VRAM別の現実解を2026年10月時点で整理します。初版は2026年7月に公開し、10月にQwen3.5〜3.8・Gemma 4・llm-jp-4.1・ELYZA-Thinking-1.0-llm-jp-4・Swallow v0.2系の公開を反映して推奨モデルを全面的に入れ替えました。

この記事の要点

日本語ローカルLLMは、モデル名からではなく「VRAM→サイズクラス→そのクラスの日本語最有力」の順で選ぶと迷いません

8〜12GBの定番はQwen3.5-9B。日本語強化ならQwen3 Swallow 8B、完全国産ならllm-jp-4.1-8b-thinkingが候補です

16GBはGemma 4 12Bか、MXFP4量子化で約16GBに収まるgpt-oss-20B（日本語強化版はGPT-OSS Swallow 20B）です

24GBがビジネス文書の実務ラインです。Qwen3.8-27B・Gemma 4 31B・Qwen3.6-35B-A3B（MoE）に加え、国産基盤のELYZA-Thinking-1.0-llm-jp-4-33bとllm-jp-4.1-33b-thinkingが候補になります

48GB〜/128GB統合メモリ機では、gpt-oss-120B・GPT-OSS Swallow 120B・Qwen3.5-122B-A10Bなどの大型MoEが選択肢です

推奨は各モデルの公開情報と公開ベンチ（Nejumi Leaderboard 4など）に基づく現実解です。最終判断は自社の日本語タスクでの投げ比べで行います

日本語ローカルLLMの選び方：VRAM→サイズクラス→最有力の順

日本語モデル選びは、次の順番で決めると迷いません。

手元のVRAM（GPUメモリ）を確認する（予算とVRAMの対応関係は『予算別ローカルLLM PC 2026。10万・30万・60万・100万円で何が動くか』を参照してください）
そのVRAMで動くサイズクラスを決める
そのクラスの中で、日本語向けの最有力を選ぶ

モデル名から入ると「話題のあれ」に引っ張られて、手元の環境に載らない・遅いモデルを選びがちです。器（VRAM）を先に決めるのが鉄則です（実行速度が何で決まるかは『ローカルLLMの速度はメモリ帯域で決まる。スペック表の正しい読み方』で解説しています）。

なお「日本語性能」は一枚岩ではありません。読解・生成の自然さ・敬語やビジネス文・知識量で得意不得意が分かれます。自分の用途で効く軸を意識して選ぶことが重要です。

また、ライセンスはモデルごとに異なります。商用利用の可否は導入前に必ず確認してください。本記事が扱うのはオープンウェイトのモデルです。オープンモデル全体の勢力図は『オープンLLM勢力図2026。中国勢の攻勢、OpenAIの参入、Metaの離脱』で、商用提供される国産オンプレLLM（tsuzumi・PLaMoなど）は『国産オンプレLLM比較2026』で扱っています。

VRAM別・日本語ローカルLLMおすすめ早見表

クラスごとの第一候補と対抗を一枚の表に整理します。

VRAM	クラス	第一候補	対抗・補足
〜8GB	〜4B	Qwen3.5-4B	Gemma 4 E4B。分類・下書き向け。日本語の細部は限界あり
8〜12GB	8〜12B	Qwen3.5-9B	Qwen3 Swallow 8B（日本語強化）、llm-jp-4.1-8b-thinking（国産）、Gemma 4 12B
16GB	12B〜20B級 / 小型MoE	Gemma 4 12B または gpt-oss-20B	GPT-OSS Swallow 20B（日本語強化）、Gemma 4 26B-A4B（MoE）
24GB	27〜35B級	Qwen3.8-27B	Gemma 4 31B、Qwen3.6-35B-A3B（MoE）、Qwen3 Swallow 32B、ELYZA-Thinking-1.0-llm-jp-4-33b、llm-jp-4.1-33b-thinking
48GB〜/128GB統合	大型MoE	gpt-oss-120B	GPT-OSS Swallow 120B、Qwen3.5-122B-A10B、Qwen3.5-397B-A17B

表のVRAMは4bit量子化（Q4相当）で動かす前提の目安です。パラメータ数×約0.6バイトに、KVキャッシュとOSの使用分を足して見積もっています（例: 27Bなら重みだけで約16GB）。2026年に入ってからの主な変化は、Qwenが3.5（2月）・3.6（4月）・3.8（8月）と世代を重ねて27Bクラスを主力に据えたこと、GoogleがGemma 4（3月）をApache 2.0で公開したこと、国産ではNIIのllm-jp-4.1（9月）とELYZA-Thinking-1.0-llm-jp-4（10月）が出たことです。前版で挙げたQwen3-8B／14B／32Bは、後継のQwen3.5／3.6／3.8に置き換えました。

各クラスの選び方と代表モデル

〜4B（8GB）：軽量タスクに割り切る

このクラスは、分類・タグ付け・短い下書きに割り切って使います。日本語の細かな自然さや敬語は上位クラスに譲りますが、大量処理やエッジ用途には十分です。第一候補はQwen3.5-4B（Apache 2.0）です。Qwen3.5は201言語に対応し、画像入力もできるVision-Languageモデルになりました。対抗はGemma 4 E4B（実効4.5B、テキスト・画像・音声入力、Apache 2.0）です。

8〜12B（8〜12GB）：個人利用の定番

日常使いの主力クラスです。汎用ならQwen3.5-9B（Apache 2.0、ネイティブ26万トークンのコンテキスト）が第一候補です。日本語をより効かせたいなら、Qwen3-8Bに日本語の継続事前学習と強化学習を施したQwen3 Swallow 8B（RL v0.2、Apache 2.0、2026年2月公開）が候補になります。完全国産にこだわるなら、NIIのllm-jp-4.1-8b-thinking（Apache 2.0、2026年9月公開）があります。NIIのモデルカードでは、日本語MT-Benchでgpt-4o-2024-08-06を上回ったと公表されています（開発元の公表値で、第三者検証ではありません）。12GBあればGemma 4 12B（Q4で約7GB）も載ります。

16GB：12B級の本命と、MoEという裏技

このクラスの本命はGemma 4 12B（Apache 2.0、26万トークンのコンテキスト、テキスト・画像・音声入力）です。もう1つの選択肢がgpt-oss-20Bで、MXFP4量子化で約16GBに収まります。MoE（Mixture of Experts）構造で活性パラメータが少ないため、20B級の知能を軽快に動かせるのがポイントです。日本語強化版のGPT-OSS Swallow 20B（RL v0.1、Apache 2.0、2026年2月公開）もこのクラスの選択肢に入ります。Gemma 4 26B-A4B（総25.2B・活性3.8BのMoE）はQ4で15GB前後になり、16GBでは余裕がありません。

24GB：ビジネス文書の実務ライン

ビジネス文書で実用になるクラスです。汎用の第一候補はQwen3.8-27B（Apache 2.0、2026年8月公開）です。密モデルで、thinkingモードが既定で有効、画像入力にも対応し、Q4で約16GBに収まります。対抗はGemma 4 31B（Apache 2.0、Q4で約18GB）と、MoEのQwen3.6-35B-A3B（活性3B、Q4で約20GB。生成が速い）です。

国産基盤のモデルもこのクラスに揃いました。ELYZA-Thinking-1.0-llm-jp-4-33b（llm-jp-4-33bベース、Apache 2.0、2026年10月公開）とllm-jp-4.1-33b-thinking（NII、Apache 2.0、2026年9月公開）です。ELYZAのモデルカードに載る日本語ベンチマーク平均（開発元の公表値）では、Gemma 4 31Bが68.88、Qwen3.5-27Bが66.05、ELYZA-Thinking-1.0-llm-jp-4-33bが62.18で、国産基盤はまだ海外勢に届いていません。ただし日本語の多段推論（JEMHopQA）やJFBenchでは同モデルが最上位と公表されており、用途によって逆転します。学習データまで含めて国内で管理されたモデルが必要な案件では、この2本が現実的な選択肢です。日本語を効かせたい汎用枠ではQwen3 Swallow 32B（RL v0.2）も引き続き候補です。tool callingを要するエージェント用途にも耐えるのがこのクラスです（モデル選びの観点は『ローカルLLMのtool calling。エージェント実用の鍵はモデル選び』で詳しく扱っています）。

前版で挙げたELYZA-Thinking-1.0-Qwen-32B（Qwen2.5ベース）とcalm3-22bは、上記の新世代に置き換えました。

48GB〜/大型MoE：品質最優先

複数GPUや大容量統合メモリ機で、最高品質を狙うクラスです。gpt-oss-120B、その日本語強化版のGPT-OSS Swallow 120B（RL v0.1）、Qwen3.5-122B-A10B（活性10B）、128GB機ならQwen3.5-397B-A17B（Q4で約240GB、256GB以上の機材向け）などが候補になります。Qwen3.8-Flash-Next（総125B・活性6B）はQwen4の基盤となるアーキテクチャの実験的プレビュー版で、ライセンスもApache 2.0ではなくqwen-community-1.0のため、本番用途では公式版の公開を待つのが安全です。MoEであれば大容量統合メモリ機でも動かせるため、GPUサーバーだけでなくMacの統合メモリ構成も土俵に上がります（ハードウェアの選び方は『ローカルLLMはMacかRTXか。速度・容量・電気代の三軸で比較』を参照してください）。

日本語LLMベンチマークの読み方と自社検証

モデルの日本語性能は、第三者ベンチマークで一次比較できます。

Nejumi Leaderboard 4で、同じサイズ帯のモデル同士を比較します
総合順位ではなく、自分の用途に対応するカテゴリ（生成・推論・コーディングなど）を見ます

ただし、ベンチマーク上位のモデルが自社業務で最良とは限りません。本記事の推奨は公開ベンチとモデル諸元に基づく現実解であり、最終判断は自社データでの検証で行うのが確実です。同じ日本語タスク（ビジネスメール下書き・議事録要約・帳票の読み取りなど）を候補モデルに投げ比べ、出力の質を自分の目で確かめてください。

用途別の補足：コーディング・RAG・創作

コーディング: 汎用モデルよりコーディング特化モデルが効く領域です（コーディングエージェントをローカルで動かす話は『Claude Codeをローカルモデルで動かす。Anthropic互換APIの現在地と限界』で扱っています）
長文要約・RAG: コンテキスト長と、長文での実効精度に注意が必要です（RAGの構成は『社内文書RAGの作り方2026。パース・埋め込み・リランクの最新構成』を参照してください）
創作・検閲なし系: 本記事のスコープ外です（検閲なしモデルの仕組みと企業利用のリスク、ChatGPT・ClaudeのBAN対策との関係は『検閲なし（uncensored）モデルの現実2026』で整理しています）

会社で複数人が使う前提なら、モデルの次に決めるのは置き方と運用です。全体の工程は『オンプレLLMの構築手順2026』、Mac 1台で共有する構成は『Mac Studioを社内AIサーバーにする2026』にまとめています。

まず1つ選ぶなら：迷ったらQwen系を起点に

迷ったら、手元のVRAMに合わせてQwen系を起点にするのが無難です。

手元のVRAM	まず選ぶモデル
8〜12GB	Qwen3.5-9B（日本語強化ならQwen3 Swallow 8B）
16GB	Gemma 4 12B または gpt-oss-20B
24GB	Qwen3.8-27B（国産基盤が必要ならELYZA-Thinking-1.0-llm-jp-4-33b）

ここから自社データで検証し、業務に合うものへ絞り込みます。

モデル選定チェックリスト

導入前に、次の項目が埋まっているかを確認してください。

手元のVRAM（GPUメモリ／統合メモリ）の容量を確認した
そのVRAMで動くサイズクラスを決めた（モデル名からではなく器から決める）
候補モデルのライセンスで商用利用の可否を確認した
Nejumi Leaderboard 4で、同じサイズ帯・自分の用途カテゴリのスコアを比較した
日本語性能のどの軸（読解・生成の自然さ・敬語やビジネス文・知識量）が自分の用途に効くかを整理した
同じ日本語タスク（ビジネスメール下書き・議事録要約・帳票の読み取りなど）を候補モデルに投げ比べた

まとめ

日本語のローカルLLMは「VRAM→サイズクラス→そのクラスの日本語最有力」の順で選ぶと迷いません
8GBは割り切りのQwen3.5-4B、8〜12GBの定番はQwen3.5-9B／Qwen3 Swallow 8B／llm-jp-4.1-8b、16GBはGemma 4 12Bに加えてgpt-oss-20BなどのMoEも選択肢です
24GBの実務ラインはQwen3.8-27B・Gemma 4 31B・Qwen3.6-35B-A3Bで、国産基盤ならELYZA-Thinking-1.0-llm-jp-4-33b・llm-jp-4.1-33bです。48GB〜はgpt-oss-120Bなどの大型MoEが候補です
推奨は各モデルの公開情報と公開ベンチに基づく現実解です。最終判断は、同じ日本語タスクを投げ比べる自社検証で行ってください

よくある質問

Q. 日本語に強いローカルLLMのおすすめは何ですか？

手元のVRAM別に選ぶのが現実的です。8〜12GBならQwen3.5-9B（日本語をより効かせたい場合はQwen3 Swallow 8B、完全国産ならllm-jp-4.1-8b-thinking）、16GBならGemma 4 12Bまたは約16GBに収まるgpt-oss-20B、24GBならQwen3.8-27B・Gemma 4 31B・Qwen3.6-35B-A3Bか国産基盤のELYZA-Thinking-1.0-llm-jp-4-33b、48GB以上や128GB統合メモリ機ならgpt-oss-120BやQwen3.5-122B-A10Bなどの大型MoEが候補です（2026年10月時点）。いずれも公開情報に基づく現実解であり、最終判断は自社の日本語タスクでの検証をおすすめします。

Q. 日本語のローカルLLMはどうやって選べばいいですか？

モデル名からではなく、(1)手元のVRAMを確認する、(2)そのVRAMで動くサイズクラスを決める、(3)そのクラスの中で日本語向けの最有力を選ぶ、の順番が迷いません。また「日本語性能」は読解・生成の自然さ・敬語やビジネス文・知識量で得意不得意が分かれるため、自分の用途で効く軸を意識することも重要です。手元のマシン選びから始める場合は『予算別ローカルLLM PC 2026』が参考になります。

Q. Qwen3 SwallowやGPT-OSS Swallowとは何ですか？

東京科学大学などのSwallowプロジェクトが、海外の強力なオープンモデルに日本語の継続事前学習と追加学習を施したモデル系列です。Qwen3ベースのQwen3 Swallow（8B／30B-A3B／32B、RL v0.2、Apache 2.0）や、gpt-oss-20B／120Bを日本語強化したGPT-OSS Swallow（RL v0.1、Apache 2.0）があり、いずれも2026年2月に公開されました。汎用のQwen系やgpt-oss系を起点にしつつ、日本語をより効かせたい場合の候補になります。

Q. 16GBのVRAMで動く日本語向けローカルLLMはありますか？

あります。第一候補はGemma 4 12B（Apache 2.0、テキスト・画像・音声入力）で、対抗がgpt-oss-20Bです。gpt-oss-20BはMXFP4量子化で約16GBに収まり、MoE構造で活性パラメータが少ないため、20B級の知能を軽快に動かせます。日本語強化版のGPT-OSS Swallow 20Bもこのクラスの選択肢に入ります。

Q. 日本語LLMの性能はどのベンチマークで比較すればいいですか？

第三者ベンチマークのNejumi Leaderboard 4が一次比較に使えます。見るときは総合順位ではなく、同じサイズ帯のモデル同士を、自分の用途に対応するカテゴリ（生成・推論・コーディングなど）で比較します。ただしベンチ上位が自社業務で最良とは限らないため、最終判断は同じ日本語タスクを候補モデルに投げ比べる自社検証で行うのが確実です。

Q. ローカルLLMの日本語モデルは商用利用できますか？

モデルごとにライセンスが異なるため、必ず個別に確認が必要です。本記事で挙げたモデルでは、Qwen3.5／3.6／3.8の各サイズ・Gemma 4・gpt-oss・Qwen3 Swallow・GPT-OSS Swallow・llm-jp-4.1・ELYZA-Thinking-1.0-llm-jp-4がいずれもApache 2.0ライセンスで公開されています（2026年10月26日にモデルカードで確認）。Qwen3.8-Flash-Nextだけはqwen-community-1.0で、条件が異なります。ライセンス確認は、モデル選定チェックリストの必須項目として導入前に済ませてください。

主な参考資料: Nejumi Leaderboard 4、Swallow LLM公式、Qwen3公式ブログ、各モデルのHugging Faceモデルカード（Qwen3.8-27B、Qwen3.6-35B-A3B、Qwen3.5-9B、gemma-4-12B-it、llm-jp-4.1-8b-thinking、ELYZA-Thinking-1.0-llm-jp-4-33b、Qwen3-Swallow-32B-RL-v0.2、GPT-OSS-Swallow-20B-RL-v0.1。2026年10月26日確認）

TodoONadaでは、業務データでのモデル選定ミニ検証からローカルLLMの導入までを支援しています。候補モデルに自社の日本語タスクを投げ比べ、どのモデル・どの構成が業務に合うかを確認したうえで導入判断に進めます。「手元のVRAMではどのモデルが現実的か」といった検討段階のご相談も歓迎します。

この記事に関連するサービス

TodoONada株式会社では、機密データを外部に出さないローカルLLMの導入支援を行っています。

ローカルLLM導入支援 — GPUサーバーでの本格構成。モデル選定からRAG構築・運用まで
Macで始める社内専用AI導入支援 — Mac 1台から始める社内専用AI。PoCから部門導入まで対応
ローカルLLM 社内設置の実現性検証（機材貸出） — 機材を買う前に、DGX SparkやMacを貴社オフィスに2週間設置して「置けるか」を判定。機材のみの短期貸出も対応

導入・開発のご相談はお問い合わせからお気軽にどうぞ。検討段階のご相談も歓迎です。