日本語で使えるローカルLLMおすすめ2026。VRAM別の現実解

Q: 日本語に強いローカルLLMのおすすめは何ですか？

手元のVRAM別に選ぶのが現実的です。8〜12GBならQwen3-8B（日本語強化ならQwen3 Swallow系）、16GBならQwen3-14Bまたは約16GBに収まるgpt-oss-20B、24GBならQwen3-32BやELYZA-Thinking-1.0-Qwen-32B、48GB以上ならgpt-oss-120BやQwen3-235B-A22Bなどの大型MoEが候補です。最終判断は自社の日本語タスクでの検証をおすすめします。

Q: 日本語LLMの性能はどのベンチマークで比較すればいいですか？

第三者ベンチマークのNejumi Leaderboard 4が一次比較に使えます。総合順位ではなく、同じサイズ帯のモデル同士を自分の用途に対応するカテゴリ（生成・推論・コーディングなど）で比較します。ベンチ上位が自社業務で最良とは限らないため、最終判断は同じ日本語タスクを投げ比べる自社検証で行うのが確実です。

日本語で使えるローカルLLMは、モデル名から選ぶと迷子になります。先に「どのVRAMで動かすか」を決め、そのサイズクラスの中で日本語向けの最有力を選ぶ——この順番なら迷いません。本記事では、公開ベンチマークとモデル諸元に基づいて、VRAM別の現実解を2026年7月時点で整理します。

この記事の要点

日本語ローカルLLMは、モデル名からではなく「VRAM→サイズクラス→そのクラスの日本語最有力」の順で選ぶと迷いません

8〜12GBの定番はQwen3-8B（日本語強化ならQwen3 Swallow系）、16GBはQwen3-14Bか、MXFP4量子化で約16GBに収まるgpt-oss-20Bです

24GBがビジネス文書の実務ラインです。Qwen3-32B・ELYZA-Thinking-1.0-Qwen-32B・calm3-22bが候補になります

48GB〜/128GB統合メモリ機では、gpt-oss-120B・GPT-OSS Swallow 120B・Qwen3-235B-A22Bなどの大型MoEが選択肢です

推奨は公開ベンチ（Nejumi Leaderboard 4）とモデル諸元に基づく現実解です。最終判断は自社の日本語タスクでの投げ比べで行います

日本語ローカルLLMの選び方：VRAM→サイズクラス→最有力の順

日本語モデル選びは、次の順番で決めると迷いません。

手元のVRAM（GPUメモリ）を確認する（予算とVRAMの対応関係は『予算別ローカルLLM PC 2026。10万・30万・60万・100万円で何が動くか』を参照してください）
そのVRAMで動くサイズクラスを決める
そのクラスの中で、日本語向けの最有力を選ぶ

モデル名から入ると「話題のあれ」に引っ張られて、手元の環境に載らない・遅いモデルを選びがちです。器（VRAM）を先に決めるのが鉄則です（実行速度が何で決まるかは『ローカルLLMの速度はメモリ帯域で決まる。スペック表の正しい読み方』で解説しています）。

なお「日本語性能」は一枚岩ではありません。読解・生成の自然さ・敬語やビジネス文・知識量で得意不得意が分かれます。自分の用途で効く軸を意識して選ぶことが重要です。

また、ライセンスはモデルごとに異なります。商用利用の可否は導入前に必ず確認してください。本記事が扱うのはオープンウェイトのモデルです。オープンモデル全体の勢力図は『オープンLLM勢力図2026。中国勢の攻勢、OpenAIの参入、Metaの離脱』で、商用提供される国産オンプレLLM（tsuzumi・PLaMoなど）は『国産オンプレLLM比較2026』で扱っています。

VRAM別・日本語ローカルLLMおすすめ早見表

クラスごとの第一候補と対抗を一枚の表に整理します。

VRAM	クラス	第一候補	対抗・補足
〜8GB	〜4B	Qwen3-4B	分類・下書き向け。日本語の細部は限界あり
8〜12GB	7〜9B	Qwen3-8B	Qwen3 Swallow系（日本語強化）、LLM-jp小型
16GB	13〜14B / 20B級	Qwen3-14B	gpt-oss-20B（約16GB）、Gemma 4
24GB	32B級	Qwen3-32B	ELYZA-Thinking-1.0-Qwen-32B、calm3-22b、Qwen3 Swallow 32B
48GB〜/128GB統合	70B+/大型MoE	gpt-oss-120B	GPT-OSS Swallow 120B、Qwen3-235B-A22B、LLM-jp-3-172b

各クラスの選び方と代表モデル

〜4B（8GB）：軽量タスクに割り切る

このクラスは、分類・タグ付け・短い下書きに割り切って使います。日本語の細かな自然さや敬語は上位クラスに譲りますが、大量処理やエッジ用途には十分です。第一候補はQwen3-4B（Apache 2.0）です。

7〜9B（8〜12GB）：個人利用の定番

日常使いの主力クラスです。汎用ならQwen3-8B、日本語をより効かせたいならQwen3 Swallow系（海外の強力モデルに日本語追加学習を施した系列、Apache 2.0）が候補になります。完全オープンであることを重視するなら、LLM-jpの小型版も選択肢です。

16GB：14B級に加えてMoEという裏技

14B級（第一候補はQwen3-14B）に加えて、gpt-oss-20BがMXFP4量子化で約16GBに収まります。MoE（Mixture of Experts）構造で活性パラメータが少ないため、20B級の知能を軽快に動かせるのがポイントです。日本語強化版のGPT-OSS Swallowもこのクラスの選択肢に入ります。対抗としてはGemma 4も挙げられます。

24GB：ビジネス文書の実務ライン

ビジネス文書で実用になるクラスです。汎用はQwen3-32B、日本語の推論を重視するならELYZA-Thinking-1.0-Qwen-32B（Qwen2.5ベースに日本語追加学習、Apache 2.0）が候補です。22Bのcalm3（calm3-22b）や、Qwen3 Swallow 32Bも選択肢に入ります。tool callingを要するエージェント用途にも耐えるのがこのクラスです（モデル選びの観点は『ローカルLLMのtool calling。エージェント実用の鍵はモデル選び』で詳しく扱っています）。

48GB〜/大型MoE：品質最優先

複数GPUや大容量統合メモリ機で、最高品質を狙うクラスです。gpt-oss-120B、その日本語強化版のGPT-OSS Swallow 120B、Qwen3-235B-A22Bなどが候補になります。MoEであれば大容量統合メモリ機でも動かせるため、GPUサーバーだけでなくMacの統合メモリ構成も土俵に上がります（ハードウェアの選び方は『ローカルLLMはMacかRTXか。速度・容量・電気代の三軸で比較』を参照してください）。

日本語LLMベンチマークの読み方と自社検証

モデルの日本語性能は、第三者ベンチマークで一次比較できます。

Nejumi Leaderboard 4で、同じサイズ帯のモデル同士を比較します
総合順位ではなく、自分の用途に対応するカテゴリ（生成・推論・コーディングなど）を見ます

ただし、ベンチマーク上位のモデルが自社業務で最良とは限りません。本記事の推奨は公開ベンチとモデル諸元に基づく現実解であり、最終判断は自社データでの検証で行うのが確実です。同じ日本語タスク（ビジネスメール下書き・議事録要約・帳票の読み取りなど）を候補モデルに投げ比べ、出力の質を自分の目で確かめてください。

用途別の補足：コーディング・RAG・創作

コーディング: 汎用モデルよりコーディング特化モデルが効く領域です（コーディングエージェントをローカルで動かす話は『Claude Codeをローカルモデルで動かす。Anthropic互換APIの現在地と限界』で扱っています）
長文要約・RAG: コンテキスト長と、長文での実効精度に注意が必要です（RAGの構成は『社内文書RAGの作り方2026。パース・埋め込み・リランクの最新構成』を参照してください）
創作・検閲なし系: 本記事のスコープ外です

まず1つ選ぶなら：迷ったらQwen系を起点に

迷ったら、手元のVRAMに合わせてQwen系を起点にするのが無難です。

手元のVRAM	まず選ぶモデル
8〜12GB	Qwen3-8B（日本語強化ならQwen3 Swallow）
16GB	gpt-oss-20B または Qwen3-14B
24GB	Qwen3-32B または ELYZA-Thinking-1.0-Qwen-32B

ここから自社データで検証し、業務に合うものへ絞り込みます。

モデル選定チェックリスト

導入前に、次の項目が埋まっているかを確認してください。

手元のVRAM（GPUメモリ／統合メモリ）の容量を確認した
そのVRAMで動くサイズクラスを決めた（モデル名からではなく器から決める）
候補モデルのライセンスで商用利用の可否を確認した
Nejumi Leaderboard 4で、同じサイズ帯・自分の用途カテゴリのスコアを比較した
日本語性能のどの軸（読解・生成の自然さ・敬語やビジネス文・知識量）が自分の用途に効くかを整理した
同じ日本語タスク（ビジネスメール下書き・議事録要約・帳票の読み取りなど）を候補モデルに投げ比べた

まとめ

日本語のローカルLLMは「VRAM→サイズクラス→そのクラスの日本語最有力」の順で選ぶと迷いません
8GBは割り切りのQwen3-4B、8〜12GBの定番はQwen3-8B／Swallow系、16GBはQwen3-14Bに加えてgpt-oss-20BなどのMoEも選択肢です
24GBの実務ラインはQwen3-32B・ELYZA-Thinking-1.0-Qwen-32B・calm3-22bです。48GB〜はgpt-oss-120Bなどの大型MoEが候補です
推奨は公開ベンチとモデル諸元に基づく現実解です。最終判断は、同じ日本語タスクを投げ比べる自社検証で行ってください

よくある質問

Q. 日本語に強いローカルLLMのおすすめは何ですか？

手元のVRAM別に選ぶのが現実的です。8〜12GBならQwen3-8B（日本語をより効かせたい場合はQwen3 Swallow系）、16GBならQwen3-14Bまたは約16GBに収まるgpt-oss-20B、24GBならQwen3-32BやELYZA-Thinking-1.0-Qwen-32B、48GB以上や128GB統合メモリ機ならgpt-oss-120BやQwen3-235B-A22Bなどの大型MoEが候補です。いずれも公開ベンチと諸元に基づく現実解であり、最終判断は自社の日本語タスクでの検証をおすすめします。

Q. 日本語のローカルLLMはどうやって選べばいいですか？

モデル名からではなく、(1)手元のVRAMを確認する、(2)そのVRAMで動くサイズクラスを決める、(3)そのクラスの中で日本語向けの最有力を選ぶ、の順番が迷いません。また「日本語性能」は読解・生成の自然さ・敬語やビジネス文・知識量で得意不得意が分かれるため、自分の用途で効く軸を意識することも重要です。手元のマシン選びから始める場合は『予算別ローカルLLM PC 2026』が参考になります。

Q. Qwen3 SwallowやGPT-OSS Swallowとは何ですか？

海外の強力なオープンモデルに日本語の追加学習を施したモデル系列です。Qwen3ベースのQwen3 Swallow（Apache 2.0）や、gpt-oss-120Bを日本語強化したGPT-OSS Swallow 120Bなどがあります。汎用のQwen3系やgpt-oss系を起点にしつつ、日本語をより効かせたい場合の候補になります。

Q. 16GBのVRAMで動く日本語向けローカルLLMはありますか？

あります。第一候補はQwen3-14Bで、対抗としてgpt-oss-20BとGemma 4が挙げられます。gpt-oss-20BはMXFP4量子化で約16GBに収まり、MoE構造で活性パラメータが少ないため、20B級の知能を軽快に動かせます。日本語強化版のGPT-OSS Swallowもこのクラスの選択肢に入ります。

Q. 日本語LLMの性能はどのベンチマークで比較すればいいですか？

第三者ベンチマークのNejumi Leaderboard 4が一次比較に使えます。見るときは総合順位ではなく、同じサイズ帯のモデル同士を、自分の用途に対応するカテゴリ（生成・推論・コーディングなど）で比較します。ただしベンチ上位が自社業務で最良とは限らないため、最終判断は同じ日本語タスクを候補モデルに投げ比べる自社検証で行うのが確実です。

Q. ローカルLLMの日本語モデルは商用利用できますか？

モデルごとにライセンスが異なるため、必ず個別に確認が必要です。本記事で挙げたモデルでは、Qwen3-4B・Qwen3 Swallow系・ELYZA-Thinking-1.0-Qwen-32BがApache 2.0ライセンスで公開されています。ライセンス確認は、モデル選定チェックリストの必須項目として導入前に済ませてください。

主な参考資料: Nejumi Leaderboard 4、Swallow LLM公式、Qwen3公式ブログ

TodoONadaでは、業務データでのモデル選定ミニ検証からローカルLLMの導入までを支援しています。候補モデルに自社の日本語タスクを投げ比べ、どのモデル・どの構成が業務に合うかを確認したうえで導入判断に進めます。「手元のVRAMではどのモデルが現実的か」といった検討段階のご相談も歓迎します。

この記事に関連するサービス

TodoONada株式会社では、機密データを外部に出さないローカルLLMの導入支援を行っています。

ローカルLLM導入支援 — GPUサーバーでの本格構成。モデル選定からRAG構築・運用まで
Macで始める社内専用AI導入支援 — Mac 1台から始める社内専用AI。PoCから部門導入まで対応

導入・開発のご相談はお問い合わせからお気軽にどうぞ。検討段階のご相談も歓迎です。