LoRAで自社データをローカルLLMに学習させる。必要GPU早見表つき

LoRAで自社データをローカルLLMに学習させる。必要GPU早見表つき

自社の文体や様式をモデルに覚えさせるLoRA(Low-Rank Adaptation)が、24GB級のGPUで実用になりました。本記事では、LoRA・QLoRAの仕組みと必要GPUの早見表、ツールの選び方、そして着手する前に必ず確認すべき「そもそもLoRAでやるべきか」という判断までを整理します。

この記事の要点

  • 知識の追加はRAG、文体・書式など振る舞いの変更はLoRAです。この切り分けだけで検討の半分が終わります
  • QLoRA(4bit量子化+LoRA)により、24GB級のGPUで数十Bクラスのモデルを学習できるようになりました
  • Unslothが公表する必要VRAMの最低値は、QLoRAで7Bが5GB〜・32Bが26GB〜です。実用の目安は7Bで8GB級・32Bで28GB級です
  • ツールはUnsloth・LLaMA-Factory・Axolotlの3択です。PyTorch公式のtorchtuneは2025年に開発終了しており、新規採用は避けます
  • 成否の8割はデータで決まります。数百件でも一貫した「指示→応答」ペアと、個人情報・機密情報の除去工程が必須です

先に確認: それはLoRAでやるべきか(RAGとの切り分け)

LoRAの話に入る前に、一番大事な判断があります。知識を足すのはRAG、振る舞いを変えるのがLoRAです。

目的適した手法具体例
振る舞いを変えるLoRA文体・書式・定型出力の型・分類の癖を覚えさせる
知識を足すRAG最新の知識・事実・社内情報に答えさせる

「社内の最新情報に答えさせたい」ならRAG、「社内の報告書らしい文体で書かせたい」ならLoRAです。この切り分けだけで、検討の半分が終わります。事実の追加をLoRAでやろうとすると、コストばかりかかって効きません。

知識を足す側の選択肢であるRAGの構成については、『社内文書RAGの作り方2026。パース・埋め込み・リランクの最新構成』で詳しく解説しています。まず自社の目的がどちらに当たるかを確認してから読み進めてください。

LoRA・QLoRAの仕組みを3分で理解する

通常のファインチューニングは、モデルの全パラメータを更新するため巨大なGPUが必要になります。LoRAは、元のモデルは凍結したまま、小さな追加行列だけを学習する手法です。更新する量が桁違いに小さいので、家庭用GPUでも学習が回ります。

QLoRAは、これに4bit量子化を組み合わせた手法です。モデルを量子化してメモリに載せ、その上でLoRAを学習します。これにより、24GB級のGPUで数十Bクラスのモデルを学習できるようになりました。

必要GPU早見表(QLoRA・LoRAの必要VRAM)

Unslothの公式ドキュメントに、QLoRAの必要VRAMの最低値が公開されています。

モデルQLoRA(4bit)LoRA(16bit)
7B5GB〜19GB
14B8.5GB〜33GB
32B26GB〜76GB
70B41GB〜164GB

これは最低値なので、実際にはデータのバッチサイズや系列長で上振れします。余裕を見て、7Bなら8GB級、32Bなら28GB級を目安にすると安全です。

Macの統合メモリ(16GB〜)でも、小型モデルのLoRAは可能です。手持ちのマシンとの突き合わせは『ローカルLLM必要VRAM早見表』のほか、GPU搭載機の価格帯別の選び方をまとめた『予算別ローカルLLM PC 2026。10万・30万・60万・100万円で何が動くか』も参考にしてください。MacとGPU搭載機のどちらを選ぶかで迷う場合は、『ローカルLLMはMacかRTXか。速度・容量・電気代の三軸で比較』で比較しています。

ファインチューニングツールの現実解2026

主要なファインチューニングツールは3つです。

ツール特徴向く人
Unsloth高速・省メモリのデファクト。無償OSS効率重視・幅広いモデル対応
LLaMA-FactoryWebUIフォームで設定するノーコード寄りコードを書きたくない人
AxolotlYAMLで設定設定を厳密に管理したい人

機能はほぼ横並び(LoRA/QLoRA対応)で、差は「設定・デバッグ・配布のワークフロー」にあります。迷ったら省メモリのUnsloth、ノーコードで始めたいならLLaMA-Factoryが入りやすいです。設定をYAMLで厳密に管理したいチームにはAxolotlが向きます。

なお、PyTorch公式のtorchtuneは2025年に開発終了(積極的メンテナンスの停止)となりました。新規採用は避け、上記3ツールから選ぶのが無難です。

導入の最小フローは次の4ステップです。

  1. データ準備 — 社内データを「指示→応答」ペアに整形します
  2. 学習 — 上記ツールでLoRA/QLoRAの学習を実行します
  3. GGUF化 — 学習したLoRAアダプタをGGUF形式に変換します
  4. Ollamaで利用 — 変換後は普段どおりOllamaで動かせます

データセットの作り方が成否の8割

LoRAの品質は、ツールよりデータで決まります。押さえるべきポイントは3つです。

  • 量より一貫性: 大量の雑多なデータより、少数でも質と形式の揃ったデータが効きます。数百件でも一貫していれば効果が出ます
  • 社内データからの作り方: 過去の報告書・メール・回答を「指示→応答」のペアに整形します
  • 前処理が必須: 個人情報・機密情報の除去を行います。学習データに入れたものはモデルに焼き込まれるため、法人利用では必ず除去工程を入れます

学習後の評価と運用で見るべきこと

学習して終わりではなく、評価と運用まで含めて計画する必要があります。

LoRA着手前チェックリスト

学習を始める前に、次の項目が埋まっているかを確認してください。

  • 目的が「知識の追加」ではなく**「振る舞いの変更」**である(知識の追加ならRAGを選ぶ)
  • 覚えさせたいのは文体・書式・定型出力の型・分類の癖のいずれかである
  • 過去の報告書・メール・回答から**「指示→応答」ペア**を用意できる(数百件でも一貫していれば可)
  • 学習データから個人情報・機密情報を除去する前処理工程を計画に入れた
  • 手持ちのGPU(またはMacの統合メモリ)が対象モデルの必要VRAMを満たしている
  • 学習前後を比較する評価セットを用意した
  • ベースモデル更新時のLoRA再学習コストを運用計画に見込んだ
  • tool callingを使うエージェント用途とは分けて考えている

まとめ

  • 知識の追加はRAG、振る舞いの変更はLoRAです。事実の追加をLoRAでやらないことが最初の判断です
  • QLoRA(4bit量子化+LoRA)により24GB級GPUでも数十Bクラスを学習できます。実用目安は7Bで8GB級、32Bで28GB級です
  • ツールはUnsloth(効率)・LLaMA-Factory(ノーコード)・Axolotl(厳密な設定管理)の3択です。torchtuneは2025年に開発終了しています
  • 最小フローは「データ準備→学習→GGUF化→Ollamaで利用」です
  • 成否の8割はデータの一貫性と機密除去で決まります。学習後は評価・再学習コスト・tool callingへの影響まで見る必要があります

よくある質問

Q. LoRAとRAGはどちらを使うべきですか?

足したいものが「知識」か「振る舞い」かで決まります。最新の社内情報や事実に答えさせたい場合はRAG、社内の報告書らしい文体・書式・定型出力の型を覚えさせたい場合はLoRAです。事実の追加をLoRAで行おうとするとコストばかりかかって効きません。RAGの構築方法は『社内文書RAGの作り方2026』で解説しています。

Q. LoRAのファインチューニングに必要なGPUメモリはどれくらいですか?

Unslothが公表する最低値では、QLoRA(4bit)で7Bモデルが5GB〜、14Bが8.5GB〜、32Bが26GB〜、70Bが41GB〜です。ただしこれは最低値で、バッチサイズや系列長で上振れするため、実用の目安は7Bで8GB級、32Bで28GB級です。16bitのLoRAの場合は7Bでも19GB、32Bでは76GBが必要になります。

Q. QLoRAとLoRAの違いは何ですか?

LoRAは、元のモデルを凍結したまま小さな追加行列だけを学習する手法で、更新する量が桁違いに小さいため家庭用GPUでも学習できます。QLoRAは、これに4bit量子化を組み合わせた手法で、モデルを量子化してメモリに載せた上でLoRAを学習します。これにより、24GB級のGPUで数十Bクラスのモデルを学習できるようになりました。

Q. MacでもLoRAファインチューニングはできますか?

可能です。Apple Siliconの統合メモリ(16GB〜)でも、小型モデルのLoRAは学習できます。ただし32Bクラスなど大きめのモデルはQLoRAでも26GB以上が必要になるため、対象モデルのサイズと手持ちメモリの突き合わせが先です。Macでのローカル LLM環境の構築はMacで始める社内専用AI導入支援で支援しています。

Q. LoRAの学習データはどう作ればいいですか?

過去の報告書・メール・回答などの社内データを「指示→応答」のペアに整形します。量より一貫性が重要で、大量の雑多なデータよりも、少数でも質と形式の揃ったデータのほうが効きます。数百件でも一貫していれば効果が出ます。なお学習データに入れた内容はモデルに焼き込まれるため、法人利用では個人情報・機密情報の除去工程が必須です。

Q. LoRAのファインチューニングツールはどれを選べばいいですか?

主要な選択肢はUnsloth・LLaMA-Factory・Axolotlの3つで、機能(LoRA/QLoRA対応)はほぼ横並びです。迷ったら高速・省メモリのUnsloth、コードを書かずに始めたいならWebUIフォームで設定できるLLaMA-Factory、設定をYAMLで厳密に管理したいならAxolotlが向きます。PyTorch公式のtorchtuneは2025年に開発終了しているため、新規採用は避けてください。

Q. 学習したLoRAモデルはどうやって業務で使いますか?

最小フローは「データ準備→学習→GGUF化→Ollamaで利用」です。学習したLoRAアダプタをGGUF形式に変換すれば、普段どおりOllamaで動かせます。運用面では、ベースモデルを新版に更新するとLoRAの再学習が必要になる点をあらかじめ見込んでおいてください(『導入したローカルLLM、誰が維持するのか』)。

主な参考資料: Unsloth ドキュメントLLaMA-Factory(GitHub)Axolotl(GitHub)torchtune(GitHub・開発終了)

TodoONadaでは、自社データでのLoRA検証・実装を支援しています。「そもそもRAGで足りるのか、LoRAまで踏み込むべきか」という切り分けの段階からのご相談も歓迎です。手元の社内データでどこまで効果が出るかを確認してから、本格的な学習・運用に進むかどうかを判断いただけます。


この記事に関連するサービス

TodoONada株式会社では、機密データを外部に出さないローカルLLMの導入支援を行っています。

導入・開発のご相談はお問い合わせからお気軽にどうぞ。検討段階のご相談も歓迎です。

出典・参照

技術ブログ一覧へ戻る