ローカルLLMの速度はメモリ帯域で決まる。スペック表の正しい読み方
なぜ高価なマシンでもローカルLLMが遅いことがあるのか。答えはスペック表の読む場所にあります。ローカルLLMの生成速度は「メモリ帯域÷モデルサイズ」という1本の式でほぼ予測できます。ハードの名前を並べた比較記事は多い一方で、この原理から書かれた記事はほとんどありません。本記事では、式の背景にあるLLM推論の仕組みと、主要ハードウェアのメモリ帯域一覧、購入前に自分で速度を計算する手順までを解説します。
この記事の要点
- ローカルLLMの体感速度は「毎秒トークン数 ≈ メモリ帯域（GB/s）÷ モデル占有サイズ（GB）」で予測できます。実効値は理論値の7〜8割です
- ハードは4階級に分かれます。コンシューマGPU上位は1TB/s級、Apple上位チップは500〜800GB/s級、統合メモリ機は250〜270GB/s級、ノートPC・CPU実行は90〜140GB/s級です
- 128GB統合メモリ機でも帯域が273GB/s程度の場合、高密度70Bモデルは毎秒4〜5トークンにとどまります。容量と速度は別の問題です
- MoEモデルは活性パラメータで読み替えます。gpt-oss 120B（総117B・活性5.1B）ならDGX Sparkでも毎秒30トークン級が狙えます
- 用途別の許容ラインは、チャット対話で毎秒10トークン以上、コーディング補完で毎秒30トークン以上が目安です
高スペックPCでもローカルLLMが遅い理由
ローカルLLMの利用者からは、次のような落胆の声がよく聞かれます。
- 128GB統合メモリの最新マシンを買い、70Bモデルを動かしたら毎秒数トークンしか出ない
- CPUを最上位にしたのに、LLMの生成速度がほぼ変わらない
- 「AI性能◯TOPS」をうたうPCで、Ollamaが期待外れに遅い
PCの速さに関する従来の直感（CPU世代・コア数・クロック・TOPS）は、LLM推論にはほぼ通用しません。LLMには固有の律速要因があるためです。なお「TOPSの数字が大きければローカルLLMも速い」という誤解については、『「Copilot+ PCならローカルLLMが速い」は誤解。NPUとLLMの本当の関係』で詳しく検証しています。
LLM推論の2つのフェーズ（プリフィルとデコード）
LLMの推論は、性質の異なる2つのフェーズでできています。
| フェーズ | 処理内容 | 律速要因 |
|---|---|---|
| プリフィル（入力の読み込み） | 投げたプロンプト全体を一気に処理します。長い文書を貼り付けたときの「考えている時間」がここです | 計算力（GPUの演算性能） |
| デコード（トークン生成） | 1トークンずつ文章を生成します。体感速度を決めるのはこちらです | メモリ帯域 |
デコードには重要な構造があります。1トークン生成するたびに、モデルの全パラメータをメモリから読み出すのです。20GBのモデルであれば、1トークンごとに20GBの読み出しが発生します。計算そのものは軽く、データを運ぶ作業が支配的になります。
このためデコード速度は、演算性能ではなく「メモリからデータを運ぶ速さ」、すなわちメモリ帯域で頭打ちになります。
ローカルLLMの速度を予測する計算式（メモリ帯域÷モデルサイズ）
デコード速度は次の式で近似できます。
毎秒トークン数 ≈ メモリ帯域（GB/s）÷ モデル占有サイズ（GB）
計算例を3つ挙げます。
| 構成 | メモリ帯域 | 動かすモデル | 理論速度 |
|---|---|---|---|
| RTX 4090 | 1,008GB/s | 32Bモデル（20GB） | 約50トークン/秒 |
| DGX Spark | 273GB/s | 70Bモデル（43GB） | 約6トークン/秒 |
| ノートPC | 135GB/s | 9Bモデル（6.6GB） | 約20トークン/秒 |
実際にはKVキャッシュの読み出しなどが加わるため、実効値は理論値の7〜8割程度に落ちます。それでも「桁を外さない」精度で予測でき、購入判断には十分です。
冒頭の落胆例の種明かしもこの式にあります。128GB統合メモリ機は「容量」は立派でも「帯域」が273GB/s程度しかないため、70Bの高密度モデルでは毎秒4〜5トークンにしかなりません。容量が大きいことと速く動くことは、まったく別の問題です。
主要ハードウェアのメモリ帯域一覧（2026年7月時点）
先ほどの式に代入するための帯域一覧です。カタログの「メモリ帯域幅」の行だけ見れば、マシンのLLM適性は読めます。
| 分類 | ハード | メモリ帯域 |
|---|---|---|
| データセンターGPU | NVIDIA B200 | 8,000GB/s |
| データセンターGPU | NVIDIA A100（80GB） | 2,039GB/s |
| コンシューマGPU | RTX 5090（32GB） | 1,792GB/s |
| コンシューマGPU | RTX 4090（24GB） | 1,008GB/s |
| コンシューマGPU | RTX 3090（24GB・中古定番） | 936GB/s |
| コンシューマGPU | RTX 5060 Ti（16GB） | 448GB/s |
| Apple Silicon | M3 Ultra | 819GB/s |
| Apple Silicon | M5 Max（40コアGPU） | 614GB/s |
| Apple Silicon | M5 Pro | 307GB/s |
| Apple Silicon | M5 | 153GB/s |
| 統合メモリ機 | NVIDIA DGX Spark | 273GB/s |
| 統合メモリ機 | Ryzen AI Max+ 395（Strix Halo） | 256GB/s |
| ノートPC | Snapdragon X Elite / Core Ultra 200V | 135GB/s前後 |
| デスクトップ | DDR5-5600デュアルチャネル（CPU実行） | 約90GB/s |
要点を文章でも押さえておきます。コンシューマGPUの上位は1TB/s級、Appleの上位チップは500〜800GB/s級、話題の統合メモリ機（DGX Spark・Strix Halo）は250〜270GB/s級、普通のノートPCとCPU実行は90〜140GB/s級です。この4つの階級を覚えておけば、スペック表を見た瞬間におおよその速度が浮かびます。なおApple Siliconの上位チップを使ったMac 1台構成の詳細は、Macで始める社内専用AI導入支援で扱っています。
一方、「どのモデルがメモリに載るか」は容量の問題です。予算帯ごとにどのマシンで何が動くかは『予算別ローカルLLM PC 2026。10万・30万・60万・100万円で何が動くか』と掛け合わせて確認してください。容量で「載るか」、帯域で「速いか」。この2軸でハード選びは完結します。また、ここに挙げたGPUを含む機材の実勢価格と本番構成の総額は『ローカルLLM導入費用の実額内訳』で整理しています。
MoEモデルで変わる機材選びの定石
2026年のモデル事情には、この式の読み替えが1つ必要です。主流になったMoE（Mixture of Experts）型モデルは、総パラメータのうち一部（活性パラメータ）だけを毎トークン読み出します。
MoEの速度 ≈ メモリ帯域 ÷ 活性パラメータ分のサイズ
- gpt-oss 120B（総117B・活性5.1B）: メモリは65GB必要ですが、毎トークンの読み出しは数GBで済みます。DGX Sparkでも毎秒30トークン級が狙えます
- Qwen3.5 122B-A10B（活性10B）、35B-A3B（活性3B）も同じ構造です
ここから2026年の新しいハード選びの定石が生まれました。大容量・低帯域のマシン（DGX Spark、Strix Halo、128GB Mac）は、高密度70Bではなく100B超MoEを動かすための箱と考えると、性能を最大限引き出せます。逆に高密度モデル狙いなら、容量より帯域（＝GPU）に投資すべきです。MoE化が進む主要オープンモデルの顔ぶれは『オープンLLM勢力図2026』で整理しています。
購入前チェックリスト（4ステップと用途別許容ライン）
機材を買う前に、次の4項目を順に確認してください。
- 使いたいモデルの占有サイズを確認した（量子化後の実サイズで見ます）
- 候補マシンのメモリ帯域をカタログで確認した
- 帯域÷サイズで理論速度を出し、0.7〜0.8を掛けて実効値を見積もった
- その速度が用途の許容ラインに対して十分か判断した
許容ラインの目安は用途によって変わります。
| 用途 | 許容ラインの目安 | 理由 |
|---|---|---|
| チャット対話 | 毎秒10トークン以上 | 会話としてストレスが少ない水準です |
| コーディング補完 | 毎秒30トークン以上 | 待ち時間が作業リズムを壊すためです |
| 夜間バッチ処理（要約・分類など） | 毎秒数トークンでも成立 | 速度より容量を優先してよい用途です |
「最新で高い＝速い」ではなく、「自分のモデルサイズと帯域の割り算」で決まります。これがローカルLLMの機材選びで唯一覚えるべき原理です。なお、複数人での同時利用を前提とした本番構成では、ハードだけでなく推論エンジン側の選択も効いてきます。その観点は『試作はOllama、本番はvLLM。乗り換えのタイミングと20倍の性能差』で解説しています。
まとめ
- LLMの体感速度はデコードで決まり、デコードは毎トークン、モデル全体をメモリから読み出します
- したがって速度 ≈ メモリ帯域 ÷ モデル占有サイズ。実効はその7〜8割です
- ハードは4階級: GPU上位1TB/s級 / Apple上位500〜800GB/s級 / 統合メモリ機250GB/s級 / ノートPC・CPU 90〜140GB/s級
- MoEモデルは活性パラメータで読み替えます。大容量・低帯域マシンはMoE向きです
- 買う前に「帯域÷モデルサイズ」を計算し、用途別の許容ライン（対話10、補完30トークン/秒）と比べてください
よくある質問
Q. ローカルLLMの生成速度は何で決まりますか？
主にメモリ帯域で決まります。LLMは1トークン生成するごとにモデルの全パラメータをメモリから読み出すため、体感速度（デコード速度）は「メモリ帯域（GB/s）÷モデル占有サイズ（GB）」で近似できます。たとえば帯域1,008GB/sのRTX 4090で20GBの32Bモデルを動かすと理論値は約50トークン/秒で、実効値はその7〜8割程度です。
Q. メモリ容量が大きいPCならローカルLLMは速く動きますか？
速くなるとは限りません。容量が決めるのは「モデルが載るか」であり、速度を決めるのは帯域です。実際、128GB統合メモリの最新マシンでも帯域が273GB/s程度の場合、高密度の70Bモデルは毎秒4〜5トークンにとどまります。容量と帯域の2軸で判断する必要があります。予算帯別に何が動くかは『予算別ローカルLLM PC 2026』を参照してください。
Q. CPUの性能やNPUのTOPSはローカルLLMの速度に影響しますか？
デコード（トークン生成）にはほぼ影響しません。デコードは毎トークン、モデル全体をメモリから読み出す処理で、律速要因はメモリ帯域だからです。CPU世代・コア数・クロック・TOPSといった数字を上げても、生成速度はほとんど変わりません。NPUとLLMの関係は『「Copilot+ PCならローカルLLMが速い」は誤解』で詳しく解説しています。
Q. ローカルLLMは毎秒何トークン出れば実用的ですか？
用途によって異なります。チャット対話なら毎秒10トークン以上あれば会話としてストレスが少なく、コーディング補完は待ち時間が作業リズムを壊すため毎秒30トークン以上が目安です。要約・分類などの夜間バッチ処理であれば毎秒数トークンでも成立するため、速度より容量を優先できます。
Q. DGX SparkやStrix Haloのような統合メモリ機でローカルLLMは快適に動きますか？
動かすモデル次第です。これらの統合メモリ機は容量こそ大きいものの、帯域はDGX Sparkで273GB/s、Strix Haloで256GB/sにとどまるため、高密度70Bモデル（43GB）では理論値でも毎秒6トークン程度です。一方、活性パラメータの小さい100B超のMoEモデル（例: gpt-oss 120B）であれば毎秒30トークン級が狙えます。「100B超MoEを動かすための箱」と考えると性能を引き出せます。
Q. MoEモデルはなぜ速く動くのですか？
毎トークンの読み出し量が小さいためです。MoE（Mixture of Experts）型は総パラメータの一部（活性パラメータ）だけを毎トークン読み出す構造で、速度は「メモリ帯域÷活性パラメータ分のサイズ」で読み替えます。gpt-oss 120Bは総117B・活性5.1Bで、メモリは65GB必要ですが毎トークンの読み出しは数GBで済みます。Qwen3.5の122B-A10B（活性10B）や35B-A3B（活性3B）も同じ構造です。主要モデルの動向は『オープンLLM勢力図2026』で整理しています。
Q. Apple SiliconのMacはローカルLLMに向いていますか？
上位チップは向いています。メモリ帯域はM3 Ultraが819GB/s、M5 Max（40コアGPU）が614GB/sと、コンシューマGPUに次ぐ500〜800GB/s級です。一方でM5 Proは307GB/s、M5は153GB/sと階級が下がるため、同じMacでもチップによってLLM適性は大きく変わります。Mac 1台から始める構成はMacで始める社内専用AI導入支援で扱っています。
用途に合う機材構成を確かめたい方へ
TodoONadaでは、ローカルLLM・生成AIの導入判断からPoC・構築までを支援しています。
- 用途と予算に合わせた機材・モデル構成の設計
- 「その構成で本当に必要な速度が出るか」の事前検証
- 社内データを扱う構成のセキュリティ設計
まずは30万円・2週間規模のミニ検証からで構いません。高価な機材を購入する前に、狙いの構成で必要な速度が出るかを数値で確かめるところからご相談ください。
この記事に関連するサービス
TodoONada株式会社では、機密データを外部に出さないローカルLLMの導入支援を行っています。
- ローカルLLM導入支援 — GPUサーバーでの本格構成。モデル選定からRAG構築・運用まで
- Macで始める社内専用AI導入支援 — Mac 1台から始める社内専用AI。PoCから部門導入まで対応
導入・開発のご相談はお問い合わせからお気軽にどうぞ。検討段階のご相談も歓迎です。
