Whisperをローカルで動かす2026。会議音声を外に出さない文字起こしのモデル選び・必要スペック（Mac／Windows／GPU）と、社内で精度を確かめる手順
「会議の録音をAIに文字起こしさせたいが、クラウドに上げてよいのか分からない」。取締役会、人事面談、顧客との商談、医療機関の面談記録など、録音そのものが機密情報である会議は少なくありません。文字起こしサービスの多くはクラウドで処理され、音声と書き起こしがサービス事業者のサーバーを経由します。契約で外部送信が禁じられている、業界のガイドラインで外部保管が認められていない、あるいは「社外のサーバーに会議の音声が残るのが嫌だ」という理由で、録音は取るが文字起こしは人手のまま、という会社は多いはずです。
この用途に対して、社内のPCやサーバーで完結する選択肢がOpenAIが公開している音声認識モデルWhisperです。コードとモデルの重みがMITライセンスで公開されており、インターネットに接続しない機材でも動かせます。本記事では、Whisperをローカルで動かすときのモデルの選び方、Python版とC/C++版（whisper.cpp）の使い分け、Mac・Windows・GPUそれぞれの必要スペック、文字起こしをローカルLLMで議事録に整形する社内構成、日本語で起きやすい問題、そして「自社の会議で精度は足りるか」を社内で確かめる手順を整理します。日本語の文字起こし精度は会議の音質・話者数・専門用語で大きく変わるため、本記事では精度を数値で断定せず、自社の音声で確かめる方法を示します。
この記事の要点
- Whisperはコードとモデルの重みがMITライセンスで公開された音声認識モデルで、インターネットに接続しない社内のMacやPCでも文字起こしが完結します
- モデルはtiny・base・small・medium・large・turboの6段階で、必要VRAMは約1GBから約10GBまで。実務の第一候補は、large-v3を最適化した多言語モデルのturbo（必要VRAM約6GB、相対速度約8倍）です。英語専用モデル（.en）は日本語に使えず、turboは翻訳タスクには使えません
- 実装はPythonの公式版（GPUがあるPC向き）とC/C++版のwhisper.cpp（Apple Silicon・CPUだけのPC・Windows向き）の2系統で、whisper.cppはGPUなしでも動き、Apple SiliconではMetalとCore MLで最適化されています
- 文字起こしの後は、ローカルLLMに要約・議事録整形をさせる構成にすれば、音声も書き起こしも社外に出ません。話者分離や要約はWhisper単体の機能ではなく、別の部品で補います
- 精度は自社の会議音声10〜20本で正解の書き起こしを作り、誤り率の数え方を決めてモデルサイズ別に比較し、所要時間も記録して判断します
誰がローカルの文字起こしを必要とするか
クラウドの文字起こしサービスで足りる会議は多く、すべてをローカルにする必要はありません。ローカルで完結させる必要があるのは、録音そのものが社外に出せない次のような音声です。
| 音声の種類 | 外に出せない理由 | 文字起こし後の用途 |
|---|---|---|
| 取締役会・経営会議 | 未公開の経営情報、インサイダー情報を含む | 議事録、決議事項の整理 |
| 人事面談・評価面談 | 個人の評価、健康、家庭事情など要配慮の情報を含む | 面談記録、本人への確認用 |
| 顧客との商談・交渉 | 取引先の未公開情報、NDAの対象 | 商談メモ、提案書への反映 |
| 医療・介護の面談 | 診療情報、要配慮個人情報 | 記録の下書き、説明内容の確認 |
| 士業の相談 | 守秘義務の対象 | 相談記録、文書作成の材料 |
| 製造・研究の技術会議 | 設計情報、営業秘密 | 議事録、検討経緯の記録 |
共通するのは、「録音データが社外のサーバーに残ること」自体が契約や規程に触れる点です。文字起こしサービスが学習に使わないと明記していても、保存場所と保持期間が社外である事実は変わりません。個人情報保護委員会は生成AIサービスの利用について、個人データを含む入力をする場合は利用目的の範囲内であることと、入力内容が機械学習に利用されないことを確認するよう注意喚起しています。要配慮個人情報を含む面談記録は、この確認に加えて「そもそも外に出さない」構成を選ぶ会社が増えています。
逆に、社内の定例会議や公開セミナーの文字起こしは、法人契約のクラウドサービスで十分なことがほとんどです。ローカルにするのは、上の表に該当する会議だけに絞ると、運用の負担が小さくなります。データの区分ごとにクラウド・法人契約・ローカルを切り分ける判断基準は『生成AIの情報漏洩対策2026』で整理しています。
クラウド文字起こし・法人契約・ローカルWhisperの比較
| 項目 | クラウドの文字起こしサービス（個人・無料） | 法人契約のクラウドサービス | ローカルWhisper |
|---|---|---|---|
| 音声と書き起こしの所在 | 事業者のサーバー | 事業者のサーバー（契約で保持期間・学習利用なしを確認） | 社内の機材のみ |
| 学習利用 | 規約次第。設定で変わる | 契約で「学習に使わない」を確認できることが多い | 学習利用の概念がない |
| 費用の性格 | 無料または月額 | 月額・従量 | 機材と運用の固定費。従量課金なし |
| 話者分離 | 多くのサービスが対応 | 対応 | Whisper単体にはない。別の部品で補う |
| 要約・議事録整形 | サービスに付属することが多い | 付属 | ローカルLLMを組み合わせる |
| 精度の確認 | 事業者の公表値 | 事業者の公表値、トライアル | 自社の音声で測る必要がある |
| 向く音声 | 機密性の低い会議、個人利用 | 社内一般の会議 | 外に出せない会議 |
ローカルWhisperの弱点は、話者分離と要約が「付いてこない」ことです。文字起こし本体はWhisperが担い、誰が話したかの分離は別の仕組み、要約と議事録への整形はローカルLLMが担う、という分業になります。クラウドサービスでは1つの画面で済んでいた作業が、社内では3つの部品の組み合わせになる点を、導入前に理解しておく必要があります。
Whisperのモデル選び（tiny〜large、turbo）
Whisperには6段階のモデルがあります。公式リポジトリに掲載されている表を、日本語の実務で見るべき点を添えて再掲します。相対速度はlargeを1倍としたときの目安です。
| モデル | パラメータ数 | 英語専用モデル | 多言語モデル | 必要VRAMの目安 | 相対速度 | 日本語の実務での位置づけ |
|---|---|---|---|---|---|---|
| tiny | 39M | tiny.en | tiny | 約1GB | 約10倍 | 動作確認用。日本語の実務には不足しやすい |
| base | 74M | base.en | base | 約1GB | 約7倍 | 動作確認用 |
| small | 244M | small.en | small | 約2GB | 約4倍 | 軽量機で試す起点 |
| medium | 769M | medium.en | medium | 約5GB | 約2倍 | 精度と速度の中間 |
| large | 1550M | なし | large | 約10GB | 1倍 | 精度の上限を確かめる基準 |
| turbo | 809M | なし | turbo | 約6GB | 約8倍 | 実務の第一候補 |
選ぶときの要点は3つです。
- 日本語には多言語モデルを使います。「.en」が付く英語専用モデルは日本語を書き起こせません。表の右側（多言語）だけが対象です
- turboが実務の第一候補です。公式リポジトリはturboを「large-v3を最適化したモデルで、わずかな精度低下と引き換えに高速に文字起こしできる」と説明しています。largeの約10GBに対して約6GBで動き、速度は約8倍とされています。まずturboで試し、精度が足りないときにlargeで差を確かめる順番が無駄がありません
- turboは翻訳タスクには使えません。公式リポジトリは「turboは翻訳タスク用に学習されていない」と明記しています。英語の会議を日本語の議事録にしたい場合は、Whisperで英語のまま書き起こし、翻訳はローカルLLMに任せます。翻訳側のモデル選びと精度の確かめ方は『ローカルLLMで翻訳する2026』で扱っています
必要VRAMの数値はPython版の目安です。後述のwhisper.cppでは量子化によってメモリの目安が小さくなります。
実装は2系統。openai/whisperとwhisper.cpp
ローカルでWhisperを動かす実装は、大きく2つあります。どちらもMITライセンスで、モデルの重みは共通の学習結果を使います。
| 項目 | openai/whisper（Python版） | whisper.cpp（C/C++版） |
|---|---|---|
| 言語・依存 | Python。PyTorchを使う | C/C++。外部依存なし |
| 向く環境 | NVIDIA GPUのあるPC・サーバー | Apple Silicon Mac、GPUのないPC、Windows、組み込み |
| GPU対応 | CUDA | NVIDIA CUDA、AMD ROCm、Vulkan、Intel OpenVINO |
| Apple Silicon | 動くが最適化は限定的 | ARM NEON・Accelerate・Metal・Core MLで最適化 |
| CPUだけでの実行 | 可能だが遅い | 設計上の前提。CPUだけで動く |
| 量子化 | 標準では持たない | F16/F32の混合精度と整数量子化に対応 |
| モデル形式 | 公式の重みをそのまま読む | ggml形式。付属スクリプトでダウンロード |
| 使い方 | whisper audio.mp3 --model turbo、またはPythonから whisper.load_model("turbo") と model.transcribe(...) | コマンドラインのツール群。VAD（音声区間検出）に対応 |
| 対応OS | Python が動く環境 | macOS（Intel/Arm）、iOS、Android、Linux/FreeBSD、WebAssembly、Windows、Raspberry Pi、Docker |
使い分けの目安は単純です。NVIDIA GPUを積んだWindowsやLinuxのサーバーがあるならPython版、Apple Silicon Macか、GPUのない事務用PCで動かすならwhisper.cppです。社内に置く機材がMacになることが多い中小企業では、whisper.cppが起点になります。
whisper.cppのモデルのメモリ目安は、公式リポジトリの記載でtinyが約273MB、baseが約388MB、smallが約852MB、mediumが約2.1GB、largeが約3.9GBです。Python版の必要VRAMと比べて小さく、メモリ16GBのノートPCでもlargeが載る計算になります。ただし、メモリに載ることと実用的な速度で動くことは別なので、所要時間は後述の手順で必ず測ります。
必要スペック（Mac／Windows／GPU）
「どのPCなら動くか」は、どの実装でどのモデルを動かすかで決まります。既存の機材で試すときの考え方を環境別に整理します。
Mac（Apple Silicon）
Apple Silicon搭載のMacは、whisper.cppが最も素直に動く環境です。公式リポジトリはARM NEON・Accelerate・Metal・Core MLでの最適化を明記しており、GPUを別途用意する必要がありません。メモリはユニファイドメモリなので、モデルのメモリ目安（largeで約3.9GB）に加えて、同時に動かすローカルLLMの分を見ておきます。文字起こしと要約を同じMacで回すなら、LLM側のモデルサイズが機材を決めます。ノートPCの搭載メモリ別にどのクラスのLLMが動くかは『ノートPCで動く軽量ローカルLLM 2026』、据え置きのMacを社内の共有サーバーにする構成は『Mac Studioを社内AIサーバーにする2026』で扱っています。
Windows（GPUあり）
NVIDIA GPUを積んだWindowsなら、Python版をCUDAで動かすのが標準です。必要VRAMはモデル表のとおりで、turboなら約6GB、largeなら約10GBが目安です。ゲーミングPCや既存のワークステーションで試せることが多く、社内に1台あれば検証は始められます。whisper.cppもCUDAに対応しているので、Python環境を整えたくない場合はこちらでも構いません。
Windows（GPUなし）
事務用のノートPCなど、GPUのないWindowsでもwhisper.cppはCPUだけで動きます。ただし、処理時間は長くなります。1時間の会議を文字起こしするのに何分かかるかは機材次第なので、まずsmallかmediumで所要時間を測り、業務として待てる時間に収まるかを確かめてから、turboやlargeに上げます。夜間にまとめて処理する運用なら、GPUなしでも成立することがあります。
共有サーバーにする場合
複数人が録音を投げる運用では、1台のMacかGPU搭載サーバーを社内LANに置き、ブラウザやフォルダ経由で音声を受け取る構成になります。設置場所・電源・騒音・担当者の確認項目は『ローカルLLMを社内サーバーとして置く前に確認する10項目』にまとめています。消費電力はノート系Mac（M4 Max）の推論時がおよそ40〜80Wであるのに対し、RTX 5090はGPU単体で最大575Wと一桁違うため、常時稼働させるならMacの省電力が効きます。
社内構成の例。録音から議事録まで外に出さない
Whisperは文字起こしまでを担います。議事録として使える形にするには、前後に部品が要ります。社内で完結する構成の一例です。
| 段階 | 担う部品 | 社内に置く場所 | 備考 |
|---|---|---|---|
| 1. 録音 | 会議室のレコーダー、PCの録音 | 録音機材 | 録音の同意を取る（後述） |
| 2. 取り込み | 社内のファイルサーバーまたは共有フォルダ | 社内LAN | 音声ファイルの保存場所と保持期間を決める |
| 3. 文字起こし | Whisper（whisper.cppまたはPython版） | 社内のMacかGPUサーバー | モデルはturboから |
| 4. 話者分離（任意） | 別の話者分離の仕組み | 同じサーバー | Whisper単体にはない |
| 5. 要約・議事録整形 | ローカルLLM | 同じサーバー、または別のLLMサーバー | 決定事項・宿題・期限の抽出 |
| 6. 保存・共有 | 社内の文書管理 | 社内LAN | アクセス権限を会議の機密区分に合わせる |
要点は、文字起こしの結果をそのまま議事録にしないことです。Whisperの出力は「話したことがそのまま文字になったもの」で、言い淀みや言い直しを含みます。ローカルLLMに「決定事項・担当・期限を抽出し、発言の重複を除いて整形する」よう指示すると、議事録の下書きになります。LLM側の構成とモデル選びは『生成AIをオフラインで使う2026』、英語の会議を日本語に直す場合は『ローカルLLMで翻訳する2026』を参照してください。
この構成では、音声・書き起こし・議事録のすべてが社内LANの内側に留まります。インターネットに接続しない機材で動かす場合、Whisperのモデルファイルは事前にオンライン側で取得して持ち込みます。持ち込み時のハッシュ照合と更新の手順は、オフライン記事の「つながないと困る5つの作業」で扱っています。
日本語の文字起こしで起きやすい問題と対処
Whisperは多言語モデルで日本語に対応しますが、会議音声に特有の問題があります。導入前に知っておくと、評価のときに何を見るべきかが決まります。
- 固有名詞・社内用語・専門用語の誤り: 人名、製品名、社内の略語は、一般的な語に置き換わりやすい箇所です。Whisper自体に用語集を渡す仕組みは標準では弱いため、後段のローカルLLMに用語集を渡して修正させる方法が現実的です。翻訳記事で扱った用語集のプロンプト設計がそのまま使えます
- 話者が分からない: Whisperの出力に「誰が話したか」は含まれません。議事録で発言者を残したい会議では、話者分離の部品を足すか、議事録整形の段階で担当者が補います。評価のときに「話者分離が必要な会議かどうか」を先に決めておきます
- 長時間音声の扱い: 1時間を超える会議は、無音や区切りで分割してから処理すると扱いやすくなります。whisper.cppのVAD（音声区間検出）を使うと、無音区間を飛ばして処理できます
- 無音区間での繰り返し（幻聴）: 無音や雑音だけの区間で、実際には話していない文や同じ語の繰り返しが出力されることがあります。VADで無音を除く、出力の繰り返しを後段で検出して除く、といった対処をします。評価セットに「無音の多い録音」を1本入れておくと、この問題の出方が分かります
- 音質と話者数: 会議室の集音マイクで遠くの発言を拾った録音は、精度が落ちます。評価は、実際に使う会議室と機材で録った音声で行います
- 言い淀み・言い直し: 話し言葉がそのまま文字になるため、議事録にはLLMでの整形が要ります。文字起こし単体の精度と、議事録としての使いやすさは分けて評価します
社内で精度を確かめる手順
精度は自社の会議で測るしかありません。手順は翻訳記事の評価と同じ考え方で、音声向けに置き換えます。
評価セットを作る（会議音声10〜20本）
- 実際に文字起こしの対象にする会議の録音から、10〜20本を選びます。会議室・マイク・話者数・専門用語の多さが違うものを混ぜます。無音や雑音の多い録音も1〜2本入れます
- 各録音の一部（5〜10分でよい）について、担当者が正解の書き起こしを作ります。全編でなくても、同じ区間でモデルを比べられれば十分です
- 評価セットは社内の機密区分に従って保管し、評価が終わっても次のモデル更新時に再利用します
誤り率の数え方を決める
- 正解の書き起こしと出力を並べ、置換・脱落・挿入の数を数えて誤り率とします。数え方は社内で1つに決め、全モデルで同じ方法を使います
- 固有名詞・数値・日付の誤りは、議事録では致命的になるため、別枠で件数を数えます
- 無音区間での幻聴（話していない出力）の件数も別枠で数えます
モデルサイズ別に比較し、所要時間も記録する
- 同じ評価セットをsmall・medium・turbo・largeに通し、誤り率と所要時間を表にします
- 所要時間は「録音の長さに対して何倍の時間がかかったか」で記録すると、機材が変わっても比較できます
- 精度の差が小さく速度の差が大きいなら、速いモデルを選びます。精度が足りないときだけ上のモデルに上げます
合否ラインを先に決める
- 「固有名詞の誤りが1本あたり何件以内なら、担当者の修正で運用できるか」を業務側が決めます
- 「1時間の会議を何分以内で処理できれば、翌朝の議事録配布に間に合うか」を運用側が決めます
- 合否ラインは評価の前に文書にし、評価結果を見てから動かさないようにします。精度・速度・同時利用・運用負荷の4軸で評価シートを作る方法は『ローカルLLM PoCの評価シート』にまとめています
個人情報と録音の同意
文字起こしをローカルにしても、録音と書き起こしが個人情報であることは変わりません。社内で決めておく項目を挙げます。
- 会議の録音に参加者の同意を得る手順と、同意を記録する方法
- 音声ファイルと書き起こしの保存場所、保持期間、削除の責任者
- 人事面談や医療面談など要配慮個人情報を含む録音のアクセス権限
- 文字起こしの出力をそのまま社外に出さないルール（誤りを含む前提で、担当者の確認を経る）
- 評価セットとして保管する音声の扱い（評価後も残すなら、その旨を同意に含める）
これらは社内の生成AI利用規程に文字起こしの条項として入れると、運用が揃います。条文例を含むひな形は『社内生成AI利用規程のひな形2026』、ローカルに置いても残るアクセス制御やログの論点は『ローカルLLMは本当に安全か』を参照してください。
導入前チェックリスト
- ローカルで文字起こしする会議の種類を決め、クラウドで足りる会議と分けた
- 日本語に使う多言語モデルを選び、turboを第一候補にした（英語専用モデルを選んでいない）
- 実装をPython版かwhisper.cppか、機材に合わせて決めた
- 文字起こし後の要約・整形を担うローカルLLMと、その機材を決めた
- 話者分離が必要な会議かどうかを決め、必要なら部品を用意した
- 評価セット（会議音声10〜20本、正解の書き起こし）を作った
- 誤り率の数え方と、固有名詞・幻聴の別枠集計を決めた
- 合否ライン（精度・所要時間）を評価前に文書にした
- 録音の同意、保存場所、保持期間、アクセス権限を規程に入れた
- インターネットに接続しない機材で動かす場合、モデルの持ち込みと更新の手順を決めた
まとめ
- Whisperはコードとモデルの重みがMITライセンスで公開された音声認識モデルで、社内のMacやPCだけで文字起こしが完結します。外に出せない会議の録音に向きます
- モデルはtiny〜large・turboの6段階で、日本語には多言語モデルを使います。実務の第一候補はturbo（必要VRAM約6GB、相対速度約8倍）で、翻訳タスクには使えないため翻訳はローカルLLMに任せます
- 実装はPython版（NVIDIA GPU向き）とwhisper.cpp（Apple Silicon・CPU・Windows向き）の2系統で、whisper.cppはGPUなしでも動き、モデルのメモリ目安はlargeで約3.9GBです
- 文字起こしの後にローカルLLMで要約・議事録整形をする構成にすれば、録音・書き起こし・議事録が社内に留まります。話者分離はWhisper単体にはありません
- 精度は自社の会議音声10〜20本で正解を作り、誤り率の数え方と合否ラインを先に決めてモデル別に比較します。所要時間も必ず記録します
よくある質問
Q. Whisperをローカルで動かすと、音声はどこにも送られませんか？
Whisper自体はモデルを社内の機材に置いて動かすため、音声も書き起こしも外部に送信されません。ただし、録音の取り込みに使うクラウドストレージや、要約に使うAIがクラウドなら、その経路で外に出ます。録音から議事録の保存まで、すべての部品を社内LANの内側に置いて初めて「外に出ない」構成になります。インターネットに接続しない機材で動かす場合は、モデルファイルを事前に取得して持ち込みます。
Q. 日本語の文字起こしにはどのモデルを選べばよいですか？
多言語モデルのturboが第一候補です。公式リポジトリはturboをlarge-v3の最適化版と説明しており、必要VRAM約6GB、相対速度約8倍で、わずかな精度低下と引き換えに高速です。「.en」が付く英語専用モデルは日本語に使えません。精度が足りないと感じたときだけ、largeで差を確かめます。
Q. MacとWindowsのどちらが向いていますか？
Apple Silicon搭載のMacなら、C/C++実装のwhisper.cppがMetalとCore MLで最適化されており、GPUを別途用意せずに動きます。NVIDIA GPUを積んだWindowsなら、Python版をCUDAで動かすのが標準です。GPUのないWindowsでもwhisper.cppはCPUだけで動きますが、処理時間が長くなるため、まず所要時間を測ってから運用に組み込みます。
Q. 必要なメモリやVRAMはどのくらいですか？
Python版の必要VRAMの目安は、tiny・baseが約1GB、smallが約2GB、mediumが約5GB、turboが約6GB、largeが約10GBです。whisper.cppのモデルのメモリ目安は、tinyが約273MB、baseが約388MB、smallが約852MB、mediumが約2.1GB、largeが約3.9GBです。同じ機材でローカルLLMも動かす場合は、LLM側のモデルサイズを加えて機材を選びます。
Q. 話者分離や要約はできますか？
Whisper単体には話者分離の機能がなく、出力は「誰が話したか」を含みません。要約や議事録への整形も別の部品が担います。話者分離は専用の仕組みを足し、要約と整形はローカルLLMに任せる構成が標準です。クラウドの文字起こしサービスでは1つの画面で済んでいた作業が、社内では3つの部品の組み合わせになる点を導入前に理解しておきます。
Q. 精度はクラウドの文字起こしサービスと比べてどうですか？
会議室の音質、話者数、専門用語の多さで大きく変わるため、一般論では答えられません。本記事では精度の数値を示さず、自社の会議音声10〜20本で正解の書き起こしを作り、誤り率の数え方と合否ラインを先に決めてモデル別に比較する手順を示しています。固有名詞の誤りと、無音区間での幻聴は別枠で数えると、運用で修正できる範囲かどうかが判断できます。
主な参考資料: openai/whisper（公式リポジトリ）、ggml-org/whisper.cpp、個人情報保護委員会「生成AIサービスの利用に関する注意喚起等について」。Whisperのモデル表・対応環境・メモリ目安は2026年10月3日時点の各リポジトリの記載に基づきます。モデルや実装は更新されるため、導入時に最新の記載を確認してください。
TodoONadaでは、外に出せない会議音声の文字起こしと、ローカルLLMによる議事録整形を社内で完結させる構成の設計・検証を支援しています。機材を買う前に、DGX SparkやMacを貴社オフィスに設置して2週間で「置けるか」を判定する社内設置の実現性検証（30万円〜・税別・機材貸出料込み）と、自社の会議音声で精度と所要時間を確かめるミニ検証（約30万円・2週間）を承っています。「うちの会議室の録音で使えるか」という相談だけでも歓迎します。
この記事に関連するサービス
TodoONada株式会社では、機密データを外部に出さないローカルLLMの導入支援を行っています。
- ローカルLLM導入支援 — GPUサーバーでの本格構成。モデル選定からRAG構築・運用まで
- Macで始める社内専用AI導入支援 — Mac 1台から始める社内専用AI。PoCから部門導入まで対応
- ローカルLLM 社内設置の実現性検証（機材貸出） — 機材を買う前に、DGX SparkやMacを貴社オフィスに2週間設置して「置けるか」を判定。機材のみの短期貸出も対応
導入・開発のご相談はお問い合わせからお気軽にどうぞ。検討段階のご相談も歓迎です。
出典・参照
- openai/whisper（公式リポジトリ。モデル表・使い方・MITライセンス） （2026年10月3日確認）
- ggml-org/whisper.cpp（C/C++実装。対応プラットフォーム・量子化・メモリ目安・MITライセンス） （2026年10月3日確認）
- 個人情報保護委員会「生成AIサービスの利用に関する注意喚起等について」（2023年6月2日） （2026年10月3日確認）
