技術ブログ「AI・ローカルLLM」
AI・ローカルLLM ローカルLLMを社内サーバーとして置く前に確認する10項目。電源・熱・騒音・ネットワーク・電気代・担当者
ローカルLLMの導入相談で、機材の性能より先に詰まるのが「どこに置くか」です。GPUサーバーを買ってから電源容量が足りないと分かった、執務室に置いたら音で苦情が出た、情報システム部門の承認が下りずにL…
AI・ローカルLLM ローカルLLM PoCの評価シート。精度・速度・同時利用・運用負荷の4軸と合否ライン、自社データで精度を測る手順
「ローカルLLMの精度はどのくらいですか」という質問に、公開ベンチマークの順位で答えても検討は前に進みません。業務で問われるのは、自社の文書と自社の質問に対して、人手の修正なしで使える出力がどれだけ出…
AI・ローカルLLM ローカルLLM機材をレンタルして検証する2026。買う前に確かめる3つのこと、買う・借りる・クラウドで試すの比較、返却時のデータ消去
「ローカルLLMを社内に置きたい。でも何を買えばいいか分からないし、買ってから置けないと困る」。この相談に対して、私たちが最初に勧めるのは機材の購入ではなく、検証機材を借りて自社のオフィスで動かすこと…
AI・ローカルLLM ローカルLLMは本当に安全か。閉域でも残る7つのセキュリティリスクと対策(Ollama設定・モデル供給網・RAG・ログ)
「ローカルLLMなら社内で完結するから安全」という説明は、半分だけ正しいです。外部のAI事業者にデータを送らないという一点では確かに安全で、学習利用や事業者側での保持、海外リージョンへの送信といった心…
AI・ローカルLLM ローカルLLM PoCの稟議書テンプレート。セキュリティ事故を根拠にした費用対効果の書き方と、通る稟議の7項目
「ローカルLLMを試したいが、稟議が書けない」。情報システム部門や企画部門からこの相談を受けることが増えました。技術的にはOllamaを入れれば今日から動くのに、社内で費用を承認してもらう段になると、…
AI・ローカルLLM ローカルLLMで翻訳する2026。機密文書を外に出さないモデルの選び方と、社内で精度を確かめる手順
「この契約書、翻訳サービスに貼り付けていいんでしたっけ」。海外取引のある会社で、現場から情報システム部門に最も多く寄せられる質問の一つです。契約書・設計書・診療記録・取引先とのメールは、翻訳の需要が最…
AI・ローカルLLM Whisperをローカルで動かす2026。会議音声を外に出さない文字起こしのモデル選び・必要スペック(Mac/Windows/GPU)と、社内で精度を確かめる手順
「会議の録音をAIに文字起こしさせたいが、クラウドに上げてよいのか分からない」。取締役会、人事面談、顧客との商談、医療機関の面談記録など、録音そのものが機密情報である会議は少なくありません。文字起こし…
AI・ローカルLLM Mac Studioを社内AIサーバーにする2026。常時稼働・複数人接続・権限管理・MDMまで、1台構成の作り方
「Mac Studioを1台買って、部署のみんながブラウザから使える社内AIにしたい」。GPUサーバーを構えるほどではないが、機密文書をクラウドAIに出したくない会社から、この形の相談が増えています。…
AI・ローカルLLM 生成AIをオフラインで使う2026。閉域・ネットワーク分離・スタンドアロンの3構成と、インターネットにつながないと困る5つの作業
「生成AIは使いたいが、社外にデータを出せない」。この相談は、金融・医療・自治体だけでなく、取引先から秘密保持を厳しく求められる製造業や士業、そして最近では情報漏洩の報道を見た一般企業の経営層からも増…
AI・ローカルLLM オンプレLLMの構築手順2026。要件定義から機材・推論エンジン・UI・RAG・認証・運用までの7工程と、工程ごとの判断基準
「オンプレでLLMを構築したい」という相談で最初に出てくる質問は、ほぼ決まっています。何を買えばいいのか、どのモデルを使うのか、いくらかかるのか、誰が面倒を見るのか。この4つは別々の問いに見えて、実際…
AI・ローカルLLM Open WebUIの認証・SSO・権限設計。Entra ID/Google/LDAPでログインさせ、部門ごとに見える文書を分ける
社内にローカルLLMを置くとき、利用者が触るのは推論エンジンではなくUIです。Open WebUIはその代表で、ChatGPTに似た画面で社内モデルと社内文書(ナレッジ)を使えます。ところが導入直後の…
AI・ローカルLLM シャドーAI対策2026。禁止で止まらない理由と、公式ルートで吸収する設計(検知・ルール・ローカルLLMの受け皿)
「生成AIは禁止しているはずなのに、取引先への提案書にAIが作ったような文章が混ざっていた」。情報システム部門や総務の方からこうした相談を受けることが増えました。会社が把握・許可していない形で業務に使…