打ち合わせ音声から議事録、CPU100%の壁をGPU(RTX 5060 Ti)で突破した話(Claude Code × faster-whisper)

CPUで large-v3 を回した場合の推定 約4〜5時間と、GPU(RTX 5060 Ti)実測 約40分を比較したアイキャッチ画像

アイキャッチ:CPU 97%とGPU 95%を対比した、打ち合わせ音声議事録の高速化イメージ

 先日、ある打ち合わせのMP3録音から議事録を作る作業を、Claude Codeデスクトップ版にまかせてみました。最初はCPUで処理させていたのですが、Intel Core Ultra 7 265K が全コア真っ赤の100%近くまで張り付き、「このペースだと終わらないかも」と感じる場面に出くわしました。
 幸いこの作業環境にはNVIDIA GeForce RTX 5060 Tiを積んでいたので、ClaudeにGPUを使うよう助言したところ、自分でモデルを差し替えて高速処理に切り替えてくれた、という記録です。

最初はCPUに任せたが、全コア張り付きで時間がかかった

 文字起こしのバックエンドは faster-whisper(OpenAI Whisperの高速派生)です。Claude Codeデスクトップに音声ファイルと「議事録にしてほしい」という依頼を渡したところ、最初の構成は CPU + small モデルでスタートしました。
 しばらくしてタスクマネージャーを覗くと、Core Ultra 7 265K が CPU使用率97%、20コア/28スレッドが軒並みグラフ上限まで埋まっていました。最新世代のCPUでも、長尺の打ち合わせ音声をWhisperで処理するのは正直なところ荷が重い、というのが私の感想です。

CPU飽和の概要図:Core Ultra 7 265Kの全20コアがほぼ100%で張り付いている様子

Core Ultra 7 265K がCPU使用率97%まで張り付いている様子

Core Ultra 7 265K の全コアがCPU使用率97%まで張り付いたタスクマネージャー画面

GPU(RTX 5060 Ti)に切り替えるよう Claude に指示した

 私からClaude Codeに対して「このマシンにはGPUも載っているので、CPUではなくGPUを使って文字起こしさせてほしい」と伝えました。faster-whisper はCUDAに対応していて、GPUを使えば large-v3 のような高精度モデルでも実用的な速度で動きます。
 Claudeは素直に方針転換してくれて、CUDAランタイム(cuBLAS / cuDNN-NVRTC)の確認から進めてくれました。

GPUへの切替指示の概要図:私 → Claude → CPUからGPUへ実行系を切り替える

Claude にGPUへの切り替えを依頼したやり取り

Claude Code デスクトップの画面で、GPUアクセラレータを使うように指示しているプロンプトのやり取り

GPUモデル(large-v3, 2.9GB)のダウンロード

 次にClaudeは large-v3 モデル(約2.9GB)をダウンロードし始めました。ダウンロード中はGPUの3D使用率はまだ14%程度で、ディスクI/Oとネットワーク側が先に走っているのが分かります。専用GPUメモリは11.5/16.0GBまで確保され、ロード準備が進んでいる状態です。

モデルダウンロードの概要図:クラウドからlarge-v3 (2.9GB)をRTX 5060 Tiへロード

モデルロード前のGPU使用率は14%

モデルダウンロード中で、GPU使用率はまだ14%、専用GPUメモリ11.5/16.0GB、温度57℃のタスクマネージャー画面

large-v3 モデル(2.9GB)のダウンロードが完了

large-v3 モデル(2.9GB)のダウンロード完了をClaude Codeが報告するプロンプト画面

GPU稼働で文字起こしが軽快に進む

 モデルがVRAMに乗ると、GPUの3D使用率(実質はCUDAコアの稼働を反映)が一気に95%近くまで上がりました。専用GPUメモリは8.7/16.0GB、温度は54℃と安定していて、long-formの音声も淡々と処理が進んでいきました。CPU使用率は46%まで下がっていて、明らかにGPU側が主役になっています。
 Claude側のプロンプト画面でも「cuBLASのDLLロード成功」「モデルがGPUに7.7秒でロードされました」「GPUが文字起こし中です」と、順調なログが流れていました。

GPU稼働の概要図:GPU使用率95%、専用GPUメモリ8.7/16.0GB、温度54℃で安定稼働

GPUが約95%で安定稼働

GPU使用率95%、専用GPUメモリ8.7/16.0GB、温度54℃で安定稼働しているタスクマネージャー画面

Claude のプロンプト画面(cuBLAS DLLロード成功~文字起こし進行中)

GPU文字起こし進行中のClaude Codeプロンプト画面、cuBLAS DLLロード成功、モデルがGPUに7.7秒でロードされたログ

私の所感:「載っているハードは積極的に使ってあげる」が結論

 Claude Codeに作業をまかせるとき、AI側はその時点で「もっとも安全に動く構成」(CPU + 軽量モデル)を選びがちです。それは堅実な判断なのですが、実機にGPUが載っているのなら、こちらから「GPUを使ってよい」「large-v3 を使ってよい」と一声かけてあげるだけで、処理時間と最終アウトプットの品質が一気に変わります。
 今回の打ち合わせ音声の議事録化も、GPUに切り替えたことで時間に余裕ができ、私自身は議事録の体裁チェックや誤認識(人名・固有名詞)の補正に時間を回せました。
 「ハードを買うだけでは速くならない、AIに教えてあげるとちゃんと使い切ってくれる」というのが、今回の私の小さな学びです。同じようにClaude Codeで重い処理をさせている方には、ぜひ一度自分のマシン構成(GPUの有無、VRAM容量)をAIに伝えてみることをおすすめします。

所感の概要図:ハードを買うだけでは速くならない、AIにハードを伝えると使い切ってくれる

更新履歴

第1稿投稿 2026年4月22日 12時30分(記事コンテンツアップ)