GENERATIVEAI

文字起こしのベンチマークで3回転んだ — エンジンの差は0.3ポイント、測り方の差は17ポイント

Shinpei Okada

前回、日本語の文字起こしを Whisper・Gemini・Deepgram の3つで測り、精度では差が無かったと書いた。朗読で 13.0〜13.3%、差は 0.3 ポイントしかない。

その数字が出るまでに、測り方で3回転んでいる。どれも、エンジンを替えたときよりずっと大きく数字が動いた。前回は結論を急いだので短く済ませたが、今回はその3回を順に書く。

ベンチマークの数字を読む側にとっては、エンジンの話よりこちらのほうが役に立つと思う。

INDEX

先に結論 — 文字起こしの精度を動かしたのは、エンジンより測り方だった

LOFIR|エンジンを替えたときの 0.3・4.8 ポイントに対し、Whisper への渡し方を替えると 16.9 ポイント動いたことを示す横棒グラフ(文字起こしベンチマークの測り方)

同じ台で測ったなかで、何を変えると数字がどれだけ動いたかを並べる。

変えたもの数字の動き何と何の差か
エンジン(朗読)0.3 ポイントWhisper 13.0% / Gemini・Deepgram 13.3%
エンジン(会話)4.8 ポイントDeepgram 38.2% / Whisper 43.0%
表記のそろえ方(+本物の声に替える)順位が入れ替わるそろえる前は Deepgram 1.2%・Whisper 7.1%
Whisper への音声の渡し方16.9 ポイントまるごと 13.0% / 静かなところで切る 29.9%
会議用の設定のまま測る出力が空になる10 分の音声が 1 文字も返らない
表1:文字起こしベンチマークで、数字を動かしたもの

数字はどれも正解との食い違いで、小さいほど良い。正解の文字数に対して、何文字直せば一致するかの割合だ。

エンジンを替えて動いたのは、朗読で 0.3 ポイント、会話でも 4.8 ポイントだった。渡し方を替えただけで 16.9 ポイント動いている。エンジンも音声も同じまま、朗読でエンジンを替えたときの 50 倍以上動いたことになる。

転倒① 表記をそろえないと、精度ではなく「書き方の一致」を測ってしまう

LOFIR|2 つの文字起こし結果を印刷して、表記の違いを 1 行ずつ突き合わせる人(ベンチマークの表記ゆれ・正規化)

最初は、macOS の読み上げ機能(say コマンド)で作った合成音声で測った。原稿があるので、正解がはっきりしているからだ。

出てきた数字は Deepgram 1.2%、Whisper 7.1%、Gemini 10.0%。Deepgram の圧勝に見えた。

ところが 3 つの出力を並べると、文としてはどれも正しかった。差はこういうところにしか無い。

  • 「三つ」と「3つ」
  • 「二万ミリメートル」と「2万mm」

原稿は漢数字で書いてあった。だから漢数字で書き出すエンジンほど、正解と文字が一致して得をしていた。聞き取りの良し悪しではなく、書き方の好みが原稿と合っているかを測っていたことになる。

直す道具のほうでも転んだ

そこで、採点の前に書き方をそろえる処理を入れた。全角・半角をそろえ、「ミリメートル」を「mm」に、漢数字を算用数字に置き換えてから比べる。

この処理自体で、もう一度つまずいている。記号を落とす処理を先にかけると、長音の「ー」も記号として消えるので、「ミリメートル」が「ミリメトル」になる。そうなると単位の置き換えが一件も当たらない。単位を置き換えてから記号を落とす、という順番にして、ようやくそろった。

そろえ方はいまも完璧ではない。「十」「百」「千」は落としているだけなので、「二百」と「200」は一致しない。こうした粗さが採点に残っていることは、数字と一緒に書いておくべきだと思っている。

そろえたら、合成音声では差が消えた

書き方をそろえると、合成音声でのエンジン間の差はほとんど無くなった。合成音声は発音が明瞭で、言い淀みも雑音も無い。どのエンジンでも文として完全に起こせるので、差の出ようがなかった。

そこで、112 人が読み上げた Common Voice の日本語音声に切り替えた。前回の 13.0〜13.3% はこちらの数字だ。

前回は「表記をそろえたら逆転した」と一言で書いたが、正確には 2 つ直している。書き方をそろえたことと、合成音声をやめて本物の声にしたことだ。圧勝に見えた Deepgram は、この 2 つを直すと Gemini と並んで 13.3% になり、Whisper の 13.0% にわずかに及ばなかった。

転倒② Whisper に音声をどう渡すかで、同じエンジン・同じ音声の精度が 2.3 倍変わる

LOFIR|Whisper が 30 秒の窓を言い終わった文の終わりまで進め、次の窓をそこから始める流れを示すフロー図(音声の区切り方と文字起こしの精度)

会議中の文字起こしは、音声を区切りながら順に送っている。だからベンチでも、はじめは同じように区切ってから Whisper に渡していた。

区切り方だけを変えて、同じ Whisper・同じ音声(Common Voice 9.8 分)で測り直した。

渡し方切れ目を決めているのは食い違い
まるごと 1 回Whisper 自身(言い終わった文の終わり)13.0%
25 秒ごとに機械的に切るこちら(時間で一律)22.6%
静かなところで切るこちら(無音を探す)29.9%
表2:Whisper への音声の渡し方と、窓の切れ目を決めている側

Whisper は、窓の切れ目を自分で選んでいる

Whisper は 30 秒ずつ音声を見る。ただし 30 秒ごとに機械的に進むわけではない。公式の実装を読むと、30 秒の窓で文字を起こしたあと、最後に言い終わった文の終わりまでしか進まず、次の窓をそこから始める。文の途中で窓が終わった場合、その文は次の窓でもう一度頭から聞き直される。

こちらで先に 25 秒で切ると、この仕組みが働かない。切れ目が文の途中に来ても、Whisper にはその先の音が無いので、聞き直しようがない。

静かなところで切ると、さらに悪くなった

意外だったのは、無音を探して切ったほうが、時間で一律に切るより悪かったことだ(22.6% 対 29.9%)。静かなところなら文の途中で切らずに済むので、良くなると思っていた。

理由はまだ切り分けていない。手がかりとして、Whisper は 30 秒に満たない音声を無音で埋めてから処理する。静かなところで切ると短い断片が増えるので、中身の大半が無音という窓が増える。これが悪化の原因になっている可能性はあるが、確かめてはいない。

転倒③ 本番用の安全装置が、ベンチマークでは出力を丸ごと消した

10 分の音声を手元の Whisper に渡したら、文字起こしが 1 文字も返ってこなかった。エラーは出ていない。空の結果が、正常に返ってきた。

原因は、会議用に入れていた安全装置だった。Whisper は起こした区間ごとに「どれくらい自信があるか」の値を出す。会議中は、いちばん自信の低い区間がしきい値を下回ったら、その回の出力をまるごと捨てるようにしている。無音や雑音から存在しない文を作ってしまうのを防ぐためだ。

会議中は短い窓ごとに判定するので、区間は数個しかない。10 分の音声をまるごと渡すと区間は数十から百を超え、その中のどれか 1 つが下回れば全部捨てる。音声が長いほど、どこかで引っかかるのは避けられない。

空の出力を採点すると、食い違いは 100% になる。今回は全部消えたので気づけたが、半分だけ削れていたら「このエンジンは精度が悪い」と読んでいたと思う。比較するときはこの設定を外した。逆に、会議中の精度を名乗るなら、安全装置を入れたまま測る必要がある。この 2 つは別の問いだ。

ベンチマークの 13.0% は、会議中の文字起こしの精度ではなかった

3 回の転倒を並べて、ようやく気づいたことがある。

手元の Whisper を会議で使うとき、音声はまるごとではなく、いまは無音を探して、長くても 10 秒ほどに区切って渡している。ベンチの条件でいえば、いちばん悪かった「静かなところで切る」(29.9%)に近い。

つまり、前回の表で手元の Whisper に付いていた 13.0% は、条件をいちばん有利にしたときの数字で、会議中の手元 Whisper の精度を表していない。エンジン同士を比べるには公平な数字だが、「会議で使うと何%か」を知りたい人に渡す数字ではない。

これはベンチマークの数字一般に言える。精度の数字は、エンジンの力と、測り方の条件の両方でできている。そして今回、条件のほうが大きく数字を動かした。

ベンチマークの数字を見たら、まず確かめる 5 つ

ベンダーの資料でも比較記事でも、精度の数字を見たら、エンジンの名前より先に次のことを確かめるようにしている。

確かめること確かめないと起きること今回の例
正解は誰が書いたか自動の文字起こしを正解にすると、同じ系統のエンジンが勝つ会話データは人が書いた字幕のもの(YODAS の ja000)を選んだ
表記をそろえてから採点したか精度ではなく書き方の一致を測るそろえる前は Deepgram 1.2% / Whisper 7.1%
音声をどう区切って渡したか同じエンジンで数字が 2 倍以上動く13.0% → 22.6% → 29.9%
本番の設定のままか、外したか安全装置が出力を消す/外すと本番より良く見える10 分の音声が空になった
声は本物か、何人分か合成音声や 1 人の声では差が出ない・偏る朗読 112 人、会話 59 本の動画
表3:文字起こしのベンチマークを読むときに確かめること

このうち 1 つでも書かれていない数字は、そのまま自分の環境の精度として受け取らないほうがいい。

LLM の評価でも同じ転び方をする

LOFIR|AI が付けた記事の採点シートを、基準を変えて仕分け直す手元(LLM の評価・採点基準の揺れ)

この話は文字起こしに限らない。AI の出力を点数にするとき、同じ形の落とし穴がある。LOFIR でも、実際に踏んでいる。

自社の記事採点でも、基準を変えるたびに点が揺れた

LOFIR では、記事の下書きを AI に採点させている。見ているのは、読みやすさ、一次情報の量、情報の正確さ、検索や AI 検索に拾われやすいか、といった複数の観点だ。この採点の基準を足したり直したりするたびに、同じ記事の点が揺れてきた。

いつ変えたこと点の動き
2026-08-06採点者に渡す本文を、古い版から最終版に替えた69 → 77(不合格から合格に)
2026-08-15構成の観点に「節をまたいだ重複」の確認を足した構成の点 9 → 6
2026-08-16正確さの合格線を 6 点・7 点・8 点にしたら、既存 46 本のうち何本落ちるかを数えた不合格は 9%・33%・70%
2026-08-26書いた側の自己採点をやめ、誰が書いたかを伏せた別の採点者に替えた支援先の記事 5 本がすべて不合格。検索向けの点は 8 → 3〜6
表4:LOFIR の記事採点で、測り方を変えたら点が動いた例

1 行目では、記事は何も変わっていない。採点者に見せていた本文が古かっただけで、8 点動いて合否が入れ替わった。文字起こしで「どう渡すか」だけで数字が動いたのと同じ形だ。

2 行目は点が下がったが、記事が悪くなったわけではない。前の基準では、同じ事例を 2 つの節で説明し直している重複が見えていなかった。物差しを足して、初めて見えた欠陥だった。

3 行目は、合格線の引き方ひとつで、同じ記事の山から 1 割も 7 割も落とせるということだ。4 行目では、書いた側が自分で付けた点が甘かったと分かった。見出しを直したのに、本文の中には古い題が残っていた記事が 5 本中 4 本あった。

逆向きの失敗もある。出典の URL が実在したというだけで、存在しない調査の数字が正確さ 7 点で通ったことがある。どれも 1 回ずつの観察で、条件をそろえた実験ではない。それでも、基準や渡し方を変えたときの揺れは、記事どうしの差より大きく出ることが多かった。

論文でも、同じ形の偏りが報告されている

正解や採点者が、測られる側と同じ系統になる。 文字起こしで自動字幕を正解にすると同じ系統が勝つのと同じく、LLM に LLM の答えを採点させると、採点役が自分の書いた答えを高く評価する傾向が報告されている。並べた順番で判定が変わる傾向も同じ論文に出てくる(Zheng et al. 2023「Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena」)。

書き方の違いで正誤が変わる。 「3」と「三」を別の答えとして数えるのと同じことが、答えの書式でも起きる。選択肢の記号で答えたか、文で答えたかの違いだけで、機械の判定が一致しなくなることがある。

本番と測定で条件が違う。 長い文書を区切って渡すか、まるごと渡すか。指示文や設定を本番のままにするか。どれも、モデルを替えたときより大きく結果を動かしうる。

いまの LOFIR の採点は、書いたときとは別の文脈で、誰が書いたかを伏せて行っている。上の表の 4 行目で自己採点の甘さが出てから、この形に替えた。文字起こしで自動字幕を正解にしなかったのと、同じ理由からだ。

測定条件(再現用)

  • 2026-09-18 実測。MacBook Pro(Apple M4 Max・128GB)
  • 手元の Whisper: mlx-whisper large-v3-turbo
  • 朗読: Common Voice 27.0 日本語(CC0)120 クリップ・112 人・9.8 分
  • 会話: YODAS ja000(CC-BY-3.0)120 発話・59 本の動画・13.1 分
  • 採点は、全角・半角と単位・漢数字をそろえてから文字単位の編集距離で比べた。乱数の種は固定

この仕組みの公開と、導入のご相談について

LOFIR が公開した会議アシスタントツール Meeting Copilot(リアルタイム文字起こし・要約・声紋による話者認識)
会議アシスタントツール Meeting Copilot(リアルタイム文字起こし・要約・声紋による話者認識)

この記事で使っている測定の台は、会議の音声を拾って文字起こしし、会議中に論点と TODO を出し、終わったら議事録まで作る仕組みの一部です。エンジンは処理ごとに選べて、外に出したくない会議はワンクリックで全部手元に戻せます。

この仕組みは 2026 年 9 月 21 日に GitHub で公開しました(Meeting Copilot・MIT ライセンス・macOS 専用)。この記事と同じ測り方を、ご自分の環境で試していただけます。

自社の会議のために作って使っているものを、そのまま公開したものです。完成した製品ではなく、どなたの環境でもそのまま動く形に整えたものでもありません。自由に改造して使っていただく前提です。既定では文字起こしも要約も手元(mlx-whisper と Ollama)で動き、何も外へ出ません。

ただし、設定や導入のご相談は有償にて承ります(無償のサポート窓口は設けていません)。どのエンジンを選ぶか、どう区切って渡すか、何を正解にして測るかは、使う環境でかなり変わります。

ご興味のある方、お困りの方はお問い合わせください。

→ お問い合わせはこちら

この記事はどうでしたか?

ひとことメッセージを送る(匿名)
  • URLをコピーしました!

CONSULTATION

AI 導入や、Claude Code の導入レクチャー・勉強会・家庭教師も受け付けています。

行き詰まった、分からないところがある——そんなときは、個別の 1on1 や勉強会でご案内できますので、ご希望の場合はお気兼ねなくお問い合わせください。

相談してみる

この記事を書いた人

合同会社LOFIR 代表 / エンジニア。中学生のころ、HTML を手打ちしてホームページを作り、検索ロボットが巡回してくれる前の——Yahoo! に電話帳のように「登録申請」していた時代から Web に関わってきました。以来、メディア運営、コンサルティング、システム開発、制作チームのマネジメントを経て、2022 年に合同会社 LOFIR を設立。いまは中小企業の Web 制作・コンテンツ SEO・AI 導入支援を、自社開発の AI ワークフロー基盤「MIMIR」(n8n × Notion × 各社 LLM・40 以上の機能を 365 日稼働)と Claude Code で回しながら手がけています。このブログには、実際に手を動かして分かったことだけを書いています。

INDEX