開発の裏側 — 精度の測り方
正しさを、どう測るか
AI 文字起こしの良し悪しを「文字の一致率（CER）」だけで見ると、見誤ります。 大事な語を取りこぼしても全体ではわずかしか動かず、要約してしまう AI は中身を捉えても 数字上は壊滅する。だから私たちは、CER 以外の物差しを作って、正直に測り直しました。
なぜ「文字の一致率」だけでは足りないか
- 正解の議事録は整文済み。「えー」「あの」を忠実に書く AI ほど、 不当に減点されてしまう。
- 「壱岐」の一文字違いも、フィラーの一文字違いも、CER は同じ重みで扱う。 肝心の固有名詞が薄まる。
- 短く要約する AI は、中身を捉えていても文字数の差で CER が跳ね上がる。
作った5つの物差し
- 固有名詞を拾えたか（取りこぼし）／余計な固有名詞を入れていないか（誤挿入）
- 数字（金額・年度・議案番号）が合っているか
- 「音は合うが漢字違い」を見分ける（読みベースの差）
- 中身の一致（助詞やフィラーを除いた言葉だけで比べる）
- 正解が無くても、モデル同士の食い違いで怪しい所を見つける（参照なし）
モデル別に、全部の物差しで測ると
| モデル | CER | 内容語の誤り | 固有名詞 取りこぼし無 | 固有名詞 誤挿入無 | 数字 的中 | 音は合うが漢字違い |
|---|---|---|---|---|---|---|
| whisper-1 | 11.5% | 19.7% | 66.7% | 50.0% | 96.7% | 0.7pt |
| deepgram-nova-3 | 14.2% | 22.1% | 66.7% | 50.0% | 94.2% | 2.1pt |
| gcp-stt-latest-long | 19.7% | 28.0% | 72.2% | 58.3% | 90.7% | 1.6pt |
| gpt-4o-transcribe | 52.4% | 56.6% | 61.1% | 61.1% | 50.7% | 0.8pt |
| gpt-4o-mini-transcribe | 59.2% | 62.8% | 50.0% | 50.0% | 52.8% | 2.0pt |
※ 標本は 3 本の一般質問音声＝方向性の目安。会期で精度は振れます。 固有名詞の正解語は1サンプル2〜3語と少なく、値は粗い目安です。数字は元号と西暦の換算はしません。 （2026-06-08 時点・本番データから再計算）
正直な、3つの発見
AI に採点させたが、信頼できず断念した
「内容が合っているか」を AI 自身に採点させてみました。ところが、文字一致率が 52% と 壊れているモデルを甘く評価し、人間の判断とも矛盾した。物差しとして信用できないので、 採用を見送りました。
「このモデルは数字に弱い」は、自分たちの測り方のバグだった
あるモデルの数字的中が 45% と低く出て、「数に弱い」と結論しかけました。調べると、 そのモデルが数字を漢数字で書くのを、私たちの集計が数え落としていただけ。 直したら 94%（最良モデルは 97%）で、ほぼ互角でした。
「音は合うが漢字違い」のミスは、実はごく一部だった
同音異義の漢字ミス（例：港 と 鋼）は後処理で直せる、と考えていました。実測では誤りの 1〜2 ポイントに過ぎず、直しても伸びしろは小さい。力を入れるべきは別の所だと分かりました。
だから、順番が大事
まず物差しを信頼できるものにしてから、精度を上げる。一度出た数字を 鵜呑みにしない。これも「AI の誤りを隠さない」という、このサイトの姿勢の一部です。