AIは「誰が話したか」を当てられるのか、3本試しました

議事録を自動で作るAIの説明には、たいてい「話者を自動で判別します」と書いてあります。話者1、話者2、話者3——というふうに、誰の発言かを分けてくれる、というものです。

実際のところ、どこまで当たるのでしょうか。

条件を変えて3本試しました。結論から言うと、当たった場と、まったく当たらなかった場が、はっきり分かれました。

試した3本と、その結果

録った条件	実際の人数	AIが分けた人数
話者ごとにマイクが分かれている録音（公開されている記者会見）	4人	3人
対面の会話を、机に置いたPCのマイク1本で	2人	1人（分かれなかった）
声の近い3人の対談（収録済みの音声）	3人	2人（実質ひとりが全部を吸った）

うまくいったのは1本目だけです。しかもその1本目も、4人を3人と数えました（1人が別の1人に吸収されました）。

2本目は、こちらが試したなかでいちばん素朴な条件でした。同じ机で2人が話し、PCのマイクが1本。これがまったく分かれません。 最初から最後まで、ひとりの発言として並びました。

手がかりは「声の質」しかない

なぜそうなるのか。理屈は単純です。

音声から取れる手がかりは、声そのものの違いだけです。人間なら「いま喋っているのは向かいの人だ」と目で見て分かりますが、録音にはその情報がありません。

だから、次の条件が重なるほど、区別する材料が消えていきます。

• 同じ部屋・同じ距離で、同じマイクに入る（音の通り道が同じになる）
• 声の高さや話し方が近い
• 相槌が絶えず入り、声が重なる

1本目が当たったのは、話者ごとに別のマイクを通っていたからです。声質だけでなく、音の入り口そのものが違う。加えて、1人が長く続けて話す場面が多い録音でした。

日本語の商談は、いちばん厳しい条件に近い

ここが実務にとって大事なところです。

日本語の打ち合わせは、相槌がとても多い言語です。「はい」「なるほど」「そうですね」が、相手が話している最中に絶えず重なります。そして2人で向かい合っているとき、声は同じ1本のマイクに、同じような距離から入ります。

つまり商談の録音は、3本のうち2本目・3本目——うまくいかなかったほう——に近い条件です。

「打ち合わせを録りさえすれば、誰の発言かが分かる」とは考えないほうがいい、というのが3本試したあとの実感です。

交代の直後が、いちばんズレる

当たった1本目にも、傾向がありました。

長く話している間は安定していますが、話し手が切り替わった直後がズレます。 実測では、質問が終わって回答が始まる境目で、回答の冒頭が質問者側の発言として残る混入が2か所ありました。

これは実務では厄介です。いちばん大事な一言は、たいてい話し手が切り替わった直後にあるからです。「では、それでお願いします」「その方向で進めましょう」——決まった瞬間の言葉ほど、短くて、切り替わりの境目にあります。

だから、話者の番号だけを根拠に「これは誰の発言」と決めてはいけません。

実務でどうするか（3つ）

では、諦めるしかないのか。3つ手があります。

① AIに、本文から推測させる

「◯◯です」という名乗りや、「◯◯さん、どうでしょう」という呼びかけが本文にあれば、AIはそこから話者と名前を結びつけられます。

ただし面識のある打ち合わせでは、誰も名乗りません。 初回の商談や、登壇・面接のような場でなければ、この手は材料がありません。

② 人が、後から名前を振る

いちばん確実です。話者1が誰かは、その場にいた人なら間違えようがありません。

問題は手間で、道具が無いと本文を最初から最後まで書き換えることになります。逆に言えば、「話者1＝◯◯さん」と一度指定すれば全部置き換わる形なら、この作業は数十秒で終わります。

③ 冒頭で、一言ずつ名乗る

いちばん安いのはこれです。録り始めに「◯◯社の△△です」と一人ずつ言うだけ。 それだけで①の材料が生まれ、AIが名前を当てられるようになります。

実際にこの運用をしている方がいます。議事録を日常的に作っている方に手順を聞いたところ、「会議の冒頭で自己紹介をしておけば、登場人物もある程度整理してくれる」とのことでした。

しかも、この一言は録音の断りと同時に言えます。 「議事録を作るので録音させてください。では、一言ずつ自己紹介からお願いします」——これだけです。

ただし注意が1つ。 名乗っても、そもそも話者が分かれていなければ割り当て先がありません。 2本目の条件（対面・マイク1本）では、名乗った声も同じ話者として並びます。マイクを1本しか置けない対面では、③より②のほうが確実です。

「直す前提で置く」という考え方

最後に、3本試して考えが変わったことを書きます。

議事録を日常的に作っている方の実物を見せていただいたのですが、参加者3名のうち1名の姓が、本文の1か所だけ別の姓になっていました。 その方自身も「完璧ではないので、ある程度手修正は必要です」とおっしゃっていました。

精度が高いと評価されている運用でも、直しは残る。 これは道具の欠陥というより、音声から人を特定するという仕事の性質です。

だとすると、目指すべきは「直しをゼロにする」ことではありません。直す前提で置いて、直す手間を最小にすることです。

直せない形で置かれた結果は、直せないぶんだけ嘘になります。 誰の発言か分からないものを、それらしい名前で埋めてしまったら、後から読む人はそれを事実として読みます。

私たちがやっていること

リレーションログでは、AIが出すのは候補までと決めています。

打ち合わせのメモをAIで整形すると、会社・人物・案件・やること（担当と期日つき）を抜き出します。ただし、それが登録されるのは、人が「この内容で保存」を押したときだけです。誰が誰かの結びつけも、AIが勝手に確定させることはありません。

気づきと候補までが道具の仕事、確定と行動は人の仕事。 この線を引いておくと、AIが外したときに直せます。

効果は、この問いで測ってください

「先週の打ち合わせで決まったことを、出席していなかった人が読んで分かる形で、どこかに残っていますか。」

残っていないなら、それは出席した人の記憶の中にだけあります。 そして記憶は、誰が言ったかより先に、何が決まったかを落とします。

話者を当てることに悩む前に、決まったことが残っているかを先に確かめる——3本試して、いちばん強くそう思いました。

---

関連：営業の抜けは、ツールとツールの間で起きる／「電話したけど不在」を、どこに書いていますか／機能と料金