ある顧客が分割払いについて問い合わせる。中国語で話し始め、商品名は英語で伝え、少し間を置いてから「不是 credit card，是 instalment plan（クレジットカードではなく分割払い）」と言い直す。
顧客にとっては、よくある一つの問い合わせだ。しかし音声AIにとっては、複数の課題が同時に生じている。電話越しの二つの言語を認識し、訂正内容を保持し、最初から説明し直してもらわずに応答しなければならない。個別の口座について答えるには、正しい情報を探し、その情報を伝えるための業務ルールにも従う必要がある。
複数言語に対応することと、多言語の会話に対応することには違いがある。前者は複数の言語を処理できること。後者には、言葉や発音、意図が変化しても、相手の伝えたいことをリアルタイムで追い続ける力が求められる。
音声エージェントを構築・選定するチームが考えるべきなのは、一文を書き起こせるかだけではない。システム全体が顧客の話を聞き取り、会話についていき、問い合わせを有意義な結果につなげられるかが重要になる。
電話での言語切り替えが難しい理由
顧客は言語を切り替える前に、そのことを宣言するわけではない。香港では広東語で話しながら商品名だけ英語を使う人もいる。シンガポールでは英語、普通話、地域特有の表現が一つの会話に混ざることもある。アラビア語話者が地域の方言と英語の用語を併用することもある。これらは話し方の例であり、その地域の全員に当てはまるものではない。
難しさは言語の数だけにあるのではない。外来語が地域のアクセントで発音されたり、商品名が日常語に似て聞こえたりする。周囲の騒音によって、言葉を区別する音節が聞こえなくなることもある。話者が言い直したときには、訂正の内容だけでなく、何を訂正したのかも捉えなければならない。
電話音声には別の制約もある。従来の電話回線の一部では、毎秒8,000回のサンプリングによる狭帯域音声が使われる。広帯域音声と比べ、認識システムが利用できる音声周波数の情報は少ない。騒音や通信状態の悪さ、マイクからの距離が加わると、聞き取りにくい言葉はさらに識別しづらくなる。
そのため、クリアな録音での性能だけでは、実際のコンタクトセンターでどう対応できるかは分からない。モデルは届いた音声を処理すると同時に、システム全体として、確信を持って答えるには情報が不十分な場合を見極める必要がある。
音声から意味へ：重要な情報を正確に捉える
音声認識（ASR）は、音声をシステムが処理できる形に変換する。言語が混在する発話では、一つの文の中で言語のパターン、地域の発音、業務用語を区別する必要がある。別の言語の文中で、地域のアクセントを伴って発音された英語の商品名も、識別できなければならない。
Dyna.Aiは、混合言語、アクセント、背景騒音を含む実際の会話環境に向けて音声モデルを開発している。Voice Agent は、顧客との会話における地域の話し方に対応するよう設計されている。顧客が台本どおりに話さない場合や、別の言語の中に商品名が入る場合に重要な能力だ。
認識品質の評価には、単語誤り率（WER）や文字誤り率（CER）がよく使われる。どちらも書き起こしを正解のテキストと比較し、置換・削除・挿入を数える。多言語音声でスコアを比較するには、表記、文字体系、単語の区切りについても一貫した基準が必要だ。アラビア語と英語が混在する音声に関する研究は、言語をまたぐ書き起こし表記の難しさを示している。
全体の誤り率は有用だが、業務への影響をすべて示すわけではない。口座の種類、金額、否定を聞き間違えれば、依頼の意味が変わり得る。流暢に答えていても、違う質問に答えているかもしれない。認識とその後の理解を一緒に考える必要があるのはそのためだ。
途中で変わる会話を理解する
書き起こしだけでは、対応に必要な情報はそろわない。顧客の意図、すでに確認した内容、途中で修正された情報も保持する必要がある。
例えば、顧客が「クレジットカード」を「分割払い」に言い直した場合、システムは後者を別の話題ではなく訂正として扱わなければならない。その後に支払いを依頼したなら、それは先ほどの説明依頼とは別の新しい行動だ。以前の推測を指示に変えてしまわず、必要な文脈を会話の先へ引き継ぐ必要がある。
一般的な設計の一つは、選択された商品、求められた行動、確認状況などを構造化された会話状態として管理し、会話に応じて更新する方法だ。Dialogflow CXのセッションパラメータは、その一般的な例である。実装はプラットフォームごとに異なるが、訂正内容を次の応答や行動に反映することが基本になる。
タイミングにはトレードオフもある。発話の途中結果を処理すれば早く準備できるが、未完の言葉には意味を変える訂正がまだ含まれていないかもしれない。顧客が話している間に一般的な案内を検索するのは役立つ。一方、話し終わる前や必要な確認を得る前に重要な処理を実行するのは別の問題だ。早めの準備と、承認された行動は分けて考える必要がある。
音声には言葉だけでなく、間、強調、声の調子も含まれる。間があるからといって、話し終えたとは限らない。声の変化は注意を払うきっかけになり得るが、感情や人物像を確実に判断できるものではない。人に代わってほしいという明確な依頼も含め、会話の文脈に応じて対応することが大切だ。
自然な会話は、声の質とタイミングの両方で決まる
電話の会話は、テキストチャットのようにきれいに交互には進まない。顧客は応答の途中で割り込んだり、情報を追加したり、考えを変えたりする。エージェントが話し続けて相手の声を遮れば、回答自体が正確でも会話はうまくいかない。
割り込みへの対応には、顧客が話し始めたことを検知し、出力音声を停止または調整し、新しい発話を文脈に沿って解釈する判断が必要だ。反応が遅すぎると訂正しづらくなり、周囲の音や短い相づちにまで反応すると、不必要に発話が止まる。適切なバランスは、環境と対象となる会話によって異なる。
ストリーミング処理は、顧客が話し終えてから応答が始まるまでの待ち時間を短くできる。各処理の完了を順番に待つ代わりに、入力音声の処理と応答の準備を並行して進められる。Dyna.Aiの自社開発推論エンジンは、音声認識、言語理解、音声合成を並行ストリーミングで処理する。入力を処理しながら会話を途切れにくくすることが目的だ。
ただし、速さだけで体験は決まらない。顧客が割り込んだとき、すでに再生待ちになっている音声も適切に扱う必要がある。例えば、双方向のTwilio Media Streamでは、アプリケーションがclearメッセージを送信してバッファされた音声を消去できる。利用できる制御は電話システムによって異なる。また、音声を止めても、すでに別システムに送信した処理は取り消されない。その場合は適切な業務手続きが必要になる。
応答する内容が決まったら、声そのものも重要になる。Dyna TTSは、日本語のイントネーションやビジネス用語、香港向けの広東語など、言語に応じた音声合成を提供する。アラビア語音声は、アラビア語と英語が混在するテキストや、地域の名前・業界用語の発音ガイダンスに対応する。
自然さは、心地よい声を選ぶだけでは決まらない。商品名、外来語、日付、金額を、その言語と会話の文脈に沿って聞き取れる必要がある。流暢に聞こえても金額が分かりにくければ、顧客は次に何が起こるのか不安なままだ。
会話を業務の完了につなげる
音声AIがビジネス価値を生むのは、会話が次の行動につながるときだ。問い合わせへの回答を必要とする顧客もいれば、営業からのフォローアップを希望する見込み客もいる。支払いについて連絡を受けた顧客には、状況に応じた次の対応が必要になる。ワークフローごとに必要な情報と権限は異なる。
Dyna.Ai Voice Agentは、音声と会話の能力を設定済みの業務ワークフローと組み合わせる。カスタマーサービスでは、Customer Service Agentが承認済みの情報を使って質問に答え、必要に応じて担当者につなげられる。口座情報や処理に他システムへのアクセスが必要な場合は、適切な連携と権限設定が必要だ。
通話中に完了できない場合、この違いは特に重要になる。口座照会が利用できなければ、自然な声でも残高を補うことはできない。顧客には次に何ができるのかを伝え、引き継ぐ担当者には、対応を続けるための十分な関連情報を渡す必要がある。適切な引き継ぎもサービスの一部だ。
シンガポールの大手デジタル銀行は、この考え方を債権回収のアウトバウンド業務に適用した。同銀行は、英語、Singlish、普通話が混在し、地域のアクセントや実際の通話環境に対応しながら、より多くの顧客に連絡する必要があった。Dyna.Ai Voice Agentは電話システムと連携し、定型的な初回連絡と会話結果の記録を担当。判断やフォローアップが必要な案件は、引き続き銀行の担当者が扱った。
同銀行では、債権回収業務の効率が3倍になり、1時間あたり1,000件以上のアウトバウンド通話を実現した。この事例は、音声能力が、顧客への連絡、応答の理解、その後の担当チームの対応につながるワークフローの一部であることを示している。
顧客の自然な話し方に対応する音声AIへ
多言語音声エージェントには、複数の言語を認識するだけでなく、それらが混ざる話し方に対応し、適切なタイミングで応答し、顧客の意図を次のステップへ引き継ぐ力が求められる。それぞれが会話の結果に影響する。
Dyna.Aiは、多言語音声、対話管理、音声合成を企業の音声ワークフローに組み合わせ、顧客が自然な話し方でやり取りし、依頼を前に進められるよう支援する。Dyna.Ai Voice Agentを見る