会話の評価
「なぜその点数か」まで、見せる。
生成AIの時代だからこそ、評価すべきは会話の中身です。難しいことを、わかりやすく、ていねいにお伝えできたかどうか。トップページでご紹介している「論点ごとに、何をどう話せたかを測る」にあたるのが、このページでご説明する評価のしくみです。
そして会話の評価は、点数を出して終わりでは、次につながりません。何を測ったのか、どの発言がどう判定されたのか、次に何をすればよいのか——そこまで返して、はじめて練習が続きます。
そのために私たちは、相手役と評価役に、役割の異なるAIを使い分けています。会話の相手役は生成AIが務め、点を付けるのは当社の評価レイヤー——会話を読める形にしたうえで、論点ごとに判定する、当社が開発し特許を取得した評価の層——です。AI対話トレーニング「iRolePlay」と、実商談の会話を扱う「Interactive-Pro」は、この設計を共有しています。
評価の骨組み——
どの論点を話し、どの論点が抜けたか
私たちの評価は、会話全体にひとつの点を付けるものではありません。会話を論点の単位で追い、どの論点を話せて、どの論点が抜けたかを見る——これが評価全体の骨組みです。この追跡を担うのは、相手役を務める生成AIではなく、当社の評価レイヤーです。
論点——何について話すか（トピック）のなかで、判断や説明が必要になる問い——を切り出します。取り上げる論点と取り上げない論点は、ねらいに応じて選べます。問いごとに納得を重ねることが、会話での理解の積み重ねになります。だから評価も、「その回で取り上げると決めた論点に、たどり着けたか」という形で返ります。
この単位で見ることには、理由があります。「その話題に触れられた」と「その話題を説明できた」は、別のことです。会話の相手役を務める生成AIに判定までまかせると、判定は前者で止まります。触れたか、触れなかったか——深さの手前で線が引かれるからです。
それでは、どの問いに、どの深さまで答えられたのかが残りません。私たちが測るのは、論点ごとに、どこまでの深さで話せて、お客様がどこまで理解できたかです。論点の単位で「できた」と言えるところまで測るから、次に何を練習すればよいかが決まります。
合計点をひとつ出すだけでは、次にどこを練習すればよいかが残りません。論点という単位でそろえるからこそ、覚える段階・話す段階・振り返る段階が一続きになり、抜けた論点だけをもう一度練習できます。
工夫と逸れを、分けて見る
論点の単位で追うことには、もうひとつ意味があります。実際の会話では、お客様の反応を見て順番を変えたり、別の切り口を足したりすることがあります。たとえば、安全性のご説明を先に求められて、予定していた有効性の話を後ろに回す。そのとき話は、予定していた論点から別の論点へ移ります。決められた語句が出たかどうかだけを見る方式では、この移動は「言えていない」としか記録されません。iRolePlayは会話を論点の単位で追い続けているため、工夫として別の論点に触れたのか、話が逸れて必要な論点に戻れなかったのかを、分けて見ることができます。実践的な工夫が、そのまま減点にならないための設計です。
論点ごとに、何を見るか
評価の指標は業界ごとに用意されています。製薬ならMR用・MSL用、金融・製造業・小売にはそれぞれの指標があり、御社ごと、さらにコースごとに調整できます。その土台として、どの業界でも共通に次の5つの観点を見ています。
- 論点の網羅：その回で取り上げると決めた論点に、たどり着けたか
- 説明の正確性：資料に書いてあることが、正しく口から出たか
- ヒアリング：お客様の状況・意向を聞き出せているか
- 質問の質：文脈に沿った深掘りの質問ができているか
- コンプライアンス：その回で取り上げないと決めた論点や、問題になる表現に触れていないか
何を話したか（網羅性）
その場面で言えているべき重要なフレーズを、実際に言えた割合を測ります。伝えるべき内容が抜けていれば、この軸に表れます。どの論点が抜けたのかも、ここで分かります。
どう話したか（質）
説明の正確さ、相手のお話を聞けているか、お客様の課題をつかめているか、質問が適切か、解決策をご提案できているか——こうした複数の評価軸でスコア化します。会話の進め方そのものを見る軸で、軸の内訳は業界ごとの指標により、コースごとに調整できます。
2つに分けているのは、打ち手が変わるからです。網羅性が足りないのであれば、覚えるべき内容や資料の整備が要ります。質のほうが課題であれば、聞き方や組み立て方の指導が要ります。合計点をひとつ出すだけでは、この違いが見えません。
どう点を付けるか——
評価レイヤーの4つの動き
発言のたびに、点が動く
いま話したことが、挨拶なのか、説明なのか、反論への応答なのか。発言を種類に振り分け、直前の発言との並びとして妥当かを見ます。評価は最後にまとめて付くのではなく、話している最中に動きます。
単語が出たかどうかでは、測らない
キーワードの一致だけで測ると、覚えた言葉を並べただけで高い点がついてしまいます。助詞を含んだ文の形で判定し、資料に書いてあることが実際に口から出たかを見ます。
減点して終わらない
会話をひとまとまりずつに区切り、評価の高い次の展開と、対応する資料のページを示します。「何が足りなかったか」ではなく「次に何を言うか」まで返します。
問題になる表現は、評価の前に止まる
業界ごとに、口にした時点で問題になる表現があります。うまさを測るより先に、そこを指摘します。場面ごとの「取り上げないと決めた論点」の線引きの内側で、練習が進みます。
この4つは、評価レイヤーの5層のうち、話し言葉を読める形に整える土台の層の上で動く部分です（5層の全体と登録特許は技術ページ）。そして、この4つの動きを、次の3つの原則が支えています。
- 相手役と評価役を分ける：役割の異なるAIを使い分けているため、会話の自然さと、点の付け方の一貫性を、別々に整えられます。
- 根拠は発話の引用で示す：評価には実際の発話が引用され、どの発言がどう判定されたかを確認できます。
- AIが行うのは一次評価まで：結果は本人・上長・管理者が確認し、次の練習と指導につなげます。
評価は、次の練習を
自分で始められる形で返す
フリートーク形式（AIを相手に自由に会話するロールプレイ）の評価で表示されるもの
- 点数
- 出来たこと
- 改善点
- 総評
数字だけを返すのではなく、何が良くて、次に何へ取り組めばよいかまで、その場で本人に分かる形です。一問一答形式（質問に答える練習・テスト）でも、出来たことと、次に取り組む項目を提示します。
だから、講師や上司が付きっきりでなくても、受講者は自分で次の練習を選んで進められます。この「自走」——人手をかけずに練習が続くこと——が、学習効率を大きく左右すると私たちは考えています。設計の背景は学習設計の考え方をご覧ください。
指標は業界別、調整は2段階
評価指標は、業界ごとの20の型——5つの会話タイプ×4段階の難易度で組み合わせた、シチュエーション設定（論点の組み立て）の型——とセットで用意されています。型そのものの考え方はiRolePlayのページでご説明しています。製薬はMR用・MSL用が分かれ、金融・製造業・小売にはそれぞれの型と指標があります。そのうえで御社ごとのカスタマイズ、さらにコースごとのカスタマイズという2段階の調整ができ、営業スタイルや個別のアプローチ方法にもそのまま応用できます。
会話タイプが変われば、その回に必要な論点も変わります。その論点をAIがどう並べるかは、資料からコースになるまででご説明しています。実際の会話では、並べられた論点の一つひとつを重要フレーズと文脈の判定で測ります。語句が出たかどうかだけを見るのではなく、助詞を含んだ文の形で、その論点を話せたかどうかを見ています。
評価結果はコース設計と連動し、一人ひとりの「今の到達点」と「次に取り組むべき課題」を可視化します。
評価を、共通の課題と
個別の課題に切り分ける
一人ひとりに返した評価は、管理画面と上長向けの画面を通じて、組織の景色になります。このとき私たちは、論点ごとに「話せた方の割合」を集計し、共通の課題と個別の課題に分けてお示しします。分けるのは、打つべき手がまったく違うからです。
共通の課題＝知識と資材の問題
相手やお話の流れに関係なく、全員が必ずお伝えすべき内容です。ここで割合が低いとすれば、それは個人の努力不足ではなく、教育コンテンツ・携行資材・想定問答の整備が追いついていないという合図だと考えています。組織としての施策で解決できる部分です。
個別の課題＝対話の深さの問題
会話の流れ次第で出てくる内容です。ここは数値の高い低いだけで良し悪しを判断しません。優れた方が意図的に話題を変えて深掘りしている場合と、本題と関係のない話をしている場合とが、数値の上では区別しにくいためです。発話の中身とあわせて確認し、行動の指導につなげます。
合計点で人を並べるだけでは、指導すべき相手も、打つべき手も見誤ります。ここから先の運用——誰が何を見て、どう振り返るか——は、練習と実商談の循環のページでご説明します。