NLU パフォーマンス

v4.45でアップデート

NLUパフォーマンスダッシュボードは、バーチャルエージェントの自然言語理解（NLU）機能のパフォーマンスに関する有益な情報を提供します。これにより、メッセージの理解、Intentの認識、および処理の効率性をモニタリングし、改善することができます。また、さらなるパフォーマンス向上のために、Intent Trainerのようなリソースに簡単にアクセスできます。

NLUとIntentsの詳細については、「NLUの概要」をご覧ください。

AgentのNLUパフォーマンスデータは以下のチャートで可視化されます：

指標
棒グラフ
折れ線グラフ

グローバルフィルター設定に基づいたデータがグラフで表示されます。

指標

指標グラフでは、30秒ごとに更新されるリアルタイムなデータをご覧いただけます。

理解されたメッセージ

トーク内で理解されたメッセージの割合を示します。棒グラフでデータを可視化した計算例は、理解された/理解されなかった棒グラフでご覧いただけます。

平均処理時間

タイムスケールでの平均処理時間を示します。

計算式:

平均処理時間 = 処理時間の合計÷入力総数

折れ線グラフでデータを可視化した計算例は、平均処理時間の折れ線グラフよりご覧いただけます。

インテントスコアの平均値

タイムフレームの設定に応じたインテントスコアの平均値を示します。この値はAgentの品質、つまりトークの中でどの程度「良い」インテントが検出されたかを示します。詳細については、[Machine Learning Intents]をご覧ください。

インテントスコアの平均値を計算するために、Insightsはすべてのインテントスコアを合計し、レコードの総数で割ります。

ソース表:

| Analytics Record | Intent Score |
| ---------------- | ------------ |
| Record-1         | 0.30         |
| Record-2         | 0.90         |
| Record-3         | 0.10         |
| Record-4         | 1            |
| Record-5         | 0.20         |
| Record-6         | 0.02         |
| Record-7         | 0.50         |

計算式:

インテントスコアの合計 = 0.30 + 0.90 + 0.10 + 1 + 0.20 + 0.02 + 0.50 = 3.02
レコード数 = 7
インテントスコアの平均値= (インテントスコアの合計) ÷ (レコード数)
インテントスコアの平均値= 3.02 ÷ 7

結果: 0.43

インテントスコア最大値

有効率100%で一致したインテントの数を表示します。

ソース表:

| Analytics Record | Intent Score |
| ---------------- | ------------ |
| Record-1         | 0.30         |
| Record-2         | 0.90         |
| Record-3         | 0.10         |
| Record-4         | 1            |
| Record-5         | 0.20         |
| Record-6         | 0.02         |
| Record-7         | 0.50         |

結果: 表示されたソース表には、インテントスコア 1 のレコードが 1 つあるため、インテントスコアの最大値は 1 です。

棒グラフ

理解された/理解されなかったメッセージ

理解されたメッセージと理解されなかったメッセージの数の割合を時系列で棒グラフに示します。

メッセージは、インテントがトリガーされた場合、スロットが一致した場合、またはCode Nodeもしくは上書き分析Nodeによって理解されたとマークされた場合に、“理解された”としてカウントされます。上書き分析Nodeで「カウントしない」とマークされた場合、またはLA AI Copilot Flowを設定せずハンドオーバーが有効な間に送信された場合は、メッセージは“理解された”としてカウントされません。

縦型三点リーダをクリックすると、「Intent Trainerへ移動」を選択することができ、Cognigy.AIのFlowを改善するためのアプリケーションに移動します。詳細については、［Intent Trainer］をご覧ください。

ソース表:

| Date       | understood   | misunderstood   | Percentages     |
| -----------| ------------ | --------------- | --------------- |
| 2023-09-13 | 20           | 33              | 38/62           |
| 2023-09-14 | -            | -               |   -             |
| 2023-09-15 | 29           | 18              | 62/38           |
| 2023-09-16 | 0            | 0               | -               |
| 2023-09-17 | 0            | 0               | -               |
| 2023-09-18 | 0            | 0               | -               |
| 2023-09-19 | 0            | 0               | -               |
| ------------------------------------------------------------- |
| TOTAL      | 49           | 51              |                 |

選択したタイムフレームでの計算式：

理解されなかった % = (51 ÷ 100) × 100 = 51%
理解された % = (49 ÷ 100) × 100 = 49%

2023年9月15日の計算例：

理解されなかった % = (18 ÷ 47) × 100 = 38%
理解された % = (29 ÷ 47) × 100 = 62%

結果:

上位インテント

上位に使用されたインテント数を横棒グラフで表示し、要約ビューでは最大6件、詳細ビューでは最大25件のインテントが表示されます。インテントがマッチするたびに、分析データに記録されます。データは一致したインテントで分類され、降順に並び替えられます。

ソース表:

|  Intent           | Total number  |
| ----------------- | ------------- |
| Flight discounts  |      12       |
| Book a flight     |      5        |
| Change a flight   |      5        |
| Additional fee    |      4        |
| Reject a flight   |      3        |
| Transfer flights  |      3        |

結果:

上位スロット

上位ゴールや上位インテントと同様に、このグラフでは上位のスロット数が横棒グラフで示されます。

ソース表:

| Slot        | Number      |
| ----------- | ----------- |
| DATE        | 2           |
| NUMBER      | 1           |

結果:

スコア範囲別インテント

検出されたインテントのスコア範囲を積み重ね棒グラフで表示します。全スコア範囲バーには最小値から最大値までが表示され、平均値マーカーがあります。3つの点のメニュー項目をクリックすると、Cognigy.AIのFlowを改善するためのアプリケーションに移動する[Intent Trainerへ移動]を選択することができます。詳細については、［Intent Trainer］をご覧ください。

ソース表:

| Date               | intentScoreAvg     | intentScoreMax     | intentScoreMin     |
| ------------------ | --------------     | --------------     | ------------------ |
| cakes              | 0.6517875252045072 | 0.6517875252045072 | 0.6517875252045072 |
| pizza              | 0.6863160928710601 | 0.7237952611766103 | 0.6491475952551133 |
| drinks             | 0.698537294767418  | 0.698537294767418  | 0.698537294767418  |
| ice cream          | 0.7862064089630107 | 0.7862064089630107 | 0.7862064089630107 |
| transfer with refer| 1                  | 1                  | 1                  |
| transfer with dial | 1                  | 1                  | 1                  |
| play               | 1                  | 1                  | 1                  |
| DTMF               | 1                  | 1                  | 1                  |

結果:

上位インテントスコア

インテントの上位数を棒グラフで表示します。詳しくは、[Intent Analyzer］をご覧ください。

ソース表:

|  Intents             | Intent Score       |
| -------------------- | ------------------ |
| play                 | 1                  |
| transfer with dial   | 1                  |
| transfer with refer  | 1                  |
| DTMF                 | 1                  |
| ice cream            | 0.7862064089630107 |
| drinks               | 0.698537294767418  |
| pizza                | 0.6863160928710601 |
| cakes                | 0.6517875252045072 |

結果:

インテントスコア最大値: 1
インテントスコア最小値: 0.65

折れ線グラフ

平均処理時間

タイムスケールにてFlowプロセスの平均処理時間を示します。グラフは、Flowの処理に要した平均時間をミリ秒単位で示します。タイムスケールはグローバルフィルターの設定により異なります。

計算式:

平均処理時間 =処理時間の合計 ÷ 入力総数

ソース表:

|  Date        | Execution Time  |
| ------------ | --------------- |
| 2023-09-13   |      130        |
| 2023-09-14   |      0          |
| 2023-09-15   |      123        |
| 2023-09-16   |      0          |
| 2023-09-17   |      0          |
| 2023-09-18   |      0          |
| 2023-09-19   |      0          |

結果: (130ミリ秒＋123ミリ秒)÷2＝127.5ミリ秒

レポートのダウンロード

チャートをCSVファイルとしてダウンロードするには、チャートの右上端にある縦型三点リーダをクリックします。レポートファイルを作成するには、「レポートのダウンロード」ページをご参照ください。

詳細はこちら

Dashboard Engagement（エンゲージメントダッシュボード）
Dashboard Overview（概要ダッシュボード）
Dashboard Live Agent（ライブエージェントダッシュボード）