Intent Analyzer(インテントアナライザー)
質の高い例文を作成することは、知能的なバーチャルエージェントを構築するためのキーポイントです。Cognigy.AIには、各例文の品質と、独自のNLU学習モデルの現在のバージョンに適合するIntentについて、開発者に即座にフィードバックを提供するツール内評価機能があります。
すべての文がグリーンレベルのスコアを達成するような完璧なNLUモデルを持つ必要はありませんが、この機能は、改善可能な領域を特定する上で設計者をサポートします。
Overview
Intent アナライザーは、エージェントのフロー内で学習されたIntentが効果的であるかどうかのフィードバックを表示します。
フィードバックは3つのレベルで行われます:
- Intentモデル全体
- 個々のIntent
- 個々の例文
これにより、テストの観点からは、理解度を判断するためにバーチャルエージェントに手動で話しかけるよりも、Intent学習メニューを見るだけで、モデルの品質を評価することができるため、時間を節約することができます。フィードバックを上から下へ見ていくことをお勧めします。モデル全体は緑色ですか?Intentを素早くスキャンすれば、問題があることがわかるかもしれません。個々の文章をチェックすることで、例文を編集、追加、移動し、NLUを改善するための具体的なヒントを得ることができます。
フィードバックのためのNLU学習
例文に変更が加えられるたびにNLUが学習され、最新のスコアリング分析が表示されるようにします。
Intentモデル全体
Intentモデル全体のスコアは、NLUモデルの品質に関する合計スコアを表示します。
緑色の精度スコアは、モデルがユーザーによるテストの準備ができており、一貫性があることを示します。
モデル全体の黄色や赤の信号は懸念事項であり、重要なイIntent設計の問題を示します。Intentモデルのスコアが低い場合は、スコアの低いIntentを見つけ、スコアの低い例文を調整することで改善できます。これは、信号色によるフィードバックシステムによって簡単に行うことができ、設計者は、改善が必要な赤や黄色の項目についてページをスキャンすることができます。
個々のIntent
NLUに学習された各Intentにはスコアが割り当てられ、バーチャルエージェントの設計者に、他のすべてのIntentとの相対的なIntent認識の品質に関するフィードバックを提供します。フィードバックウィンドウには2つの情報が表示されます:
- Intentに対する全体的なNLUスコア
- 例文が重複しているIntentの名前
スコアを改善し重複を減らすには、Intent内の例文を調整する必要があります。
個々のIntentの傾向は、モデル全体の質を反映していない可能性があります。
モデルが良い結果を出しても、Intentレベルではまだ改善できないということではありません。赤や黄色のIntentは改善の機会を示しています。このような機会は、必ずしもモデル全体の質の低さを反映しているわけではなく、モデル全体のスコアで個別に正確に評価されます。全体はそれぞれの合計よりも大きいのです。
個々の例文
機械学習Intentでは、各例文にスコアが割り当てられ、その特定の文がIntentモデルの大きな範囲に対してどの程度有益かを設計者に示します。
マウスを信号色のスコア上に置くと、フィードバックウィンドウが表示されます。各例文のフィードバックウィンドウには、2 つの情報が表示されます:
- 文に対するモデルのスコア
- 例文が重複しているIntentの名前
信号色と合わせて、これらの2つの情報を使用することで、設計者は学習モデルの潜在的な問題をすばやく特定して削除し、より正確なNLU理解を実現できます。
個々の文の傾向は、Intent全体の質を反映していない可能性があります。
Intentが良い結果を出しても、文のレベルではまだ改善できないということではありません。赤や黄色の例文は改善の機会を示しています。このような機会は必ずしもIntentの質の低さを反映しているわけではなく、Intentスコアで個別に正確に評価されます。全体はそれぞれの合計よりも大きいのです。
スコアリングシステム
Intentアナライザーは、3段階のスコアリングフィードバックをユーザーに提供するため、信号色でのフィードバックシステムを使用しています。色分けは以下の表で説明されています:
色 | スコア範囲 |
緑色 | 0.8より上 |
黄色 | 0.6~0.8 |
赤色 | 0.6より下 |