Intent Analyzer(インテントアナライザー)

質の高い例文を作成することは、知能的なバーチャルエージェントを構築するためのキーポイントです。Cognigy.AIには、各例文の品質と、独自のNLU学習モデルの現在のバージョンに適合するIntentについて、開発者に即座にフィードバックを提供するツール内評価機能があります。

すべての文がグリーンレベルのスコアを達成するような完璧なNLUモデルを持つ必要はありませんが、この機能は、改善可能な領域を特定する上で設計者をサポートします。

Overview

Intent アナライザーは、エージェントのフロー内で学習されたIntentが効果的であるかどうかのフィードバックを表示します。

フィードバックは3つのレベルで行われます:

  • Intentモデル全体
  • 個々のIntent
  • 個々の例文

これにより、テストの観点からは、理解度を判断するためにバーチャルエージェントに手動で話しかけるよりも、Intent学習メニューを見るだけで、モデルの品質を評価することができるため、時間を節約することができます。フィードバックを上から下へ見ていくことをお勧めします。モデル全体は緑色ですか?Intentを素早くスキャンすれば、問題があることがわかるかもしれません。個々の文章をチェックすることで、例文を編集、追加、移動し、NLUを改善するための具体的なヒントを得ることができます。

フィードバックのためのNLU学習

例文に変更が加えられるたびにNLUが学習され、最新のスコアリング分析が表示されるようにします。

Intentモデル全体

Intentモデル全体のスコアは、NLUモデルの品質に関する合計スコアを表示します。

緑色の精度スコアは、モデルがユーザーによるテストの準備ができており、一貫性があることを示します。

モデル全体の黄色や赤の信号は懸念事項であり、重要なイIntent設計の問題を示します。Intentモデルのスコアが低い場合は、スコアの低いIntentを見つけ、スコアの低い例文を調整することで改善できます。これは、信号色によるフィードバックシステムによって簡単に行うことができ、設計者は、改善が必要な赤や黄色の項目についてページをスキャンすることができます。

個々のIntent

NLUに学習された各Intentにはスコアが割り当てられ、バーチャルエージェントの設計者に、他のすべてのIntentとの相対的なIntent認識の品質に関するフィードバックを提供します。フィードバックウィンドウには2つの情報が表示されます:

  • Intentに対する全体的なNLUスコア
  • 例文が重複しているIntentの名前

スコアを改善し重複を減らすには、Intent内の例文を調整する必要があります。

個々のIntentの傾向は、モデル全体の質を反映していない可能性があります。

モデルが良い結果を出しても、Intentレベルではまだ改善できないということではありません。赤や黄色のIntentは改善の機会を示しています。このような機会は、必ずしもモデル全体の質の低さを反映しているわけではなく、モデル全体のスコアで個別に正確に評価されます。全体はそれぞれの合計よりも大きいのです。

個々の例文

機械学習Intentでは、各例文にスコアが割り当てられ、その特定の文がIntentモデルの大きな範囲に対してどの程度有益かを設計者に示します。

マウスを信号色のスコア上に置くと、フィードバックウィンドウが表示されます。各例文のフィードバックウィンドウには、2 つの情報が表示されます:

  • 文に対するモデルのスコア
  • 例文が重複しているIntentの名前

信号色と合わせて、これらの2つの情報を使用することで、設計者は学習モデルの潜在的な問題をすばやく特定して削除し、より正確なNLU理解を実現できます。

個々の文の傾向は、Intent全体の質を反映していない可能性があります。

Intentが良い結果を出しても、文のレベルではまだ改善できないということではありません。赤や黄色の例文は改善の機会を示しています。このような機会は必ずしもIntentの質の低さを反映しているわけではなく、Intentスコアで個別に正確に評価されます。全体はそれぞれの合計よりも大きいのです。

スコアリングシステム

Intentアナライザーは、3段階のスコアリングフィードバックをユーザーに提供するため、信号色でのフィードバックシステムを使用しています。色分けは以下の表で説明されています:

スコア範囲
緑色0.8より上
黄色0.6~0.8
赤色0.6より下