LLM Prompt

v4.64でアップデート

説明

LLM プロンプトノードを使用すると、Generative AI を使用して関連コンテンツを作成できます。

このノードを使用する前に、設定で Generative AI プロバイダーを設定します。設定で定義されたデフォルトのモデルを使用するか、特定の構成済み LLM を選択するようにノードを構成できます。

ノードは次のモードをサポートします。

チャット。 このモードはデフォルトで有効になっており、モデルとの動的な会話や対話に適しています。 [トランスクリプトステップ] 設定で選択したトランスクリプトターン (メッセージ) の数に応じて、ユーザーとボットからのメッセージのコンテキストが考慮されます。
プロンプト。 このモードは、単一ターンのタスクまたは単一のプロンプトに基づいてテキストを生成する場合に適しています。

LLM プロバイダーがチャットモードをサポートしていない場合、Cognigy はチャットリクエストをプロンプトリクエストに自動的に変換します。

結果の保存

モデル出力を保存してから、LLM プロンプトノードの出力をユーザーに表示するには、[ストレージとストリーミングオプション] セクションで [入力に保存] または [コンテキストに保存] を選択します。

ストリーミング結果

出力結果を入力オブジェクトまたはコンテキストオブジェクトに保存したり、Say ノードを利用したりせずに、チャットにすぐに表示したい場合は、[ストレージとストリーミングオプション] セクションで [出力へのストリーム] 設定を選択します。

設定

命令

これは、完了を求めるプロンプトまたはチャットのシステムメッセージです。

さらに、次のタグを使用して、最近の会話を [プロンプト] フィールドに挿入できます。

@cognigyRecentConversation — タグは、最大 10 個の最近の仮想エージェントと 10 個のユーザー出力を含めることができる文字列に置き換えられます。次に例を示します。
```
Bot: agentOutput1
User: userOutput1
Bot: agentOutput2
User: userOutput2
      
```
@cognigyRecentUserInputs — タグは、最近のユーザー出力を最大 10 件含むことができる文字列に置き換えられます。次に例を示します。
```
User: userOutput1
User: userOutput2
        
```

最後のユーザー入力のみにアクセスしたい場合は、「プロンプト」フィールドにテキスト・トークンを指定します。

タグを追加するときは、タグの前後に必ず改行を入れてください。次に例を示します。

code

どちらのタグにも、タグに追加されるオプションのターン制限パラメータを含めることができます。

例:

code

高度な設定

パラメータ	タイプ	説明
サンプリング方法	選択	方法: – 温度 — 生成されるテキストのランダム性のレベルを決定します。温度が高いほど、より多様で創造的な出力が可能になり、温度が低いほど、トレーニングデータとの出力がより予測可能で一貫性のあるものになります。 – 上位パーセンテージ — 生成される可能性が最も高い出力のパーセンテージを指定し、より一貫した出力が得られます。
最大トークン	インジケータ	完了時に生成するトークンの最大数。
プレゼンスペナルティ	インジケータ	-2.0 から 2.0 までの数値。正の値を指定すると、これまでにテキストに出現したかどうかに基づいて新しいトークンにペナルティが課され、モデルが新しいトピックについて話す可能性が高まります。
周波数ペナルティ	インジケータ	-2.0 から 2.0 までの数値。ペナルティは、生成されたテキストに頻繁に出現するトークンに低い確率を割り当て、モデルがより多様でユニークなコンテンツを生成することを促進します。
停止を使用する	トグル	ストップワードのリストを使用して生成 AI に文の停止位置を知らせるかどうか。
停止	テキスト	API がさらなるトークンの生成を停止する最大 4 つのシーケンス。返されるテキストには停止シーケンスは含まれません。
タイムアウト	数値	Generative AI プロバイダーからの応答を待機する最大時間 (ミリ秒)。

ストレージとストリーミングのオプション

パラメータ	タイプ	説明
結果の扱い方	Select	プロンプトの結果を処理する方法を決定します。 – 入力に保存 — 結果を入力オブジェクトに保存します。プロンプト結果を出力するには、Say ノードで LLM プロンプト結果トークンを使用します。 – コンテキストに保存 — 結果をコンテキストの入力オブジェクトに保存します。プロンプト結果を出力するには、Say ノードで LLM プロンプト結果トークンを使用します。 – 出力へのストリーム — 結果を出力に直接ストリーミングします。これは、モデルが会話チャットに直接プロンプトを提供し、LLM プロンプト結果トークンと Say ノードを使用する必要がないことを意味します。この結果は、入力にもコンテキストにも保存されません。ストリーミングは、Google1 などのすべての Cognigy LLM プロンプトノードプロバイダーでサポートされているわけではないことに注意してください。ストリーミングがサポートされていない場合、結果は入力オブジェクトに書き込まれます。
結果を保存するキーを入力	CognigyScript	このパラメータは、「入力に保存」が選択されている場合にアクティブになります。結果は、デフォルトで、promptResult 入力オブジェクトに保存されます。別の値を指定することもできます。
結果を保存するコンテキストキー	CognigyScript	このパラメータは、「コンテキストに保存」が選択されている場合にアクティブになります。結果はデフォルトで、promptResult Context オブジェクトに保存されます。別の値を指定することもできます。
ストリーム出力トークン	CognigyScript	このパラメータは、「ストリームから出力」が選択されている場合にアクティブになります。その後ストリームバッファーを出力するトークン。トークンには、句読点や記号 (\n など) を使用できます。

デバッグオプション

インタラクションパネルを使用すると、2 種類のデバッグログをトリガーできます。これらのログは、インタラクションパネルを使用する場合にのみ利用可能であり、運用環境のデバッグを目的としたものではありません。両方のログタイプを組み合わせることもできます。

パラメータ	タイプ	説明
ログトークン数	トグル	リクエストと完了のために消費された LLM トークンの数を記録します。 Cognigy は GPT-3 トークナイザーアルゴリズムを使用するため、実際のトークンの使用量は使用されるモデルによって異なる場合があります。
ログのリクエストと完了	トグル	LLM プロバイダーに送信されたリクエストとその後の完了の両方をログに記録します。

詳しくはこちら

1. すべての LLM モデルがストリーミングをサポートしているわけではないのでご注意ください。