プロンプトアサーションとは？
プロンプトアサーションとは、画面のスクリーンショットに対して自由なプロンプトでアサーションを行う機能です。
本機能はご希望されるお客様への限定提供となっております。
機能の有効化をご希望の場合には、サポートまでお問い合わせください。
また、本機能は実験的な機能となりますため、より高い頻度で仕様変更などが行われる可能性や一部の環境で正常に動作しない可能性があります。
ご利用開始後、不具合と思われる挙動がございましたら、恐れ入りますがサポートまでお知らせください。
プロンプトアサーションステップをシナリオに追加する方法
シナリオ詳細画面からステップを追加することが可能です。レコーディング中にはプロンプトアサーションステップの追加はできません。
-
シナリオ詳細画面で、記録されているステップにマウスを載せ、下記のアイコンをクリックしてください。
-
ダイアログにプロンプトを入力し、「テストする」ボタンをクリックし、動作をご確認ください。
-
アサーションの動作を確認したら「保存」ボタンをクリックしてください。シナリオにプロンプトアサーションステップが追加されます。
なお、プロンプトアサーションは、画面に表示された見た目を元に判定する機能であるため、ボタンが非活性であるかどうかなど機能動作の検証はできません。
テスト結果でプロンプトアサーションステップを確認する
テスト結果詳細画面の「See the detail」右横にあるはてなマークにカーソルを当てると、指定したプロンプトに対してどのような判定を行ったか、またその判定の理由を確認することが可能です。
プロンプトアサーションを効果的に利用するコツ
曖昧な指示をしている場合、アサーション結果が安定しなかったり成功として問題ないのに失敗となったりまたその逆と判定されることがあります。そのため、できるだけ明確に指示を記述することをオススメします。また、明確な指示をしている場合もハルシネーションが発生し意図しない結果となる可能性があります。そのため、もしMLアサーションで対応できる検証については、MLアサーションをご利用ください。