Prompt Assertion 스텝이란 무엇인가요?
프롬프트 검증 (베타) 기능을 출시했습니다. 이제 화면 스크린샷에 대해 자유 형식의 프롬프트를 사용하여 검증(assertion)을 수행할 수 있습니다.
이 기능은 현재 요청하는 고객에게만 제공됩니다.
이 기능의 활성화를 원하시면 지원팀에 문의하십시오. 또한, 이 기능은 실험적인 기능이므로 사양이 더 자주 변경될 수 있으며, 일부 환경에서는 정상적으로 작동하지 않을 수 있습니다.
사용을 시작한 후 버그로 보이는 동작이 관찰되면 지원팀에 알려주십시오.
시나리오에 프롬프트 검증 스텝을 추가하는 방법
시나리오 상세 화면에서 스텝을 추가할 수 있습니다. 레코딩 중에는 프롬프트 어서션 스텝을 추가할 수 없습니다.
-
시나리오 상세 화면에서 기록된 단계 위에 마우스를 올리고 아래 아이콘을 클릭하십시오.
-
대화 상자에 프롬프트를 입력하고 테스트(Test) 버튼을 클릭하여 동작을 확인하십시오.
-
검증의 동작을 확인한 후 저장(Save) 버튼을 클릭하십시오. 프롬프트 검증 단계가 시나리오에 추가됩니다.
또한, 프롬프트 어서션은 화면에 표시된 시각적 요소를 바탕으로 판정하는 기능이므로, 버튼의 비활성화 여부와 같은 기능적 동작 검증은 불가능합니다.
테스트 결과에서 프롬프트 검증 스텝 확인하기
테스트 결과 상세 화면의 「See the detail」 우측에 있는 물음표 아이콘에 커서를 올리면, 지정한 프롬프트에 대해 어떤 판정을 내렸는지와 그 판정 사유를 확인하실 수 있습니다.
프롬프트 검증을 효과적으로 활용하는 팁
지시 사항이 모호할 경우, 어서션 결과가 불안정해지거나 성공해야 할 케이스가 실패로 판정되는 등(또는 그 반대) 의도치 않은 결과가 발생할 수 있습니다. 따라서 가능한 한 명확하게 지시 사항을 작성하는 것을 권장합니다. 또한, 명확하게 지시하더라도 할루시네이션(환각 현상)이 발생하여 잘못된 결과가 나올 가능성이 있습니다. 그러므로 만약 ML 어서션으로 대응 가능한 검증이라면, ML 어서션을 이용해 주시기 바랍니다.