画像認識による要素探索は、レコーディング時に選択された位置周辺の見た目を元に要素を探します。
そのため、以下の点に気を付けると、要素を安定して選択できるようになります。
要素に特徴的な領域を選択する
選択した位置の周辺に何も表示されていなかったり、同じ見た目の領域が複数存在したりすると、安定性に影響する場合があります。
操作したい要素の特徴的な見た目の部分を選択することで、テストを安定化させることができます。
例として、以下の画像のように、白いエリアの選択を避け、特徴のある箇所を選択しましょう。
頻繁に見た目が変わる部分を避ける
時刻や日付、または動的なコンテンツなど、テストを実行するたびに見た目が変わる要素が近くにあると安定性に影響する場合があります。
対象要素の中で、できるだけ見た目が安定している領域を選択してください。
(応用)「検出パターン」を利用した要素探索
画像認識による要素探索についてより詳しく知ることで、テストを安定させるためのコツを掴みやすくなります。ここでは、画像認識ロケータが使用している「検出パターン」について解説します。
「検出パターン」とは画像認識ロケータが要素探索に使用する、スクリーンショットの一部を切り出したものです。要素探索プロセスは次のように進行します。
タップ
- レコーディング中に撮影されたスクリーンショットから、タップされた位置の周辺を切り出して検出パターンを作成する
- テスト実行中の画面から、検出パターンに一致する位置を探す
検出パターンはテスト実行時に動的に作成されます。テスト中で使用された検出パターンはテスト結果画面で確認することができます。
操作したい要素の特徴的な見た目の部分をタップすることでテストを安定化させることができるのは、検出パターンに特徴的な部分が含まれるためです。
なお、操作したい位置が特徴的な見た目をしていなかったり、見た目が頻繁に変わってしまうなどにより要素探索が安定しない場合は、手動で検出パターンを定義することで問題を回避できる可能性があります。
検出パターンを手動で定義するにはクイック要素更新画面の 「検出パターンの調整」 で 「手動」 を選択します。
このとき、タップする場所は検出パターンの外側にあっても構いません。タップしたい場所の見た目が頻繁に変わる場合でも、その近くに安定した要素がある場合には、検出パターンの外側をタップすることが有効です。
要素までスワイプ
こちらの機能は一部のお客様から順次公開予定です。ご希望の方はサポートにご連絡ください。
要素までスワイプは、レコーディング時に対象要素までスワイプし、対象要素を選択すると検出パターンが表示されるため、対象要素の特徴を全て網羅するように検出パターンの範囲を調整します。
テスト実行時、画面から検出パターンに一致する位置を探し、その位置までスワイプします。
要素までスワイプの「検出パターンの調整」は「手動」で行う必要があります。
要素までスワイプについて、詳しくはこちらをご覧ください。
検出パターンの調整を利用しても要素選択が安定しない場合
もし選択したい要素の見た目が頻繁に変わる場合や、検出パターンの調整を利用しても要素選択が安定しない場合は、XPathやAccessibility IDロケータの使用をおすすめします。