Bitbucket Pipelines 連携

Autify はお手持ちのBitbucket Pipelines からAutify CLI を利用することで簡単にテストプランやシナリオを実行できます。

はじめてみよう

このドキュメントでは、どのようにBitbucket Pipelines でAutify CLI を利用するかを順に説明していきます。

前提条件

まず、すでにBitbucket Pipelines を使ってステージングやプロダクション等へのソフトウェアのデプロイを行なっているものとします。そのデプロイステップのすぐ後にAutify のテストを実行するステップを追加することで、新しくデプロイされたソフトウェアがエンドツーエンドのユーザ体験を損ねていないことを確認できるようにします。

次に、Autify for Web でテストプランかテストシナリオを作成する必要があります。テストシナリオは、そのBitbucket Pipelines でソフトウェアがデプロイされるウェブサイトに対してレコーディングすることになります。テストプランまたはシナリオのURL (例: https://app.autify.com/projects/00/scenarios/000) をメモしておいてください、後ほど利用します。

さらに、パーソナルアクセストークンを生成する必要があります。後ほどBitbucket Pipelines の変数に保存するために、生成されたトークンはどこかにメモしておいて下さい。

注: パーソナルアクセストークンは1人のユーザに紐づいてしまうので、CI/CD 連携のために組織にマシンユーザを作って、そのパーソナルアクセストークンを使うことをお勧めします。

パーソナルアクセストークンをBitbucket Pipelines の変数に保存

上で生成したパーソナルアクセストークンをBitbucket のドキュメントに従って保存します。万が一トークンの値がログに曝露しないように、"Secured" を選択しておくことをお勧めします。変数の名前は任意ですが、AUTIFY_WEB_ACCESS_TOKEN と命名した場合はそれがAutify CLI が読み込むデフォルトの変数なので、後ほどこの変数を指定する必要がありあせん。ここではそうしたと仮定しておきます。

Autify for Web を実行するステップを追加

それでは、お手持ちのBitbucket Pipelines に新しいステップを追加しましょう。以下の例を参考にしてください。URL の値 (https://app.autify.com/projects/00/scenarios/000) は、上でメモしたURL になります。

パラメータの詳細はAutify CLI のドキュメントも参考にしてください:
https://help.autify.com/docs/ja/autify-command-line-interface

シンプルにテストを開始してstep を終了 (テストの完了は待たない):

- step:
      script:
        - curl https://autify-cli-assets.s3.amazonaws.com/autify-cli/channels/stable/install-standalone.sh | sh
        - autify web test run https://app.autify.com/projects/00/scenarios/000

テストを開始して、それが完了するかタイムアウトするまで待つ:

- step:
      script:
        - curl https://autify-cli-assets.s3.amazonaws.com/autify-cli/channels/stable/install-standalone.sh | sh
        - autify web test run https://app.autify.com/projects/00/scenarios/000 --wait --timeout 300

警告: この設定はテスト完了を待っている間もBitbucket Pipelines の時間を消費します。タイムアウトを延長するときは注意してください。

--url-replacements を使ってテストプラン又はシナリオを別のURL に対して開始する:

- step:
      script:
        - curl https://autify-cli-assets.s3.amazonaws.com/autify-cli/channels/stable/install-standalone.sh | sh
        - autify web test run https://app.autify.com/projects/00/scenarios/000 --url-replacements "https://example.com https://example.net"

--url-replacements はステージングのウェブサイトに対してプロダクションのウェブサイトで記録したテストシナリオを実行したい時などに有効です。

まとめ

Autify CLI をBitbucket Pipelines 中に使うことで、デプロイ後にテストプランやシナリオの実行を自動化できるので、無駄な時間を使うことなくリグレッションをすぐに検知して適切な行動を取ることができるようになります。