STORES 決済アプリリニューアルとQAチームの取り組み ~フィールドテスト編~

はじめに

こちらの内容は、2022年3月10日,11日に開催されたJaSST’22 Tokyoで発表させていただいた「STORES 決済アプリリニューアルとQAチームの取り組み」の内容を修正、加筆したものです。

STORES 決済 QAチームの山﨑です。
STORES 決済アプリリニューアルプロジェクトのQAチームの取り組みについてお話しさせていただきます！
今回はQAチームで行ったフィールドテストについてです！システムテスト編はこちらから！

フィールドテストを行うために実施したこと

フィールドテストの目的は、QAチームで検証を十分に行った後に、テストに協力していただける加盟店様に実際に使用していただき、より本番に近い環境で想定外の問題が起きないことを確認することが目的です。

フィールドテストを実施する効果として、加盟店様の利用シーンにあったテスト、社内では再現できない実際に使用されている環境でのテスト実施が可能になることです。
新たな不具合の検知や、実際にQAチームが加盟店様に訪問をして直接アプリの使用感や機能に対する意見をヒアリングできるなど、加盟店様と近い距離でコミュニケーションを取ることができます。
一方で、多数のステークホルダーが関係するためトータルコストが多く掛かってしまいます。フィールドテストは実施加盟店様の業態や場所、使用環境など多いに越したことはないですが多ければ良いという訳ではないので利用シーンを厳密に設定・想定をして、必要なテストが実施できる加盟店様を最低限の数で選定できるようにしました。
また、QAチーム単体ではフィールドテストは実現できません。社内の協力体制が重要で、プロダクトマネージャー、カスタマーサービス、モバイルチームなどたくさんの協力があって実現が可能になります。

フィールドテストの進め方

フィールドテストは大きく４つの工程で進めました

リリース計画の作成

フィールドテスト中の監視ポイントや見守り担当を決め、不意な事象に対して迅速に対応できる体制を作りをしています。アプリリリースは、iOSの段階的リリース機能を利用して一部のユーザーから順にアップデートを適用していき、リリースによる不具合が発生してしまったとしても被害を限定的なものにとどめて対応ができるようにしました。

テスト加盟店の選定

加盟店様の選定では、店舗立地、利用環境、業種、店員構成、営業時間帯などでペルソナを設定しました。今回は、動物病院・カフェ・飲食・物販から計5店舗、クレジットカード決済、電子マネー決済、QRコード決済と複数の決済手段が使われる加盟店様にご協力をしていただくことができました。

テストの準備

切り戻し用のアプリの準備や、テスト用端末の準備等を行いました。さらにQAチームではユーザーインタビューの作成を行い、実際の店舗に訪問した際に、どのような情報を獲得すべきかを整理しました。利用されている端末の種類・OSなどの端末基本情報から、STORES 決済を使用していて良いと感じていること・困っている事等STORES 決済の品質を向上させるためにインタビューの内容精査にも力を入れて取り組みました。

加盟店訪問

テスト期間を1カ月とし、1週間に1回のペースでQAチームが加盟店様を訪問するようにしました。今回のアプリリニューアルでは、使用感が今までと変わらないこと、今までよりさらに良いことを目指していました。こういう機能が追加されたら助かるという声や、STORES 決済アプリの操作性の簡単さのお褒めの言葉など、実際にアプリを使用していただいている方の感想を直接聞くことができとても良い経験ができました。