実際のユーザーと行うアプリのベータテスト

アプリを作った本人は、そのアプリのテストに最も向いていません。どこにどのボタンがあり、それぞれの言葉が何を意味するのかを熟知しているからです。ベータテストを行えば、ストアに公開する前に、事情を何も知らないユーザーに触ってもらえます。AppleもGoogleも、そのためのツールを提供しています。

iOSでのTestFlight

TestFlightのテスターには2種類あります。内部テスターはApp Store Connectチームのメンバーで、ビルドの処理が完了次第すぐにインストールできます。外部テスターは、メールまたは公開リンクで招待した任意のユーザーですが、ビルドはまずBeta App Reviewを通過する必要があるため、その分の時間を確保してください。TestFlightのビルドは90日で期限切れになるため、長期間のベータには定期的な新しいビルドが必要です。

Google Playのテストトラック

Google Playには3つのトラックがあります。内部テストは、小規模なチームにビルドを届ける最も素早い方法です。クローズドテストは、メールアドレスやグループで指定したユーザーに届きます。オープンテストでは、ストアの掲載情報から誰でも参加できます。テスターは、実際のユーザーと同じようにPlayストア経由でインストールやアップデートを行います。

誰を招待するか

同僚や友人だけでなく、プロジェクト開始時に想定したターゲット層に合う少人数のグループから始めましょう。適切に選ばれた少数のテスターがいれば、分かりにくい箇所のほとんどを発見できます。明らかな問題が解決したら、グループを広げてください。

古いスマートフォンを使っている人と、文字サイズの拡大などアクセシビリティ設定を利用している人を、少なくとも1人ずつ含めてください。どちらも、チーム自身の端末では見過ごされがちな問題を見つけ出してくれます。

ビルドだけでなく、具体的なタスクを依頼する

「触ってみて感想を教えてください」と頼んでも、得られるものはわずかです。ラウンドごとに、いくつか具体的なタスクを提示しましょう。会員登録をする、主要な操作を完了する、設定を変更する、アカウントを削除するなどです。各手順でどうなることを予想していたか、どこで操作に迷ったかをテスターに尋ねてください。迷いが生じた箇所は、デザインが不明瞭であることを示しているため、バグ報告以上に役立つことがよくあります。

フィードバックを送りやすくする

TestFlightではアプリ内からフィードバックやスクリーンショットを送信でき、Google Playではストア掲載情報から非公開のフィードバックを送ることができます。実際に確認するチャンネルをテスターに案内し、素早く返信しましょう。意見が届いていると感じたテスターは、テストを続けてくれます。

ベータを開始する前にクラッシュレポートを有効にしておき、テスターが気づかなかった問題や、報告されなかった問題も把握できるようにしておきましょう。

引き際を見極める

ベータテストには決まった期間ではなく、目標があります。テスターが助けなしに主要なタスクを完了でき、クラッシュがほとんど発生せず、新しいフィードバックがすでに把握している内容の繰り返しになったら、リリースの時期です。テスト後もそのグループとのつながりを維持してください。次のバージョンを最初に試してもらうのに最適な人たちです。

要約

チームには内部テストを、それ以外には実際のユーザーによるクローズドグループを利用しましょう。ラウンドごとに具体的なタスクを与え、フィードバックに目を通し、利用の妨げになる箇所を修正し、新たな発見が出尽くした段階でリリースしてください。