クローズド テストの相互テスト、どこで探し、どこで崩れるのか

1. 相互テストとは

クローズド テストの相互テストは、同じ立場のデベロッパー同士が お互いのアプリにテスターとして参加し合う方法です。自分が相手のアプリのテスターになり、相手も自分のアプリのテスターになります。お金がかからず、周りに Android スマートフォンを使っている人が 12 人いないときに、まず最初に検討される方法です。

人数はすぐに集まります。難しいのはその後です。要件は 12 人が 14 日間継続してオプトインしている状態でないと満たされませんが、相互テストの相手は自分のテストが終われば残る理由がありません。

2. どこで相手を探すか

• Discord サーバーや LINE オープンチャット。‘クローズド テスト 相互’などで探すと、お互いにテスターになり合うグループがいくつも見つかります。反応が最も早い方法です。
• デベロッパー コミュニティや掲示板、SNS。テスター募集の投稿をして、コメントやメッセージでメールアドレスをやり取りします。
• 海外のコミュニティ。Reddit などテスターを交換する英語の掲示板もあります。ただし、トラックの国 / 地域に相手のいる国が含まれていないとインストールできません。

投稿にはアプリ名、参加リンク、維持してほしい期間、自分のテストが終わる日付を書いておきましょう。何をいつまでにすればよいのかが明確なほど、最後まで残ってくれる人が増えます。

3. 進め方

1. 自分のアプリのクローズド テストのトラックにバージョンをアップロードし、審査が終わって参加リンクが表示されることを確認します。
2. 相互テストをする人たちの Google アカウントのメールアドレスを受け取って自分のテスターリストに追加し、自分のメールアドレスも相手に送ります。
3. リストを保存した後、公開の概要で変更を審査に送信します。この手順を忘れると、相手が参加できません。
4. お互いに参加リンクからオプトインし、アプリをインストールします。
5. 12 人目が参加した時点から 14 日間を数えます。その間はお互いにアプリを削除せず、1 日 1 回ほど開きます。
6. 要件を満たしたら製品版へのアクセスを申請し、相手のテストが終わるまで相手のアプリはそのまま残しておきます。

4. 崩れやすい 4 つのポイント

• 相手が先に終わってアプリを削除する。最も多いケースです。自分より 1 週間早く始めた相手は、自分の 14 日間が半分ほど過ぎたころに自分のテストが終わります。そこでアプリを削除されると、その人は自分の人数から外れます。
• オプトインだけして使わない。人数には数えられますが、製品版へのアクセス申請の審査では、テスターが実際にアプリを使ったかどうかも見られます。誰も開いていないテストは “エンゲージメント不足”として差し戻されることがあります。
• 参加した日がばらばら。14 日間は 12 人目が参加した時点から数えます。数日かけて 1 人ずつ集まると、その分だけ終了日が後ろにずれ、途中で抜けた枠を新しく埋めると、その人からまた 14 日間になります。
• 自分が維持すべきアプリが増えていく。12 人と相互テストをすると、自分のスマートフォンにも他人のアプリが 12 個入り、それぞれ相手のテストが終わるまで削除できません。自分が削除すると、相手の要件が崩れます。

5. 最後まで維持するコツ

• 予備の人数を確保する。ちょうど 12 人だと、1 人抜けただけで崩れます。数人多めに受け入れておきましょう。
• 一斉に始める。先に全員を集めてから同じ日に参加してもらえば、期間が最短になり、終了日もお互いに近くなります。
• 終了日を伝え合う。“私のテストは○月○日に終わります。それまで削除しないでください”と書いておき、相手の日付も控えておきます。
• 途中で人数を確認する。アプリのダッシュボードにある要件の進捗で、参加中のテスターの数を数日おきに確認します。減っていたらすぐに補充すれば、遅れる日数を減らせます。
• 実際に使って意見を交換する。お互いにアプリを開いてみて、気になる点を 1 行ずつ送り合えば、申請アンケートの “受け取った意見”に書く材料ができます。

人数と期間が実際に維持されているかを確認する方法は 14 日間はいつから数えるのかにあります。

6. Google は何と言っているか

Play Console ヘルプの記事では、テスターを知人・家族・同僚などの個人的なネットワーク、アプリを使いそうな人が集まるオンライン グループ、ソーシャル メディアから集めるよう案内しています。相互テストについては特に触れていません。

ヘルプがはっきり書いているのは 2 つです。テスターに 14 日間参加を続ける必要があることを伝えること、そしてテスターが 12 人に満たないか、エンゲージメントが不十分な場合はテストを追加で行う必要があるということです。相互テストであっても、この 2 つを満たす必要があります。

申請アンケートには、テスターをどのように集めたか、どのような意見を受け取ったかを事実どおりに書きます。質問ごとに何を書けばよいかは 製品版へのアクセス申請アンケートの質問別の回答例に、差し戻される理由は 却下される理由 7 つにあります。

7. 相互テストが合わない場合

リリース日が決まっていたり、他人のアプリ 12 個を 14 日間面倒を見る余裕がなかったりするなら、相互テストは向いていません。一度崩れると 14 日間がまるごとやり直しになるからです。知人への募集や代行を含む 4 つの方法は テスター 12 人の集め方の比較で比べられます。

DUIRE は代行の方式です。テスター アカウントでログインした実際の Android デバイスにアプリをインストールし、14 日間毎日決まった時刻に実行して、デバイスごとの実行記録を残します。相手のアプリを自分のスマートフォンに入れておく必要も、誰が削除したかを確認する必要もありません。