'비공개 테스트 중에 테스터가 앱에 참여하지 않았습니다' 거절, 무슨 뜻이고 어떻게 다시 신청하나

1. 이 문구가 뜻하는 것

프로덕션 액세스를 신청했다가 “비공개 테스트 중에 테스터가 앱에 참여하지 않았습니다”라는 사유로 돌아왔다면, Google은 인원과 기간이 아니라 테스트의 내용을 문제 삼은 것입니다. 테스터 12명이 14일 동안 참여 상태였더라도, 그동안 앱을 실제로 열어 써 본 흔적이 부족하다고 본 것입니다.

Play Console 고객센터 문서도 추가 테스트를 요구하는 예로 두 가지를 듭니다. 참여를 선택한 테스터가 12명보다 적은 경우, 그리고 테스터의 참여가 부족한 경우입니다. 이 문구는 뒤의 경우입니다.

2. 함께 오는 사유

이 문구는 혼자 오기보다, 업데이트로 사용자 의견을 받아 반영하는 등 테스트 권장사항을 따르지 않았다는 사유와 함께 오는 경우가 많습니다. 그리고 실제 테스터와 비공개 테스트를 더 진행한 뒤 다시 신청하라고 안내합니다.

두 사유를 합치면 Google이 보고 싶어 한 것이 드러납니다. 테스터가 앱을 썼고, 개발자가 그 반응을 보고 앱을 고쳤다는 흐름입니다. 인원만 채운 테스트에는 이 흐름이 없습니다.

3. Google은 참여를 어떻게 보나

Google은 참여를 무엇으로 재는지 공개하지 않습니다. 하루 몇 번, 몇 분 이상 써야 한다는 이야기는 Google 문서에 없는 내용입니다. 문서로 확인할 수 있는 것은 프로덕션 액세스 설문이 묻는 내용입니다.

• 테스터가 앱이 제공하는 기능을 모두 써 봤는지
• 테스터의 사용 방식이 실제 사용자에게 예상하는 사용과 같은지, 다르다면 어떻게 다른지
• 테스터에게서 받은 의견의 요약과 그 의견을 받은 방법
• 비공개 테스트 결과로 앱을 어떻게 바꿨는지

즉 검토자는 설문 답과 테스트 기간의 기록을 함께 봅니다. 답할 사실이 없는 테스트는 설문에서도 드러납니다. 문항별로 무엇을 쓰면 되는지는 프로덕션 액세스 설문 문항별 예시에 정리해 두었습니다.

4. 자주 겹치는 원인

• 설치만 하고 열지 않은 테스터. 품앗이로 모은 테스터에게서 흔합니다. 인원으로는 세지만 사용 기록은 남지 않습니다(품앗이가 깨지는 지점).
• 첫 화면에서 막히는 앱. 로그인이 필요한데 테스터가 계정을 만들 수 없거나, 첫 실행이 느리거나 오류가 나면 테스터가 기능까지 가지 못합니다. 로그인이 필요한 앱은 검토용 로그인 정보도 Play Console에 적어 둬야 합니다.
• 테스트 내내 버전이 하나. 테스트에서 무엇을 보고 고쳤는지 보여 줄 수 없습니다(비공개 테스트 중 업데이트).
• 의견을 받을 길이 없었다. 테스터가 불편을 말할 곳이 없으면 설문의 “받은 의견” 문항을 채울 수 없습니다.
• 설문이 “잘 마쳤습니다”로 끝났다. 숫자와 버전, 고친 내용이 없는 답은 테스트를 했다는 근거가 되지 못합니다.

5. 다시 신청하기 전에

1. 테스트를 멈추지 않습니다. 트랙과 테스터 목록을 그대로 두면 인원 · 기간 조건은 유지됩니다. 트랙을 새로 만들면 처음부터 다시 셉니다.
2. 테스터가 기능을 써 보게 합니다. “로그인해서 ○○을 한 번 해 보고, 불편한 점을 한 줄 남겨 주세요”처럼 해 볼 일을 구체적으로 부탁합니다. Google도 테스터를 메시지 그룹에 모아 의견을 나누게 하라고 권합니다.
3. 받은 의견으로 업데이트를 올립니다. 작아도 좋으니 두세 번, 출시 노트에 무엇을 바꿨는지 적어 둡니다.
4. 사용 기록을 쌓은 뒤 설문을 다시 씁니다. 다시 신청하기까지 기다려야 하는 기간이 문서에 정해져 있지는 않지만, 바로 같은 내용으로 내면 결과도 같기 쉽습니다. 며칠에서 14일 정도 실제 사용과 업데이트를 쌓은 뒤 내세요.

다른 거절 사유와 함께 대조해 보려면 프로덕션 액세스가 거절되는 이유 7가지를 보세요.