„Testerzy nie byli zaangażowani w korzystanie z aplikacji podczas testu zamkniętego”: co to znaczy i jak ponownie złożyć wniosek

1. Co oznacza ten komunikat

Jeśli wniosek o dostęp do wersji produkcyjnej wrócił z uzasadnieniem, że testerzy nie byli zaangażowani w korzystanie z aplikacji podczas testu zamkniętego, Google zakwestionował nie liczbę testerów ani okres, tylko przebieg testu. Nawet jeśli 12 testerów uczestniczyło w teście przez 14 dni, Google uznał, że brakuje śladów faktycznego otwierania i używania aplikacji w tym czasie.

Dokumentacja Centrum pomocy Play Console również podaje dwa przykłady sytuacji, w których wymagane są dodatkowe testy: gdy zgodę na udział wyraziło mniej niż 12 testerów oraz gdy testerzy nie byli wystarczająco zaangażowani. Ten komunikat dotyczy drugiej sytuacji.

2. Powody, które pojawiają się razem z nim

Ten komunikat rzadko pojawia się sam. Często towarzyszy mu powód, że nie zastosowano zalecanych praktyk testowania, np. zbierania opinii użytkowników i uwzględniania ich w aktualizacjach. Google prosi wtedy o kontynuowanie testu zamkniętego z prawdziwymi testerami i ponowne złożenie wniosku.

Połączenie obu powodów pokazuje, czego Google chciał zobaczyć: testerzy korzystali z aplikacji, a deweloper na podstawie ich reakcji ją poprawiał. W teście, w którym jedynie zebrano wymaganą liczbę osób, tego przebiegu brakuje.

3. Jak Google ocenia zaangażowanie

Google nie ujawnia, czym mierzy zaangażowanie. Twierdzeń, że aplikację trzeba otwierać kilka razy dziennie albo używać przez określoną liczbę minut, nie ma w dokumentacji Google. Z dokumentacji wynika natomiast, o co pyta kwestionariusz dostępu do wersji produkcyjnej.

• Czy testerzy wypróbowali wszystkie funkcje aplikacji
• Czy sposób korzystania przez testerów odpowiadał oczekiwanemu sposobowi korzystania przez prawdziwych użytkowników, a jeśli nie — czym się różnił
• Podsumowanie opinii otrzymanych od testerów i sposób, w jaki je zebrano
• Jak zmieniłeś aplikację na podstawie wyników testu zamkniętego

Osoba rozpatrująca wniosek patrzy więc zarówno na odpowiedzi w kwestionariuszu, jak i na zapisy z okresu testu. Test, po którym nie ma faktów do opisania, zdradza się także w kwestionariuszu. Co napisać w poszczególnych pytaniach, opisaliśmy w artykule przykładowe odpowiedzi w kwestionariuszu dostępu do wersji produkcyjnej.

4. Częste, nakładające się przyczyny

• Testerzy, którzy zainstalowali aplikację, ale jej nie otwierali. Częste w przypadku testerów z wymiany. Są wliczani do liczby testerów, ale nie zostawiają zapisów użytkowania (gdzie wymiana testerów się sypie).
• Aplikacja zatrzymuje się na pierwszym ekranie. Jeśli wymagane jest logowanie, a testerzy nie mogą założyć konta, albo pierwsze uruchomienie jest wolne lub kończy się błędem, testerzy nie docierają do funkcji. W przypadku aplikacji wymagających logowania trzeba też podać w Play Console dane logowania do weryfikacji.
• Przez cały test tylko jedna wersja. Nie da się pokazać, co zauważyłeś i poprawiłeś w trakcie testu (aktualizacje w trakcie testu zamkniętego).
• Nie było jak zbierać opinii. Jeśli testerzy nie mają gdzie zgłaszać problemów, nie wypełnisz pytania kwestionariusza o otrzymane opinie.
• Kwestionariusz kończy się na „test przebiegł pomyślnie”. Odpowiedź bez liczb, wersji i opisu poprawek nie jest dowodem na to, że test się odbył.

5. Zanim ponownie złożysz wniosek

1. Nie przerywaj testu. Jeśli zostawisz ścieżkę i listę testerów bez zmian, warunki dotyczące liczby testerów i okresu pozostaną spełnione. Po utworzeniu nowej ścieżki liczenie zaczyna się od zera.
2. Poproś testerów o wypróbowanie funkcji. Konkretnie opisz zadanie, np. „Zaloguj się, zrób raz ○○ i napisz w jednym zdaniu, co było niewygodne”. Google również zaleca zebranie testerów w grupie czatowej, w której mogą dzielić się opiniami.
3. Publikuj aktualizacje na podstawie opinii. Mogą być drobne — dwie lub trzy, z opisem zmian w informacjach o wersji.
4. Zbierz zapisy użytkowania, a potem napisz kwestionariusz od nowa. Dokumentacja nie określa, ile trzeba odczekać przed ponownym złożeniem wniosku, ale jeśli od razu wyślesz to samo, wynik najpewniej będzie taki sam. Przez kilka do 14 dni gromadź faktyczne użytkowanie i aktualizacje, a dopiero potem złóż wniosek.

Aby porównać ten komunikat z innymi powodami odrzucenia, zajrzyj do artykułu 7 powodów odrzucenia wniosku o dostęp do wersji produkcyjnej.