개인 개발자가 비공개 테스트를 해야하는 이유

AI 코딩 물결에 휩쓸려 당신도 모바일앱을 만든다면 반드시 알아야 할 것이 있다.

바로 “스토어 정책”이다.

스토어 정책에 따라 여러분이 힘들여 만든 앱이 출시 가능할수도, 불가능할수도 있다.

필자는 안드로이드 앱만 현재 진행중이기 때문에, 안드로이드 스토어 정책을 위주로 한번 알아보도록 하겠다.

구글 플레이 스토어에는 앱을 올리는 단계가 네 개 있다.

내부 테스트(Internal), 비공개 테스트(Closed), 공개 테스트(Open), 그리고 프로덕션(Production).

단어만 봐도 감이 오겠지만, 위로 갈수록 더 많은 사람한테 노출된다.

내부 테스트는 본인이 직접 추가한 100명까지, 비공개 테스트는 본인이 선정한 테스터 그룹, 공개 테스트는 플레이스토어에서 “베타” 라벨이 붙은 채로 누구나 받을 수 있고, 프로덕션은 우리가 흔히 아는 정식 출시다.

2023년 11월 13일 이후 구글 플레이 스토어의 정책이 바뀐다. 이 날 이후로 만든 개인 개발자 계정은 프로덕션으로 가기 전에 비공개 테스트 단계에서 12명 이상의 테스터가 14일 연속 opt-in 상태를 유지해야 한다.

이를 채워야만 프로덕션 액세스를 신청할 수 있고, Google이 심사해서 통과시켜야 정식 출시가 된다. 공개 테스트로 넘어가는 것도 같은 게이트에 묶여있다.

반면 사업자 계정은 이 요건 자체가 면제다.

D-U-N-S 번호 등록하고 사업자 검증만 통과하면 바로 프로덕션 트랙을 열 수 있다.

즉, 같은 앱을 같은 사람이 만들어도 계정 유형이 뭐냐에 따라 출시까지 걸리는 시간이 완전히 달라진다는 얘기다. AI로 앱 만드는 건 빨라졌는데, 출시는 그만큼 빨라지지 않았다.

개인개발자는 어떤 테스트를 하는게 좋을까?

나의 깨움단 업데이트를 한번 보도록 하자.

5월 27일 첫 비공개 테스트를 진행 후, 6월 7일까지 12번의 버전 업데이트를 거쳤다. 오늘인 6월 9일까지 포함하면 2주일 동안 13번의 버전 업데이트를 거친 셈이다.

만약 혼자서 개발하는 솔로 프로덕트 빌더라면 왜 이렇게 되었는지 충분히 이해할 것이다.

바로 혼자서 찾아낼 수 있는 버그는 한계가 있다는 점이다.

솔로 빌더의 경우 친한 친구 등을 통해서 베타 테스트를 진행해야 하는데, 친한 친구의 핸드폰에 앱을 깔기 위해서는 링크를 주든 플레이 스토어에서 다운을 받게끔 해야한다.

비공개 테스트는 테스터가 될 사람들의 이메일을 따로 그룹으로 만들어 등록하면, 링크를 전달하여 앱을 설치하는 방식이다. 사업자가 없는 사람이라면 무조건 이 단계를 거쳐야 한다.

장점은 내가 지정한 사람만 링크에 들어가 앱 다운이 가능하기 때문에, 일반 이용자의 테스트가 불가능하다.

일반 이용자의 테스트가 불가능한 것이 장점인 이유는, 버그가 많더라도 안 떠날 내부자만 테스트가 가능하기 때문에 피드백을 받는 즉시 수정 및 보완이 가능하다는 점이다.

최소한 12명의 유저가 14일 동안 꾸준히 사용해야 프로덕션 레벨로 올릴 수 있는데, 12명 전부에게 피드백을 받아 업데이트 후 일일히 공지를 보내 업데이트를 요청하는 것이 쉬운 일은 아니다.

그렇기 때문에 아무 거리낌 없이 테스트 시킬 친한 친구 1\~2명에게만 비공개 테스트를 진행한 후 오픈 베타 출시 직전까지 갔을 때 12명을 모아 테스트를 진행하는 방법을 권장하는 바이다.

공개 테스트는 이와는 조금 다르다. 베타라는 이름으로 앱을 구글 플레이 스토어에 공개하는 것이다. 우리는 이것을 오픈 베타라고 부른다. 누구나 다운받을 수 있기 때문에, 내부적으로 최소한 10\~15번의 버전 업그레이드가 된 후 실행하는 것이 좋을 것이다.

만약 사업자가 있으면서 팀이 세팅 되었다면, 서로 내부적으로 테스트한 후 오픈 베타를 바로 진행하는 것도 나쁜 방법은 아니다.

하지만 오픈 베타의 경우 익명의 유저들이 테스트함으로 퀄리티에 문제가 있다면, 프로덕션에 문제가 생길 수 있다. 오픈 베타의 경우 크래시율이 그대로 데이터로 남고, 정책 위반이 발견되면 그 시점에서 프로덕션 진입이 막힌다. 익명 유저는 비공개 테스터처럼 “내 친구니까 봐줘야지”가 없기 때문에, 버그가 있는 채로 노출되면 1점짜리 리뷰가 그대로 쌓인다.

그래서 오픈 베타는 “이제 거의 다 됐다”는 확신이 들 때 여는 게 맞다. 사업자 계정이면 비공개 테스트 12명/14일 강제 요건이 없기 때문에 내부 QA만 충분히 돌리고 바로 오픈 베타로 넘어가는 게 가능하다. 반면 개인 개발자는 어차피 비공개 테스트 14일을 거쳐야 하니, 그 기간을 오픈 베타 직전 마지막 QA라고 생각하고 활용하는 게 합리적이다.

솔플은 많아지는데 앱 출시 수는 적어졌다

위 그래프를 보자. 2021년에 구글 플레이에서 신규 출시된 앱은 160만 개가 넘었다. 그런데 2024년에는 68만 개로, 절반 이하로 줄었다. 2025년에 와서야 83만 개 수준으로 일부 회복했을 뿐이다.

이 감소가 우연일까? 아니다. Google이 의도적으로 만들어낸 결과다. 비공개 테스트 12명/14일 같은 게이트, 더 엄격해진 정책 심사, 품질 기준 강화. 이런 장치들이 한꺼번에 작동하면서 “AI로 누구나 앱을 만들 수 있는 시대”에 오히려 출시 자체의 진입 장벽이 더 높아진 것이다.

필자가 깨움단을 만들면서 2주 동안 13번의 버전 업데이트를 거친 이유도 결국 여기에 있다. 출시는 만든다고 되는 게 아니라, 출시할 자격을 증명해야 가능하다. 그리고 그 증명은 비공개 테스트 단계에서 한 땀 한 땀 쌓는 수밖에 없다.

만약 이 글을 읽고 있는 당신이 솔로 빌더라면, 그리고 곧 앱을 출시할 계획이라면, 12명의 테스터를 미리 확보해두는 것을 지금부터 고민하길 바란다.

그리고 만약 시간이 있다면, 필자의 깨움단 비공개 테스트에 한 자리 채워주시면 정말 감사하겠다. 그룹 알람 앱이고, 친구나 동료끼리 서로 깨워주는 구조다.  

패턴 스튜디오로 연락 주시면 테스트 링크를 보내드립니다. 우리 같이 그 68만에서 83만 사이의 어딘가에 한 칸을 차지합시다.