[데이터분석] 실험은 못하지만 실험이 하고싶어

데이터 분석가라면 '실험'이라는 단어를 수도 없이 많이 들어봤을 거다. 데이터 분석가 채용 공고를 볼 때도 '실험을 설계해 본 분' 혹은 'A/B테스트 경험이 있는 분' 등의 문장이 많은 거 보면 분석가라면 꼭은 아니더라도 경험이 있다면 좋고, 만약 경험이 없다고 해도 실험을 할 때 어느 부분이 고려되어야 하는지는 알고 있어야 한다고 생각한다. 하지만 나도 작은 스타트업을 겪어본 만큼, 사실 실험 환경이 구축되어 있는 곳은 정말, 잘, 없다.  만약 작은 스타트업인데 Google Optimize를 사용할 수 있을 정도라면 실험 환경이 잘 구축되어 있다. 고 이야기할 수 있다고 본다 (주관적인 생각일 수도 있다.) 이 전에 실험 환경이 아예 구축되어있지 않았던 곳에서 일을 하면서, 실험을 한 번이라도 해보고 싶다.라는 생각을 많이 했었다. 그러고 나서 실험 문화가 아주 잘 정착된 곳으로 온 후부터는 실험의 환경도 물론이고 정말 '실험을 어떻게 하면 더 잘할 수 있을까'에 대한 근본적인 질문에 대해 더 많은 고민의 시간을 쏟고 있는 걸 느끼면서 이 전에 실험을 제대로 경험해보지 못했던 게 더 아쉬워지는 경우도 종종 있었다. 아직 온라인 실험을 경험한 지 2년도 채 되지 않았지만, 내가 실험을 할 때 어떻게 실험을 설계하고, 어느 부분을 고려하는지 그냥 편하게 적어보려고 한다. 

 

실험할 때 가장 중요한 건 무엇일까? 

실험할 때 여러 부분을 중요하게 고려해야 하지만 그래도 모든 과정 중에서 의사결정에 제일 큰 영향을 주는 '지표 정하기'가 가장 중요한 부분이라고 생각한다. (아무래도.. 나는 분석가니까... DS니까...) 실험 지표는 실행된 실험의 의미와 레슨런을 쌓을 수 있는 기초가 되는 부분이기도 해서, 실험 지표가 실제로 어떻게 구성되어 있고, 해당 지표의 등락이 어떤 의미인지 이해하는 건 실험에서 아주 중요하다고 볼 수 있다. 또한, 실험 지표의 등락을 통해 실험의 결과가 선정되는 만큼 실험의 지표는 실험에 대한 의사결정을 내일 수 있는 3가지 이내의 가장 중요한 지표로 선정하는 게 이후 실험을 통한 의사결정에 큰 도움이 될 수 있다. 

 

실험의 승패를 나누는 만큼 지표 설정이 굉장히 중요한데, 이 지표 설정을 하려면 흘러 흘러가서 이전 글에서 이야기했던 것과 동일하게 '가설 설정'을 명확하게 진행해야 한다. 사실 명확한 가설 설정은 분석가에게는 가장 중요한 부분이라고 생각한다. 실험을 할 때의 가설 설정은 이 전에 소개한 것처럼 이 실험을 통해서 꼭 확인해야 하는 부분을 가설로 설정하는 게 좋다. 예를 들어, 프로덕트 팀에서 A라는 기능을 추가해서 배포하려고 하는데 배포하기 전 실험을 통해 이게 유저들에게 얼마나 영향을 주는지 보고 싶다.라고 하며 실험 설계를 부탁했다고 생각해 보자. 그렇다면 여기서 또 우리는 또 다른 이름인 물음표 살인마로서 여러 물음표들을 들고 나와야 한다. 이 기능은 무엇을 개선하기 위해 넣은 건가요?, 유저들에게 영향을 준다는 건 어떤 영향일까요? 등등 여러 물음을 통해 명확한 가설이 세워질 수 있다.

 

물음표를 통한 결실로 '유저들이 글을 쓸 때 글쓰기 페이지 내에서 글의 카테고리를 자동추천해 주면 카테고리를 설정한 글이 더 증가할 것이다.'라는 가설이 정했다고 보자. 그러면 우리는 이 가설을 가지고 이제 지표를 뽑아내야 한다. 실험을 진행할 때는 1. 핵심지표, 2. 보조지표, 3. 가드레일 지표를 설정하게 된다. 지표들의 이름에서 아주 잘 표현되어 있지만 그래도 짧게 소개를 해보자면, 핵심지표는 가설을 검증할 수 있는 지표로 주로 실험의 성공 여부를 가르는 지표이다. 즉, 실험이 성공했을 때 변하게 되는 지표이다. 보조지표는 핵심 지표를 보면서 참고할 수 있는 지표, 그리고 가드레일 지표는 해당 실험 때문에 망가지면 안 되는 지표를 의미한다. 만약 핵심 지표가 진짜 딱 명확한 경우에는 가드레일 지표와 핵심 지표가 동일할 때도 있다.

 

본인의 경우에는 실험에 필요한 지표를 선정할 때는 1) 이 실험이 성공적인지 아닌지 확실하게 알 수 있는 지표인지, 2) 프로덕트 내에 해당 기능을 통해 개선해야 하는 부분 이외에도 영향을 받을만한 곳이 있는지를 가장 많이 생각하면서 지표에 대해 고민한다. 위 가설을 바탕으로 지표를 한번.. 임의로 짜보자면

이런 식으로 지표를 짤 수 있겠다. 페이지가 어떻게 생겼는지에 따라서 정해지는 지표가 다르게 변할 수 있겠지만 아마 핵심 지표의 경우에는 큰 변화가 없을 것 같다는 생각이 든다. 또한 가드레일 지표의 경우에는 만약 회사에서 전반적으로 가장 중요하게 생각하는 지표 (매출, 리텐션 등)이 있다면 이 지표를 추가해 두는 것도 좋다. 

 

해당 글에서는 실험의 꽃이라고 할 수 있는(주관적 생각 2) '실험 지표 설정'에 대해서 이야기해 봤다. 아마 이 글을 처음 볼 때는 어떻게 짜야하는지 감이 잘 안 잡힐 수도 있지만 PO 혹은 PM이 조금은 두리뭉실한 가설을 가지고 나를 찾아왔다.라고 가정하고 실험 지표를 혼자 설정해 보는 것도 도움이 될 것 같다.