[데이터분석] 그렇다면 다른 지표는요? 한 가설 내 다른 검증을 최대한 줄여보자.

데이터분석가, 혹은 데이터 관련 일을 하다 보면 '그렇다면 다른 지표는요?'라는 문장이 가장 많이 듣는 문장 TOP5에 들어있다. 이 문장이 안 좋은 질문이라는 건 아니지만 중요한 건 한 미팅에서, 혹은 한 스레드에서 계속 반복해서 들을 수(혹은 볼 수) 있는 질문이라는 점이다. 본인이 가지고 있는 가설에 대해서 검증해보고 싶은 건 모든 사람이 가지고 있는 욕구이기 때문에 이 질문은 어찌 보면 당연한 질문일 수도 있다. 하지만 그 업무에서 그 질문에 대해 답을 해줘야 하는 건 데이터 분석가인 우리, 나 자신이기 때문에 한 때 이 질문을 최대한 줄여야 하는 것도 우리, 그리고 나 자신이어야 한다. 그렇다면, 어떻게 이 질문을 줄일 수 있을까? 

 

---

1. 내가 지금 보고 있는 분석에 대한 가설을 명확하게 한다. 

'그렇다면 다른 지표는요?'라는 질문은 여러 상황에서 들을 수 있다. 분석을 진행하고 분석을 공유하는 자리라던지, 실험을 진행한 후 실험에 대한 결과를 볼 때라던지 혹은 간단한 지표값을 보는 자리 등 데이터에 관련된 자리라면 어렵지 않게 들을 수 있는 질문이다. 여러 상황에서 받을 수 있는 질문이지만, 이 상황을 하나로 정리해 보자면 바로 '데이터를 통해 검증하고 싶은 게 있는 경우'라고 할 수 있다. 예를 들어, 분석을 진행하는 이유는 무언가를 검증하고 싶기 때문에 분석을 진행하고, 실험을 진행하는 이유 또한 무언가 검증하고 싶기 때문에 진행한다. 또한 가벼운 지표도 무언가를 실제로 확인하고 싶기 때문에 보게 된다. 이런 상황에서 A라는 지표를 넘어 B, C, D 그리고 Z 지표까지 보고 싶어 하는 이유는 '보고자 하는 게, 혹은 검증하고자 하는 게 명확하게 정해지지 않았기 때문'이다.

 

가정과 가설은 다르다. 가정은 그저 A가 B 된다면 긍정적일 것이다, A가 된다면 C 될 것이다.처럼 우리가 보고자 하는 걸 추측한 것이지만, 가설은 과학적 방법, 통계 방법 등 어떤 방법을 사용해서 검증할 수 있는 것이다. 즉, 그 문장 자체가 바로 '검증'되어야 한다. 예를 들어 A가 B가 된다면 유저에게 긍정적인 효과를 줄 것이다. 가 아닌, A가 B가 된다면 유저의 리텐션이 50%로 늘어날 것이다. (여기서 우리는 긍정지표를 유저 리텐션으로 보기로 했어요...)처럼 '유저 리텐션 50%' 같이 바로 검증할 수 있는 문장을 가설이라고 볼 수 있다. 이런 가설이 있을 때, 우리는 전자에서는 '긍정적인 효과'로 볼 수 있는 '클릭 지표, 재방문 지표, 결제 지표' 등 여러 지표를 봐야 하지만, 후자에서는 우리가 정해둔 '유저 리텐션'만 보면 되기 때문에 그렇다면 다른 지표는요?라는 문장을 들을 가능성이 낮아진다. 

 

가설을 좀 더 명확히 하고 검증해야 하는 부분도 좀 더 명확하게 하기 위해 나 또한 분석, 혹은 실험을 진행하기 전 '그래서 이걸 왜 봐야 하는데요?'라는 질문을 많이 한다. (아마... 누군가는... 데이터분석가에게 '목적이 뭐예요?'라는 질문 안 받기 글을 쓰고 있지 않을까?) 해당 질문을 통해서 데이터를 보고자 하는 사람이(나 포함) 정말 어떤 결과를 보고 싶기 때문에 이 주제를 보고자 하는지 생각하고, 이에 맞게 가설을 잘 다듬는다. 이렇게 명확한 가설 -> 검증. 의 단계를 거친다면, 검증을 하고 싶은 사람의 욕구를 해결해 주기 때문에 확실히 질문의 빈도가 줄어들 수 있다.  

 

2. 분석 혹은 지표를 보기 전 충분히 얼라인을 맞춘다.  

명확한 가설을 세웠음에도 불구하고 '그렇다면 다른 지표는요?'라는 질문을 또 받을 수 있다. 경험 상 명확한 가설에 질문이 나오는 경우는 서로 다른 지표를 애초부터 보고 싶었기 때문이었다. 사실 분석 혹은 실험을 진행할 때는 여러 사람들이 엮여있는 경우가 더 많다. 이런 경우에는 하나의 가설이 굉장히 명확하게 있어도 그 명확한 가설에 대해 얼라인이 안 되는 경우가 있을 수 있다. 위에 적어둔 가설에 좀 더 이어서 이야기해 보자면, 구성원 K는 '유저의 긍정적인 행동'을 '체류시간'으로 생각한다던지, 구성원 P는 유저 리텐션은 긍정지표이긴 하지만 너무 후행지표이기 때문에 선행될 수 있는 '클릭의 빈도'가 긍정적인 행동이라고 볼 수도 있다. 즉, 가설 내의 '유저 리텐션'이라는 지표 자체가 납득되지 않는 경우도 있다. 이런 경우에는 이 가설 그리고 검증 방법에 대한 얼라인을 맞추는 일이 필요하다. 

 

나의 경우에는 주로 이 분석 혹은 이 실험을 하고자 하는 팀의 슬랙을 미리 파악해보기도 한다. 현재 이 팀이 이 작업을 통해서 확실하게 개선하고자 하는 부분은 어딘지, 그리고 그 부분의 개선은 이후 어느 부분에 또 영향을 줄 수 있는지, 그리고 해당 팀은 어떤 지표를 가장 올리고 싶어 하는지. 여러 부분을 파악하다 보면 각 구성원들이 어떤 지표의 개선을 원하고 있는지도 확인할 수 있다. 이 슬랙을 파악한 후에는, 각 구성원들이 집중하고 있는 지표를 리스트 세워본 후, 그 지표를 어우를 수 있는 지표가 어떤 게 있을지 등을 고민하고, 구성원들에게 직접 물어보며 여러 구성원들의 의견을 담을 수 있도록 하는 편이다. 물론, 모든 구성원들의 의견을 듣고 모든 구성원들이 만족해하는 검증을 뽑아내기는 어렵지만 그래도 충분히 얼라인을 맞추는 경우에는 확실하게 질문의 빈도가 줄어들 수 있다. 

 

3. 미리 준비해 둔다. 

여러 번 분석, 실험을 하다 보면 오 이거 말고도 이 지표도 보고 싶어 할 것 같은걸?이라는 생각이 드는 경우가 종종 있다. 몇 번의 이터레이션을 돌아야(진짜 여러 경험이 필요하긴 하다) 할 수 있는 생각이지만 주로 내가 보고 싶었던 데이터는 다른 구성원들도 궁금해하는 데이터인 경우가 많다. 이 경우에는 내가 보고 싶어 했던 데이터도 검증해 보고 미리 질문이 나오기 전 준비해 두는 게 좋다. (MSG로 약간의 생색을 넣어두는 것도 좋다.) 사실 데이터 분석을 하다 보면 가설 설정을 할 때 놓쳤던 부분을 데이터 탐색을 통해서 깨닫기도 하고, 데이터 추출을 통해서 새로운 가설도 설정할 수 있는 경우가 생긴다. 이때 '아 만약 이 분석 결과 (혹은 실험 결과)를 듣는다면 구성원이 이 부분도 궁금해하겠구나'라는 생각이 든다면 미리 준비해 두는 것도 좋다.

 

혹은 여러 이터레이션을 돌면서 그래서 '다른 지표'는요?라는 질문에서 '다른 지표'를 맡는 여러 지표가 이미 리스트업 되어있을 수 있다. '클릭 수'라는 걸 볼 때 항상 따라 나오는 '노출 수'라던지 '리텐션'과 함께 나오는 '방문 빈도'라던지 이미 사내에서 중요하게 보는 지표라던가, 혹은 항상 함께 보는 지표가 있을 수 있다. 이럴 때는 경험을 바탕으로 미리 다른 지표를 준비해 둔다면 '그렇다면 다른 지표는요?'라는 질문의 빈도를 줄일 수 있다. 

---

 

데이터분석가들과 커피챗을 할 때 '그렇다면 다른 지표는요?' 라는 질문에 대한 고민을 종종 들을 수 있다. 사실 이 고민을 같이 이야기할 때 나도 아직은 완벽한 방법을 찾지 못했다고 생각하지만 위에 작성한 세 개의 해결법에 대해서는 꼭 이야기를 해주는 편이다. (업무를 더 하다 보면 분명 더 좋은 방법을 찾겠지만..) 물론 회바회, 사바사 겠지만 그래도 어느 정도는 이 방법을 통해 이 질문에 대한 빈도를 줄일 수 있지 않을까라고 생각한다.