V2는 그만한 가치가 있었을까요?

몇 주 전에, 다가오는 Exercism V3를 향한 여정에 관한 이슈를 하나 올렸어요. 누군가 댓글을 남겼는데, V1에서 V2로 넘어갈 때보다 이번 전환이 더 순조롭기를 바란다고 했고, 우리가 했던 많은 변화가 그 수고를 감수할 만한 가치가 있었는지 의문을 제기했어요. 둘 다 짚어 볼 만한 훌륭한 지적이고, V2의 변화가 실제로 어떤 영향을 미쳤는지, 그리고 우리가 그것이 가치 있었다고 믿는 이유를 제대로 설명하지 못했다는 걸 보여줘요. 그래서 데이터에서 확인한 변화들과, V3로 나아가면서 우리가 목표로 삼고 있는 지표들을 짧은 글로 정리해 볼 만하다고 생각했어요.

(숫자에 관한 세 가지 참고 사항이 있어요. 첫째, 아래 지표들은 중요도가 아니라 대략 사이트의 흐름 순서대로 나열했어요. 둘째, 비교를 위해 V2 출시를 기준으로 앞뒤 17개월씩을 창으로 잡았어요. 제가 "V1"이라고 할 때는 V1의 마지막 17개월을 뜻해요. 완전히 정확한 방법은 없는데, V1은 출시 전 17개월 동안에도 작은 변화가 많았고, V2는 출시 이후 기간에 상당한 개선이 있었기 때문이에요. GitHub가 우리를 소개해 줘서 하루 정도 30배의 트래픽이 몰린 V1 시기의 날처럼, 이상치에 해당하는 날도 있었어요. 저는 그런 건 신경 쓰지 않고 양쪽에 고정된 창을 그대로 적용했는데, 그게 가장 공정한 측정 방식이라고 믿었기 때문이에요. 마지막으로, 각 항목마다 쓸 수 있었던 지표는 아주 많았어요. 저는 숫자가 전체적으로 들려주는 이야기를 잘 나타낸다고 느끼는 지표이면서, 과거와 최근 데이터 전반에 걸쳐 계산하기 쉬운 것들을 골랐어요).

V1 -> V2 지표

가입하는 방문자 (브랜딩)

우리의 목표 중 하나는, 원래의 (빨간색 + 악마) 브랜딩 때문에 마음이 돌아섰을 사람들에게 Exercism이 더 편안하게 느껴지도록 만드는 것이었어요. 많은 사람에게 이 변화는 사소해 보였어요. 그들은 그 브랜딩에 거부감을 느끼지 않았기 때문에, 그 노력이 시간 낭비처럼 보였거든요. 하지만 우리는 V1의 Exercism이 "편안하고 포용적인 커뮤니티"라는 느낌을 풍기지 못한다고 생각했고, 그것을 바로잡는 게 중요하다고 봤어요.

각 기간에 몇 명이 Exercism에 가입했고, 신규 방문자 대비 비율은 얼마나 됐을까요?

• V1: 62,618명 (신규 방문자의 17%가 가입)
• V2: 188,844명 (신규 방문자의 48%가 가입)

이 첫 번째 변화는 컸어요. V2 랜딩 페이지의 전환율은 48%로, V1의 17%와 대조적이에요. 이건 거의 전적으로 브랜드와, 우리가 무엇을 하고 누구인지에 대한 명확성 덕분이에요. 그래서 Exercism 리브랜딩에 들어간 노력은 그만한 가치가 있었다고 굳게 믿어요.

한 가지 주의할 점은, V2가 아직 현재의 Exercism을 할 준비가 안 된 사람들까지 가입하도록 부추겼을 수 있다는 거예요. V2는 완전 초보자를 위해 만들어진 게 아니지만, V2의 랜딩 페이지는 완전 초보자에게 훨씬 더 편안하게 다가가요. 그래서 아직 Exercism을 할 준비가 안 된 사용자도 많이 유입됐을 거예요. 이걸 감안하는 한 가지 방법은 가입한 방문자 수만 보는 게 아니라, 가입하고 그리고 풀이를 제출하는 데 성공한 방문자가 몇 명인지를 보는 거예요. 이 경우를 보면:

• V1: 26,194명 (신규 방문자의 7%가 가입하고 제출)
• V2: 52,533명 (신규 방문자의 13.9%가 가입하고 제출)

따라서 브랜딩 덕분에 우리의 실제 "전환율"이 대략 두 배가 됐다고 말할 수 있고, 리브랜딩 노력은 확실히 그만한 가치가 있었어요. 또 하나 짚어 둘 점은, 초보자 친화적으로 나아가면(V3.x) 이 주의 사항은 완전히 사라진다는 거예요.

풀이가 피드백을 받는 비율 (멘토링)

두 번째로 개선하고 싶었던 것은 풀이당 멘토링이 얼마나 이루어지는가였어요. V1에서는 이게 좀 복불복이었어요. 누군가 내 제출을 알아차렸는지에 전적으로 달려 있어서, 댓글을 받을 수도 있고 못 받을 수도 있었어요. V2의 공식 멘토링에서 큰 부분은 이걸 더 공정하고, 일관되고, 믿을 수 있게 만드는 것이었어요.

여기서 사용한 지표는 댓글을 받은 풀이의 비율이에요.

• V1: 전체 풀이의 3.5%
• V2: 멘토링을 요청한 풀이의 64% (전체 풀이의 26%)

제 눈에는 이게 놀라운 통계이고, V2가 우리를 올바른 방향으로 이끌었다는 큰 지표예요. 이제 V1보다 V2에서 풀이에 대한 피드백을 받을 가능성이 18배 더 높아요. V2의 멘토링에서 우리가 잘못한 것도 많아요(다음 섹션을 보세요!). 하지만 멘토링을 원하면 대개는 받을 수 있는 곳을 Exercism이 제공한다는 사실이, 저는 정말 자랑스럽고 멘토들에게 크게 감사해요.

충성도

마지막으로, 우리는 "충성도", 즉 사이트 사용량을 높이고 싶었어요. 사람들이 Exercism을 재미있게 느끼고 유용하다고 생각하면, 더 많이 활용할 거예요. 여기에는 두 가지 측면이 있는데, 누군가 사이트에 다시 돌아오는 횟수와 업로드하는 풀이의 수예요.

재방문 사용자:

• V1: 1인당 4.79세션
• V2: 1인당 5.42세션

업로드량:

• V1: 1인당 8.0개 풀이
• V2: 1인당 8.2개 풀이

둘 다 거의 그대로였어요. 이 부분은 V2에서 큰 증가를 기대했지만 그러지 못한 영역이에요. 멘토링 대기 시간과, 멘토링 없이는 진도를 나가지 못하게 막는 구조가 V2를 아주 느린 경험으로 만들었어요. 한 언어를 빠르게 훑고 싶은 사람에게는, 엄청나게 긴 멘토 대기열 때문에 적당한 속도로 배우기가 매우 어려웠어요. 여기서의 경험은 트랙에 따라 크게 달라져요. 대기 시간이 하루보다 긴 트랙에서는 이탈률이 눈에 띄어요. 대기 시간이 더 긴 트랙(예: Rust, Python)에서는 이탈률이 상당해요.

V3의 변화는 대체로 이 문제를 해결하는 것을 목표로 해요. Exercism을, 언어를 빠르게 배우거나 연습할 수 있으면서도, 진도가 막히지 않은 채 멘토와 유익한 비동기 대화를 나눌 수 있는 곳으로 만드는 거예요.

V3로 나아가기

V3에서는 이 세 가지 지표가 모두 계속 올라가기를 바라요. 제 목표는 사람들이 Exercism을 듣고 가입하고, 답답함 없이 풀이를 제출하고 트랙에 깊이 들어가며, 멘토링을 원할 때 그것을 받는 거예요.

위 통계가 우리가 올바른 방향으로 나아가고 있다는 것, 그리고 모두가 V2에 쏟은 노력이 가치 있었다는 것을 보여 주기를 바라요. V3에 도달하려면 커뮤니티의 많은 노력이 필요할 거예요. 하지만 지금으로부터 24개월 뒤에 Exercism을 돌아볼 때 비슷한 증가를 보게 될 것이고, 다음 단계의 모든 작업이 가치 있었다는 게 증명될 거라고 확신해요. Exercism은 바로 우리 커뮤니티예요. 그동안 해 주신 모든 일에 감사드려요.