V2は努力に見合ったのか？

2週間ほど前、私が投稿したイシューについて、私たちの今後のExercism V3への歩みについてでした。するとある人がコメントを投稿し、V1からV2への移行よりも今回の移行がスムーズであってほしいと願っていること、そして私たちが加えた多くの変更が手間に見合うものだったのかと疑問を投げかけていました。どちらも挙げる価値のある素晴らしい指摘で、V2の変更が実際にもたらした影響と、それがなぜ価値があったと私たちが考えているのかを、私たちがきちんと説明してこなかったことを示しています。ですから、データに見られた変化と、V3へと進む中で目標にしている指標をまとめた短い記事を書く価値があると思いました。

（数値について3点補足します。まず、以下の指標は重要度ではなく、おおむねサイトの流れに沿って並べています。次に、比較にはV2のローンチの前後それぞれ17か月の期間を使いました。私が「V1」と言うときは、V1の最後の17か月を指します。これを完全に正確に行う方法はありません。V1にはローンチ前の17か月の間に多くの小さな変更があり、V2にはローンチ以降の期間に大きな改善があったからです。外れ値の日もありました。たとえばV1の期間中、GitHubで紹介されて、1日ほどトラフィックが30倍になった日がありました。そうしたことは気にせず、前後を固定した期間で比較しました。それが最も公平な測り方だと考えたからです。最後に、各項目にはほかにも使えた指標がたくさんあります。ここでは、数値が全体として語っていることをよく表していて、過去と現在のデータにまたがって計算しやすいものを選びました）。

V1からV2への指標

登録する訪問者（ブランディング）

私たちの目標のひとつは、当初の（赤＋悪魔の）ブランディングに敬遠されてしまったかもしれない人たちに、Exercismをもっと親しみやすく感じてもらうことでした。多くの人にとって、これは小さな変更に見えたはずです。その人たちはブランディングに敬遠させられていなかったので、その労力は時間の無駄に見えたのです。しかし私たちは、V1のExercismは「歓迎的で包摂的なコミュニティ」という雰囲気を醸し出していないと考えており、それを正すことが重要でした。

それぞれの期間で何人がExercismに登録したのか、そしてそれは新規訪問者の何パーセントだったのでしょうか？

• V1：62,618人（新規訪問者の17%が登録）
• V2：188,844人（新規訪問者の48%が登録）

この最初の変更は大きなものでした。V2のランディングページのコンバージョン率は48%で、V1の17%とは対照的です。これはほぼ純粋に、ブランドと、私たちが何をしているのか、私たちが何者なのかについての明確さによるものです。ですから、Exercismのリブランディングに費やした努力は、それだけの価値があったと強く信じています。

ひとつ注意点があります。V2は、現時点のExercismにはまだ準備ができていない人たちにも登録を促している可能性があります。V2はまったくの初心者向けには作られていませんが、V2のランディングページはずっと初心者に親しみやすくなっているので、おそらくまだExercismに準備ができていないたくさんのユーザーを獲得しています。これを考慮に入れる方法のひとつは、登録した訪問者の数だけでなく、登録して_さらに_解答を提出できた訪問者がどれくらいいるかを見ることです。これを見ると：

• V1：26,194人（新規訪問者の7%が登録して提出まで到達）
• V2：52,533人（新規訪問者の13.9%が登録して提出まで到達）

このことから、ブランディングによって真の「コンバージョン率」がおよそ2倍になったと言えます。リブランディングの取り組みは間違いなく価値がありました。また、初心者に優しい方向へ進んでいくにつれて（V3.x）、この注意点はまったくなくなるということも付け加えておきます。

フィードバックを受け取る解答（メンタリング）

2つ目に改善したかったのは、解答1つあたりのメンタリングの量です。V1では、少し運任せでした。誰かがあなたの提出に気づくかどうかだけで、コメントがもらえることもあれば、もらえないこともありました。V2の正式なメンタリングの大きな部分は、これをより公平で、一貫性があり、信頼できるものにすることでした。

ここで使った指標は、コメントを受け取った解答の割合です。

• V1：すべての解答の3.5%
• V2：メンタリングを依頼した解答の64%（すべての解答の26%）

私の目には、これが驚くべき数字であり、V2が正しい方向へ進んだことを示す大きな指標です。V2では、V1に比べて解答にフィードバックをもらえる確率が18倍になりました。V2のメンタリングには、うまくいかなかった点もたくさんあります（次のセクションをご覧ください！）。それでも、メンタリングを望めばたいていは受けられる場をExercismが提供できているのは、メンターのみなさんのおかげです。心から誇りに思い、感謝しています。

定着度

最後に、「定着度」、つまりサイトの利用量を改善したいと考えていました。人々がExercismを楽しみ、役に立つと感じていれば、もっと活用してくれるはずです。これには2つの側面があります。ひとつは、どれだけ何度もサイトに戻ってくるか。もうひとつは、どれだけの解答をアップロードするかです。

再訪ユーザー：

• V1：1人あたり4.79セッション
• V2：1人あたり5.42セッション

アップロード数：

• V1：1人あたり8.0解答
• V2：1人あたり8.2解答

どちらもほぼ横ばいでした。これはV2で大きな増加を期待していた領域ですが、増えませんでした。メンタリングの待ち時間と、メンタリングなしでは先に進めない仕組みの両方が、V2をとても進行の遅い体験にしていました。ある言語を素早く進めたい人にとって、メンターの長い順番待ちは、無理のないペースで学ぶことをとても難しくしていました。ここでの体験はトラックによって大きく異なります。待ち時間が1日を超えるトラックでは、離脱率が目立ちます。さらに待ち時間が長いトラック（たとえばRust、Python）では、離脱率はかなりのものです。

V3での変更は、主にこの問題を解決することを目的としています。Exercismを、言語を素早く学んだり練習したりできる場所にしつつ、進行を止められることなく、メンターと役立つ非同期のやり取りができる場所にするのです。

V3に向けて

V3では、これら3つの指標がすべて上がり続けることを願っています。私の目標は、人々がExercismを知って登録し、いらいらすることなく解答を提出してトラックを深く進められ、メンタリングを望んだときにはそれを受けられるようにすることです。

上の統計が、私たちが正しい方向に進んでいること、そしてみんながV2に注いだ労力が価値あるものだったことを示していれば幸いです。V3に到達するにはコミュニティから多くの努力が必要になりますが、24か月後にExercismを振り返ったとき、同じような増加が見られ、次のすべての段階の取り組みが価値あるものだったと証明されると確信しています。Exercismは私たちのコミュニティです。みなさん、いつもありがとうございます。