La V2 valait-elle le coup ?

Il y a quelques semaines, j'ai ouvert un ticket au sujet du voyage qui nous attend vers Exercism V3. Quelqu'un a laissé un commentaire disant qu'il espérait que la transition se ferait plus en douceur que de la V1 à la V2, et se demandant si beaucoup des changements que nous avions apportés valaient vraiment la peine. Ce sont deux excellentes remarques à soulever, et elles montrent que nous n'avons clairement pas expliqué l'impact que les changements de la V2 ont bel et bien eu, ni pourquoi nous pensons qu'ils valaient la peine. J'ai donc pensé qu'il valait la peine d'écrire un court article présentant les changements que nous avons observés dans les données, ainsi que les métriques que nous visons avec la poussée vers la V3.

(Trois remarques sur les chiffres. D'abord, les métriques ci-dessous sont à peu près classées selon le déroulé du site, plutôt que par ordre d'importance. Ensuite, j'ai utilisé une fenêtre de 17 mois de part et d'autre du lancement de la V2 pour les comparaisons. Quand je dis « V1 », je parle des 17 derniers mois de la V1. Il n'y a pas de méthode parfaitement exacte pour faire cela, car la V1 a connu beaucoup de petits changements dans les 17 mois précédant son lancement, et la V2 a bénéficié d'améliorations substantielles depuis son lancement. Nous avons aussi des journées aberrantes, comme celle pendant la V1 où GitHub nous a mis en avant et où nous avons eu 30 fois plus de trafic pendant environ une journée. Je ne m'en suis pas préoccupé et m'en suis tenu à une fenêtre fixe de part et d'autre, en pensant que c'était la façon la plus juste de mesurer les choses. Enfin, il y a beaucoup de métriques que j'aurais pu utiliser pour chaque point. J'ai choisi celles qui, selon moi, racontent le mieux l'histoire que les chiffres racontent dans leur ensemble, et qui étaient faciles à calculer à partir des données anciennes et récentes).

Métriques de la V1 à la V2

Les visiteurs qui s'inscrivent (image de marque)

L'un de nos objectifs était de rendre Exercism plus accueillant pour les personnes que l'branding d'origine (rouge + diable) avait pu rebuter. Pour beaucoup, cela semblait un changement mineur, parce que ce branding ne les dérangeait pas, et l'effort semblait donc une perte de temps. Cependant, nous étions convaincus qu'Exercism ne dégageait pas une impression de « communauté accueillante et inclusive » dans la V1, et il était important pour nous de corriger cela.

Combien de personnes se sont inscrites sur Exercism au cours de ces périodes, et quel pourcentage de nouveaux visiteurs cela représentait-il ?

• V1 : 62 618 (17 % des nouveaux visiteurs s'inscrivent)
• V2 : 188 844 (48 % des nouveaux visiteurs s'inscrivent)

Ce premier changement a été considérable. Notre page d'accueil de la V2 convertit à 48 %, contre 17 % pour la V1. Cela tient presque uniquement à l'image de marque et à la clarté sur ce que nous faisons et sur qui nous sommes. Je suis donc fermement convaincu que l'effort consacré à la refonte de l'image d'Exercism valait la peine.

Une réserve toutefois : la V2 encourage probablement à s'inscrire des personnes qui ne sont pas encore prêtes pour Exercism tel qu'il est aujourd'hui. La V2 n'est pas conçue pour les grands débutants, et pourtant sa page d'accueil est bien plus accueillante pour eux, ce qui fait que nous avons probablement beaucoup d'utilisateurs qui ne sont pas encore prêts pour Exercism. Une façon d'en tenir compte serait de regarder non seulement le nombre de visiteurs qui s'inscrivent, mais plutôt combien de visiteurs se sont inscrits et ont réussi à soumettre une solution. Sur ce point, on observe :

• V1 : 26 194 (7 % des nouveaux visiteurs s'inscrivent et soumettent une solution)
• V2 : 52 533 (13,9 % des nouveaux visiteurs s'inscrivent et soumettent une solution)

On peut donc dire que l'image de marque a à peu près doublé notre véritable « taux de conversion », ce qui rend la refonte de l'image de marque assurément rentable. Il faut aussi noter qu'à mesure que nous évoluerons vers une plateforme adaptée aux débutants (V3.x), cette réserve disparaîtra complètement.

Les solutions qui reçoivent des retours (mentorat)

La deuxième chose que nous voulions améliorer était la quantité de mentorat par solution. Dans la V1, c'était un peu une loterie : tu pouvais recevoir des commentaires, ou pas, selon que quelqu'un avait remarqué ta soumission. Une grande partie du mentorat formel de la V2 visait à rendre cela plus équitable, plus cohérent et plus fiable.

La métrique que j'ai utilisée ici est le pourcentage de solutions qui reçoivent un commentaire.

• V1 : 3,5 % de toutes les solutions
• V2 : 64 % des solutions pour lesquelles un mentorat a été demandé (26 % de toutes les solutions)

C'est à mes yeux la statistique phénoménale, et le grand indicateur que la V2 nous a fait aller dans la bonne direction. Tu as désormais 18 fois plus de chances de recevoir un retour sur ta solution dans la V2 que dans la V1. Nous avons fait beaucoup d'erreurs avec le mentorat dans la V2 (voir la section suivante !), mais je suis immensément fier de nos mentors et reconnaissant envers eux, car Exercism offre un endroit où, si tu veux du mentorat, tu as plus de chances d'en recevoir que de ne pas en recevoir.

La stickiness

Enfin, nous voulions améliorer la stickiness, c'est-à-dire l'usage que les gens font du site. Si les gens prennent plaisir à utiliser Exercism et le trouvent utile, ils en feront davantage. Cela comporte deux aspects : le nombre de fois qu'une personne revient sur le site et le nombre de solutions qu'elle met en ligne.

Visiteurs qui reviennent :

• V1 : 4,79 sessions / personne
• V2 : 5,42 sessions / personne

Volume de mises en ligne :

• V1 : 8,0 solutions / personne
• V2 : 8,2 solutions / personne

Les deux sont restés à peu près stables. C'est un domaine où j'espérais voir une forte augmentation dans la V2, et ce n'est pas arrivé. Les temps d'attente pour le mentorat et les mécanismes de blocage qui empêchent de progresser sans mentorat ont fait de la V2 une expérience très lente. Pour quelqu'un qui veut progresser rapidement dans un langage, les énormes files d'attente de mentorat rendaient très difficile d'apprendre à un rythme suffisamment raisonnable. L'expérience ici dépend beaucoup du parcours. Pour les parcours dont les temps d'attente dépassent une journée, le taux d'abandon est perceptible. Pour ceux dont les temps d'attente sont plus longs (par exemple Rust, Python), le taux d'abandon est considérable.

Les changements de la V3 visent en grande partie à corriger ce problème : faire d'Exercism un endroit où tu peux apprendre ou pratiquer un langage rapidement, mais où tu peux aussi avoir des échanges asynchrones utiles avec des mentors sans que ta progression soit bloquée.

Vers la V3

Pour la V3, j'espère voir ces trois métriques continuer de progresser. Mon objectif est que les gens entendent parler d'Exercism et s'inscrivent, qu'ils parviennent à soumettre des solutions et à s'investir à fond dans des parcours sans se sentir frustrés, et que, lorsqu'ils veulent du mentorat, ils en reçoivent.

J'espère que les statistiques ci-dessus montrent que nous allons dans la bonne direction et que le travail que tout le monde a fourni sur la V2 en valait la peine. Il faudra beaucoup d'efforts de la part de la communauté pour nous amener à la V3, mais je suis convaincu que lorsque nous ferons le bilan d'Exercism dans 24 mois, nous constaterons des augmentations similaires et que toutes les prochaines phases de travail se révéleront payantes. Exercism est notre communauté. Merci à toutes et à tous pour tout ce que vous faites.