La V2 è valsa la pena?

Un paio di settimane fa ho aperto una issue sul nostro prossimo percorso verso Exercism V3. Qualcuno ha scritto un commento dicendo che sperava che la transizione fosse più fluida di quella da V1 a V2, e mettendo in dubbio se molte delle modifiche che avevamo fatto valessero la seccatura. Sono entrambi ottimi punti da sollevare e dimostrano che non abbiamo spiegato chiaramente l'impatto che i cambiamenti di V2 hanno effettivamente avuto e perché crediamo che ne siano valsi la pena. Ho quindi pensato che valesse la pena scrivere un breve post che illustrasse i cambiamenti che abbiamo visto nei dati, e anche le metriche che ci poniamo come obiettivo con la spinta verso V3.

(Tre note sui numeri. Primo: le metriche qui sotto sono ordinate all'incirca secondo il flusso del sito, non per importanza. Secondo: per i confronti ho usato una finestra di 17 mesi da entrambi i lati del lancio di V2. Quando dico «V1», intendo gli ultimi 17 mesi di V1. Non c'è un modo del tutto accurato di farlo, perché V1 ha avuto molti piccoli cambiamenti nei 17 mesi precedenti il lancio, e V2 ha ricevuto miglioramenti sostanziali nel periodo successivo al lancio. Abbiamo anche giorni anomali, come quello durante V1 in cui GitHub ci ha messo in evidenza, e per un giorno circa abbiamo avuto 30 volte il traffico. Non me ne sono preoccupato e mi sono attenuto a una finestra fissa da entrambi i lati, convinto che fosse il modo più equo di misurare le cose. Infine, ci sono molte metriche che avrei potuto usare per ogni punto. Ho scelto quelle che, secondo me, rappresentano la storia che i numeri raccontano nel loro insieme, e che mi è stato facile calcolare tra dati storici e recenti).

Metriche da V1 a V2

Visitatori che si iscrivono (branding)

Uno dei nostri obiettivi era rendere Exercism più accogliente per le persone che il branding originale (rosso + diavolo) poteva aver allontanato. Per molti sembrava un cambiamento di poco conto, perché il branding non li aveva allontanati e quindi lo sforzo sembrava una perdita di tempo. Tuttavia credevamo che in V1 Exercism non trasudasse «comunità accogliente e inclusiva», e per noi era importante rimediare.

Quante persone si sono iscritte a Exercism nei due periodi, e che percentuale rappresentano rispetto ai nuovi visitatori?

• V1: 62.618 (il 17% dei nuovi visitatori si iscrive)
• V2: 188.844 (il 48% dei nuovi visitatori si iscrive)

Questo primo cambiamento è stato notevole. La nostra landing page di V2 converte al 48%, contro il 17% di V1. Dipende quasi interamente dal brand e dalla chiarezza su ciò che facciamo e su chi siamo. Quindi credo fermamente che lo sforzo dedicato al rebranding di Exercism sia valso la pena.

Un avvertimento: è probabile che V2 spinga a iscriversi persone che non sono ancora pronte per Exercism così com'è. V2 non è pensato per i principianti assoluti, eppure la sua landing page è molto più accogliente per i principianti assoluti, quindi probabilmente attiriamo molti utenti che non sono ancora pronti per Exercism. Un modo per tenerne conto sarebbe considerare non solo il numero di visitatori che si iscrivono, ma quanti visitatori si sono iscritti e sono riusciti a inviare una soluzione. Per questo vediamo:

• V1: 26.194 (il 7% dei nuovi visitatori si iscrive e invia)
• V2: 52.533 (il 13,9% dei nuovi visitatori si iscrive e invia)

Quindi possiamo dire che il branding ha comportato all'incirca un raddoppio del nostro vero «tasso di conversione», il che rende lo sforzo di rebranding decisamente valso la pena. Vale anche la pena notare che, man mano che ci orientiamo verso l'essere adatti ai principianti (V3.x), questo avvertimento scomparirà del tutto.

Soluzioni che ricevono un feedback (mentoring)

La seconda cosa che volevamo migliorare era la quantità di mentoring per soluzione. In V1 era un po' una lotteria: potevi ricevere commenti oppure no, a seconda esclusivamente che qualcuno notasse o meno la tua soluzione. Gran parte del mentoring formale di V2 serviva a rendere tutto questo più equo, coerente e affidabile.

La metrica che ho usato qui è la percentuale di soluzioni che ricevono un commento.

• V1: il 3,5% di tutte le soluzioni
• V2: il 64% delle soluzioni per cui è stato richiesto il mentoring (il 26% di tutte le soluzioni)

Ai miei occhi questa è la statistica fenomenale, il grande segnale che V2 ci ha portato nella direzione giusta. Ora, in V2, hai 18 volte più probabilità di ricevere un feedback sulla tua soluzione rispetto a V1. Abbiamo sbagliato molte cose con il mentoring in V2 (vedi la sezione successiva!), ma provo un enorme orgoglio e una profonda gratitudine verso i nostri mentori, perché Exercism offre un luogo dove, se vuoi il mentoring, con ogni probabilità lo riceverai.

Fidelizzazione

Infine, volevamo migliorare la «fidelizzazione», cioè la quantità di utilizzo del sito. Se le persone si divertono con Exercism e lo trovano utile, ne faranno un uso maggiore. Ci sono due lati della questione: il numero di volte in cui qualcuno torna sul sito e il numero di soluzioni che carica.

Utenti di ritorno:

• V1: 4,79 sessioni / persona
• V2: 5,42 sessioni / persona

Volume di caricamenti:

• V1: 8,0 soluzioni / persona
• V2: 8,2 soluzioni / persona

Entrambe sono rimaste più o meno stabili. Questa è un'area in cui speravo di vedere un grande aumento in V2, e non è successo. I tempi di attesa per il mentoring e i meccanismi di blocco che impediscono di proseguire senza mentoring hanno reso V2 un'esperienza molto lenta. Per chi voleva progredire rapidamente in una lingua, le enormi code di mentori rendevano molto difficile imparare a un ritmo ragionevole. L'esperienza qui dipenderà molto dal track. Per i track con tempi di attesa superiori a un giorno, il tasso di abbandono è evidente. Per quelli con attese più lunghe (ad es. Rust, Python), il tasso di abbandono è consistente.

I cambiamenti di V3 mirano in gran parte a risolvere questo problema: rendere Exercism un luogo dove puoi imparare o esercitarti rapidamente in una lingua, ma anche avere conversazioni asincrone utili con i mentori senza che i tuoi progressi vengano bloccati.

Verso V3.

Per V3 spero di vedere tutte e tre queste metriche continuare a salire. Il mio obiettivo è che le persone sentano parlare di Exercism e si iscrivano, che riescano a inviare soluzioni e ad addentrarsi nei vari track senza sentirsi frustrate, e che, quando vogliono il mentoring, lo ricevano.

Spero che le statistiche qui sopra dimostrino che ci stiamo muovendo nella direzione giusta e che il lavoro che tutti hanno dedicato a V2 è valso la pena. Ci vorrà molto impegno da parte della comunità per portarci a V3, ma sono fiducioso che, quando tireremo le somme di Exercism tra 24 mesi, vedremo aumenti simili e che tutte le prossime fasi di lavoro ripagheranno lo sforzo. Exercism è la nostra comunità: grazie a tutti per tutto ciò che fate.