Megérte a V2 a befektetett munkát?

Néhány hete közzétettem egy issue-t a küszöbön álló Exercism V3 felé vezető utunkról. Valaki azt írta egy hozzászólásban, hogy reméli, simább lesz az átmenet, mint a V1-ről a V2-re, és megkérdőjelezte, hogy megérte-e a fáradságot a sok változtatás, amit bevezettünk. Mindkettő remek felvetés, és rávilágít arra, hogy láthatóan nem magyaráztuk el, milyen hatása is volt a V2-es változtatásoknak, és miért gondoljuk, hogy megérték. Ezért úgy gondoltam, megér egy rövid bejegyzést, hogy felvázoljam, milyen változásokat mutattak az adatok, és milyen mérőszámokat célozunk meg a V3 felé vezető úton.

(Három megjegyzés a számokhoz. Először is, az alábbi mérőszámokat nagyjából az oldal bejárása szerint soroltam fel, nem a fontosságuk szerint. Másodszor, az összehasonlításhoz a V2 indulása előtti és utáni 17 hónapos időablakot használtam. Amikor „V1”-et írok, a V1 utolsó 17 hónapjára gondolok. Erre nincs teljesen pontos módszer, mert a V1-ben sok apró változás történt az indulás előtti 17 hónapban, a V2 pedig jelentős fejlesztéseken esett át az indulása óta. Vannak kiugró napok is, például amikor a V1 idején a GitHub kiemelt minket, és körülbelül egy napig 30-szoros volt a forgalmunk. Ezzel nem foglalkoztam, csak ragaszkodtam egy rögzített időablakhoz mindkét oldalon, mert úgy gondolom, ez a legtisztességesebb mérési mód. Végül, minden egyes ponthoz sok mérőszámot használhattam volna. Olyanokat választottam, amelyek véleményem szerint jól elmesélik azt a történetet, amit a számok összességében mutatnak, és amelyeket könnyű volt kiszámolnom a régi és az új adatokból).)

V1 -> V2 mérőszámok

Regisztráló látogatók (arculat)

Az egyik célunk az volt, hogy az Exercism befogadóbbnak tűnjön azoknak, akiket esetleg elriasztott az eredeti (piros + ördögös) arculat. Sokaknak ez jelentéktelen változásnak tűnt, mert őket nem riasztotta el az arculat, így az erőfeszítés időpocsékolásnak látszott. Mi azonban úgy gondoltuk, hogy az Exercism a V1-ben nem sugározta a „befogadó, inkluzív közösség” érzését, és fontos volt számunkra, hogy ezt helyrehozzuk.

Hányan regisztráltak az Exercism-re az adott időszakokban, és ez hány százaléka volt az új látogatóknak?

• V1: 62 618 (az új látogatók 17%-a regisztrál)
• V2: 188 844 (az új látogatók 48%-a regisztrál)

Ez az első változás jelentős volt. A V2 nyitóoldala 48%-os konverziót hoz, szemben a V1 17%-ával. Ez nagyjából kizárólag a márkának és annak köszönhető, hogy világos, mit csinálunk és kik vagyunk. Ezért erősen hiszem, hogy megérte az Exercism új arculatába fektetett energia.

Egy fenntartás azonban van: a V2 valószínűleg olyanokat is regisztrációra ösztönöz, akik még nem állnak készen az Exercism-re olyannak, amilyen. A V2 nem a teljesen kezdőknek készült, a nyitóoldala viszont sokkal befogadóbb a teljesen kezdők számára, így valószínűleg sok olyan felhasználót vonzunk, akik még nem készek az Exercism-re. Ennek egyik kezelési módja, ha nemcsak azt nézzük, hány látogató regisztrál, hanem azt is, hány látogató regisztrált és küldött be sikeresen egy megoldást. Erre ezt látjuk:

• V1: 26 194 (az új látogatók 7%-a regisztrál és küld be megoldást)
• V2: 52 533 (az új látogatók 13,9%-a regisztrál és küld be megoldást)

Ez alapján elmondható, hogy az arculat nagyjából a kétszeresére növelte a valódi „konverziós rátánkat”, ami miatt az újraarculat mindenképpen megérte. Az is megjegyzendő, hogy ahogy haladunk a kezdőbarát irányba (V3.x), ez a fenntartás teljesen eltűnik.

Visszajelzést kapó megoldások (mentorálás)

A második dolog, amit javítani akartunk, a megoldásonkénti mentorálás mennyisége volt. A V1-ben ez kissé lutri volt: vagy kaptál hozzászólásokat, vagy nem, pusztán attól függően, hogy valaki észrevette-e a beküldött megoldásodat. A V2 formális mentorálásának nagy része arról szólt, hogy mindez igazságosabb, következetesebb és megbízhatóbb legyen.

Az itt használt mérőszám azoknak a megoldásoknak a százalékos aránya, amelyek hozzászólást kapnak.

• V1: az összes megoldás 3,5%-a
• V2: a mentorálást kérő megoldások 64%-a (az összes megoldás 26%-a)

Számomra ez a fenomenális statisztika, és ez a nagy jele annak, hogy a V2 jó irányba vitt minket. A V2-ben most 18-szor nagyobb az esélye, hogy visszajelzést kapsz a megoldásodra, mint a V1-ben. Sok mindent elrontottunk a mentorálásban a V2-ben (lásd a következő részt!), de hatalmas büszkeséggel és hálával gondolok a mentorainkra azért, hogy az Exercism olyan helyet kínál, ahol ha mentorálást szeretnél, akkor valószínűleg meg is kapod.

Ragadósság

Végül szerettük volna javítani a „ragadósságot”, vagyis azt, hogy mennyit használják az emberek az oldalt. Ha az emberek élvezik az Exercism-öt és hasznosnak találják, többet is tesznek majd vele. Ennek két oldala van: hányszor tér vissza valaki az oldalra, és hány megoldást tölt fel.

Visszatérő felhasználók:

• V1: 4,79 munkamenet / fő
• V2: 5,42 munkamenet / fő

A feltöltések mennyisége:

• V1: 8,0 megoldás / fő
• V2: 8,2 megoldás / fő

Mindkettő nagyjából változatlan maradt. Ez az a terület, ahol azt reméltem, hogy a V2-ben nagy növekedést látunk majd, de nem így lett. A mentorálásra való várakozási idők és a mentorálás nélküli haladást megakadályozó blokkoló mechanizmusok együtt nagyon lassú élménnyé tették a V2-t. Aki gyorsan szeretett volna végighaladni egy nyelven, annak a hatalmas mentorálási sorok nagyon megnehezítették, hogy elfogadható ütemben tanuljon. Az itteni élmény nagymértékben kurzustól függ. Azoknál a kurzusoknál, ahol a várakozási idő meghaladja az egy napot, észrevehető a lemorzsolódás. Azoknál, amelyeknél hosszabb a várakozási idő (pl. Rust, Python), a lemorzsolódás jelentős.

A V3 változtatásai nagyrészt e probléma megoldására irányulnak: hogy az Exercism olyan hellyé váljon, ahol gyorsan tanulhatsz vagy gyakorolhatsz egy nyelvet, de közben hasznos, aszinkron beszélgetéseket is folytathatsz mentorokkal anélkül, hogy a haladásodat blokkolnák.

Úton a V3 felé.

A V3-nál azt remélem, hogy mindhárom mérőszám tovább emelkedik. A célom az, hogy az emberek halljanak az Exercism-ről és regisztráljanak, hogy sikerüljön megoldásokat beküldeniük és mélyen elmerülniük a kurzusokban anélkül, hogy frusztrálódnának, és hogy amikor mentorálást szeretnének, meg is kapják.

Remélem, hogy a fenti statisztikák megmutatják, hogy jó irányba haladunk, és hogy megérte a munka, amit mindenki a V2-be fektetett. Sok erőfeszítésre lesz szükség a közösség részéről, hogy eljussunk a V3-ig, de biztos vagyok benne, hogy amikor 24 hónap múlva számot vetünk az Exercism-mel, hasonló növekedéseket fogunk látni, és a munka következő fázisai is megérik majd a fáradságot. Az Exercism valóban a közösségünk. Köszönöm mindannyiótoknak mindazt, amit tesztek.