Άξιζε τον κόπο το V2;

Πριν από μερικές εβδομάδες, δημοσίευσα ένα issue σχετικά με το επερχόμενο ταξίδι μας προς το Exercism V3. Κάποιος ανάρτησε ένα σχόλιο λέγοντας ότι ήλπιζε πως η μετάβαση θα ήταν πιο ομαλή απ' ό,τι από το V1 στο V2, και αμφισβητώντας αν πολλές από τις αλλαγές που κάναμε άξιζαν τον κόπο. Και τα δύο είναι εξαιρετικά σημεία και δείχνουν ότι σαφώς δεν έχουμε εξηγήσει τον αντίκτυπο που είχαν πράγματι οι αλλαγές του V2 και γιατί πιστεύουμε ότι άξιζαν. Σκέφτηκα, λοιπόν, ότι αξίζει να γράψω ένα σύντομο κείμενο που να περιγράφει τις αλλαγές που είδαμε στα δεδομένα, αλλά και τα μετρικά στοιχεία που στοχεύουμε με την ώθηση προς το V3.

(Τρεις σημειώσεις για τους αριθμούς. Πρώτον, τα μετρικά στοιχεία παρακάτω είναι σε γενικές γραμμές ταξινομημένα με βάση τη ροή του ιστότοπου και όχι τη σημασία τους. Δεύτερον, χρησιμοποίησα ένα παράθυρο 17 μηνών εκατέρωθεν της κυκλοφορίας του V2 για τις συγκρίσεις. Όταν λέω "V1", εννοώ τους τελευταίους 17 μήνες του V1. Δεν υπάρχει απολύτως ακριβής τρόπος να γίνει αυτό, καθώς το V1 είχε πολλές μικρές αλλαγές στους 17 μήνες πριν από την κυκλοφορία του και το V2 είχε σημαντικές βελτιώσεις στην περίοδο από τότε που κυκλοφόρησε. Έχουμε επίσης μέρες που ξεφεύγουν από τον κανόνα, όπως εκείνη κατά τη διάρκεια του V1 όταν το GitHub μας ανέδειξε, και είχαμε 30πλάσια επισκεψιμότητα για μία περίπου μέρα. Δεν ανησύχησα γι' αυτό και απλώς κρατήθηκα σε ένα σταθερό παράθυρο εκατέρωθεν, πιστεύοντας ότι είναι ο δικαιότερος τρόπος να μετρήσω τα πράγματα. Τέλος, υπάρχουν πολλά μετρικά στοιχεία που θα μπορούσα να χρησιμοποιήσω για κάθε σημείο. Διάλεξα εκείνα που πιστεύω ότι αντιπροσωπεύουν την ιστορία που λένε συνολικά οι αριθμοί και που ήταν εύκολο για μένα να υπολογίσω τόσο σε ιστορικά όσο και σε σύγχρονα δεδομένα).

Μετρικά στοιχεία V1 -> V2

Επισκέπτες που εγγράφονται (Branding)

Ένας από τους στόχους μας ήταν να κάνουμε το Exercism να φαίνεται πιο φιλόξενο σε ανθρώπους που μπορεί να είχαν αποθαρρυνθεί από το αρχικό branding (κόκκινο + διάβολος). Για πολλούς, αυτό φαινόταν σαν μια ασήμαντη αλλαγή, γιατί δεν είχαν αποθαρρυνθεί από το branding και έτσι η προσπάθεια φαινόταν σαν χάσιμο χρόνου. Ωστόσο, πιστεύαμε ότι το Exercism δεν εξέπεμπε την αίσθηση μιας "φιλόξενης, συμπεριληπτικής κοινότητας" στο V1, και ήταν σημαντικό για εμάς να το διορθώσουμε αυτό.

Πόσοι άνθρωποι εγγράφηκαν στο Exercism κατά τις δύο περιόδους και ποιο ήταν αυτό ως ποσοστό των νέων επισκεπτών;

• V1: 62,618 (17% των νέων επισκεπτών εγγράφονται)
• V2: 188,844 (48% των νέων επισκεπτών εγγράφονται)

Αυτή η πρώτη αλλαγή ήταν σημαντική. Η αρχική μας σελίδα στο V2 έχει ποσοστό μετατροπής 48%, έναντι 17% στο V1. Αυτό οφείλεται σχεδόν αποκλειστικά στο brand και στη σαφήνεια σχετικά με το τι κάνουμε και το ποιοι είμαστε. Έτσι, πιστεύω ακράδαντα ότι η προσπάθεια που καταβλήθηκε για το rebranding του Exercism άξιζε τον κόπο.

Μια επιφύλαξη είναι ότι το V2 πιθανώς ενθαρρύνει να εγγραφούν άνθρωποι που δεν είναι ακόμη έτοιμοι για το Exercism όπως είναι σήμερα. Το V2 δεν είναι σχεδιασμένο για απόλυτους αρχάριους, όμως η αρχική σελίδα του V2 είναι πολύ πιο φιλόξενη για απόλυτους αρχάριους, οπότε πιθανώς προσελκύουμε πολλούς χρήστες που δεν είναι ακόμη έτοιμοι για το Exercism. Ένας τρόπος να το λάβουμε αυτό υπόψη θα ήταν να εξετάσουμε όχι μόνο τον αριθμό των επισκεπτών που εγγράφονται, αλλά πόσοι επισκέπτες εγγράφηκαν και κατάφεραν να υποβάλουν μια λύση. Για αυτό, βλέπουμε:

• V1: 26,194 (7% των νέων επισκεπτών εγγράφονται και υποβάλλουν)
• V2: 52,533 (13.9% των νέων επισκεπτών εγγράφονται και υποβάλλουν)

Έτσι, από αυτό μπορούμε να πούμε ότι το branding ευθύνεται για τον περίπου διπλασιασμό του πραγματικού μας "ποσοστού μετατροπής", που κάνει την προσπάθεια για το rebranding σίγουρα να άξιζε. Αξίζει επίσης να σημειωθεί ότι καθώς προχωράμε προς ένα Exercism φιλικό προς τους αρχάριους (V3.x), αυτή η επιφύλαξη θα εκλείψει εντελώς.

Λύσεις που λαμβάνουν ανατροφοδότηση (Mentoring)

Το δεύτερο πράγμα που θέλαμε να βελτιώσουμε ήταν το πόσο mentoring λαμβάνει κάθε λύση. Στο V1, ήταν λίγο σαν λαχείο: μπορεί να έπαιρνες σχόλια, μπορεί και όχι, ανάλογα αποκλειστικά με το αν κάποιος πρόσεξε την υποβολή σου. Μεγάλο μέρος του επίσημου mentoring στο V2 είχε στόχο να το κάνει πιο δίκαιο, συνεπές και αξιόπιστο.

Το μετρικό στοιχείο που χρησιμοποίησα εδώ είναι το ποσοστό των λύσεων που λαμβάνουν σχόλιο.

• V1: 3.5% όλων των λύσεων
• V2: 64% των λύσεων για τις οποίες ζητήθηκε mentoring (26% όλων των λύσεων)

Αυτό είναι το εντυπωσιακό στατιστικό στοιχείο στα μάτια μου και η μεγάλη ένδειξη ότι το V2 μας πήγε προς τη σωστή κατεύθυνση. Τώρα είναι 18 φορές πιο πιθανό να λάβεις ανατροφοδότηση για τη λύση σου στο V2 απ' ό,τι στο V1. Υπάρχουν πολλά που κάναμε λάθος με το mentoring στο V2 (δες την επόμενη ενότητα!), αλλά νιώθω τεράστια περηφάνια και ευγνωμοσύνη προς τους μέντορές μας για το γεγονός ότι το Exercism προσφέρει έναν χώρο όπου, αν θέλεις mentoring, κατά πάσα πιθανότητα θα το λάβεις.

Προσκόλληση

Τέλος, θέλαμε να βελτιώσουμε την "προσκόλληση", δηλαδή τον βαθμό χρήσης του ιστότοπου. Αν οι άνθρωποι απολαμβάνουν το Exercism και το βρίσκουν χρήσιμο, θα κάνουν περισσότερα με αυτό. Υπάρχουν δύο πτυχές σε αυτό: ο αριθμός των φορών που κάποιος επιστρέφει στον ιστότοπο και ο αριθμός των λύσεων που ανεβάζει κάποιος.

Επισκέπτες που επιστρέφουν:

• V1: 4.79 συνεδρίες / άτομο
• V2: 5.42 συνεδρίες / άτομο

Όγκος ανεβασμάτων:

• V1: 8.0 λύσεις / άτομο
• V2: 8.2 λύσεις / άτομο

Και τα δύο παρέμειναν σε μεγάλο βαθμό σταθερά. Αυτός είναι ένας τομέας όπου ήλπιζα να δούμε μεγάλη αύξηση στο V2, και δεν την είδαμε. Οι χρόνοι αναμονής για mentoring και οι μηχανισμοί φραγής που εμποδίζουν την πρόοδο χωρίς mentoring έκαναν το V2 μια πολύ αργή εμπειρία. Για κάποιον που θέλει να προχωρήσει γρήγορα σε μια γλώσσα, οι τεράστιες ουρές για μέντορες έκαναν πολύ δύσκολη τη μάθηση σε έναν αρκετά λογικό ρυθμό. Η εμπειρία εδώ θα εξαρτάται σε μεγάλο βαθμό από τη διαδρομή. Για διαδρομές με χρόνους αναμονής μεγαλύτερους από μία μέρα, το ποσοστό εγκατάλειψης είναι αισθητό. Για εκείνες με μεγαλύτερους χρόνους αναμονής (π.χ., Rust, Python), το ποσοστό εγκατάλειψης είναι σημαντικό.

Οι αλλαγές στο V3 στοχεύουν σε μεγάλο βαθμό στη διόρθωση αυτού του προβλήματος: να κάνουν το Exercism έναν χώρο όπου μπορείς να μάθεις ή να εξασκηθείς γρήγορα σε μια γλώσσα, αλλά και όπου μπορείς να έχεις χρήσιμες ασύγχρονες συζητήσεις με μέντορες χωρίς να μπλοκάρεται η πρόοδός σου.

Προχωρώντας προς το V3.

Για το V3, ελπίζω να δω και τα τρία αυτά μετρικά στοιχεία να συνεχίζουν να ανεβαίνουν. Ο στόχος μου είναι οι άνθρωποι να ακούν για το Exercism και να εγγράφονται, να καταφέρνουν να υποβάλλουν λύσεις και να εμβαθύνουν στις διαδρομές χωρίς να νιώθουν απογοήτευση, και όταν θέλουν mentoring, να το λαμβάνουν.

Ελπίζω ότι τα στατιστικά στοιχεία παραπάνω δείχνουν ότι κινούμαστε προς τη σωστή κατεύθυνση και ότι η δουλειά που έβαλαν όλοι στο V2 άξιζε τον κόπο. Θα χρειαστεί μεγάλη προσπάθεια από την κοινότητα για να φτάσουμε στο V3, αλλά είμαι σίγουρος ότι όταν κάνουμε τον απολογισμό του Exercism 24 μήνες από τώρα, θα δούμε παρόμοιες αυξήσεις και ότι όλες οι επόμενες φάσεις της δουλειάς θα αποδειχθούν άξιες κόπου. Το Exercism είναι η κοινότητά μας. Ευχαριστώ όλους για όλα όσα κάνετε.