Hat sich der Aufwand für V2 gelohnt?

Vor ein paar Wochen habe ich ein Issue zu unserer bevorstehenden Reise in Richtung Exercism V3 gepostet. Jemand schrieb einen Kommentar und meinte, er hoffe, dass der Übergang reibungsloser verlaufen würde als von V1 zu V2, und stellte infrage, ob sich viele unserer Änderungen überhaupt gelohnt hätten. Beides sind ausgezeichnete Punkte, die zeigen, dass wir offensichtlich nicht erklärt haben, welche Wirkung die V2-Änderungen tatsächlich hatten und warum wir sie für lohnenswert halten. Deshalb dachte ich, es wäre sinnvoll, einen kurzen Beitrag zu schreiben, der die Veränderungen in den Daten umreißt und auch die Kennzahlen, auf die wir mit dem Vorstoß zu V3 abzielen.

(Drei Anmerkungen zu den Zahlen. Erstens: Die folgenden Kennzahlen sind grob nach dem Ablauf der Seite geordnet, nicht nach Wichtigkeit. Zweitens: Für die Vergleiche habe ich ein Fenster von 17 Monaten vor und nach dem Start von V2 verwendet. Wenn ich „V1" sage, meine ich die letzten 17 Monate von V1. Es gibt keine völlig genaue Methode dafür, denn V1 hatte in den 17 Monaten vor dem Start viele kleine Änderungen, und V2 wurde in der Zeit seit dem Start erheblich verbessert. Außerdem gibt es Ausreißertage, wie den während V1, als GitHub uns vorstellte und wir für etwa einen Tag 30-mal so viel Traffic hatten. Darüber habe ich mir keine Gedanken gemacht und mich einfach an ein festes Fenster auf beiden Seiten gehalten, weil ich das für die fairste Art halte, Dinge zu messen. Und schließlich: Für jeden Punkt hätte ich viele Kennzahlen verwenden können. Ich habe solche gewählt, die aus meiner Sicht die Geschichte erzählen, die die Zahlen insgesamt vermitteln, und die sich über historische und aktuelle Daten hinweg leicht berechnen ließen).)

Kennzahlen von V1 zu V2

Besucher, die sich registrieren (Branding)

Eines unserer Ziele war es, dass Exercism sich für Menschen einladender anfühlt, die vom ursprünglichen Branding (rot + Teufel) abgeschreckt worden sein könnten. Für viele wirkte das wie eine kleine Änderung, weil sie vom Branding nicht abgeschreckt wurden und die Mühe deshalb wie Zeitverschwendung erschien. Wir waren jedoch der Meinung, dass Exercism in V1 nicht gerade eine „einladende, inklusive Gemeinschaft" ausstrahlte, und es war uns wichtig, das zu korrigieren.

Wie viele Menschen haben sich in den jeweiligen Zeiträumen bei Exercism registriert, und wie hoch war das als Anteil der neuen Besucher?

• V1: 62.618 (17 % der neuen Besucher registrieren sich)
• V2: 188.844 (48 % der neuen Besucher registrieren sich)

Diese erste Veränderung war beträchtlich. Unsere V2-Landingpage konvertiert mit 48 %, gegenüber 17 % bei V1. Das liegt so gut wie ausschließlich an der Marke und an Klarheit darüber, was wir tun und wer wir sind. Deshalb bin ich fest davon überzeugt, dass sich die Mühe, Exercism neu zu branden, gelohnt hat.

Eine Einschränkung ist, dass V2 wahrscheinlich Menschen zur Registrierung ermutigt, die für Exercism in seiner jetzigen Form noch nicht bereit sind. V2 ist nicht für absolute Anfänger ausgelegt, doch die Landingpage von V2 ist für absolute Anfänger viel einladender, also bekommen wir wahrscheinlich viele Nutzer, die für Exercism noch nicht bereit sind. Eine Möglichkeit, dem Rechnung zu tragen, wäre, nicht nur die Zahl der sich registrierenden Besucher zu betrachten, sondern wie viele Besucher sich registriert und es geschafft haben, eine Lösung einzureichen. Dafür sehen wir:

• V1: 26.194 (7 % der neuen Besucher registrieren sich und reichen ein)
• V2: 52.533 (13,9 % der neuen Besucher registrieren sich und reichen ein)

Daran lässt sich ablesen, dass das Branding unsere tatsächliche „Konversionsrate" in etwa verdoppelt hat, was die Mühe des Rebrandings auf jeden Fall lohnenswert macht. Erwähnenswert ist auch, dass diese Einschränkung ganz verschwinden wird, sobald wir in Richtung Anfängerfreundlichkeit (V3.x) weitergehen.

Lösungen, die Feedback bekommen (Mentoring)

Das Zweite, was wir verbessern wollten, war die Menge an Mentoring pro Lösung. In V1 war das ein bisschen ein Glücksspiel: Vielleicht bekamst du Kommentare, vielleicht auch nicht, ganz davon abhängig, ob jemand deine Einsendung bemerkte. Ein großer Teil des formellen Mentorings in V2 sollte das gerechter, beständiger und verlässlicher machen.

Die Kennzahl, die ich hier verwendet habe, ist der Prozentsatz der Lösungen, die einen Kommentar erhalten.

• V1: 3,5 % aller Lösungen
• V2: 64 % der Lösungen, für die Mentoring angefragt wurde (26 % aller Lösungen)

Das ist aus meiner Sicht die phänomenale Statistik und der große Hinweis darauf, dass V2 uns in die richtige Richtung geführt hat. In V2 ist die Wahrscheinlichkeit, Feedback zu deiner Lösung zu bekommen, jetzt 18-mal höher als in V1. Beim Mentoring in V2 ist uns viel misslungen (siehe den nächsten Abschnitt!), doch ich bin unheimlich stolz und dankbar für unsere Mentoren, dass Exercism einen Ort bietet, an dem du, wenn du Mentoring möchtest, es mit hoher Wahrscheinlichkeit auch bekommst.

Bindung

Schließlich wollten wir die „Bindung" verbessern, also wie stark die Seite genutzt wird. Wenn Menschen Freude an Exercism haben und es nützlich finden, machen sie mehr damit. Das hat zwei Seiten: wie oft jemand auf die Seite zurückkommt und wie viele Lösungen jemand hochlädt.

Wiederkehrende Nutzer:

• V1: 4,79 Sitzungen / Person
• V2: 5,42 Sitzungen / Person

Umfang der Uploads:

• V1: 8,0 Lösungen / Person
• V2: 8,2 Lösungen / Person

Beides blieb ziemlich konstant. Das ist ein Bereich, in dem ich mir in V2 einen großen Zuwachs erhofft hatte, und den gab es nicht. Die Wartezeiten auf Mentoring und die Sperrmechanismen, die den Fortschritt ohne Mentoring aufhalten, machten V2 zu einem sehr langsamen Erlebnis. Für jemanden, der schnell eine Sprache durcharbeiten wollte, machten die riesigen Mentor-Warteschlangen es sehr schwer, in einem einigermaßen angemessenen Tempo zu lernen. Das Erlebnis hängt hier stark vom jeweiligen Track ab. Bei Tracks mit Wartezeiten von mehr als einem Tag ist die Abbruchrate spürbar. Bei denen mit längeren Wartezeiten (z. B. Rust, Python) ist die Abbruchrate beträchtlich.

Die Änderungen in V3 zielen größtenteils darauf ab, dieses Problem zu beheben: Exercism zu einem Ort zu machen, an dem du eine Sprache schnell lernen oder üben kannst, an dem du aber auch hilfreiche asynchrone Gespräche mit Mentoren führen kannst, ohne dass dein Fortschritt blockiert wird.

Auf dem Weg zu V3.

Für V3 hoffe ich, dass alle drei dieser Kennzahlen weiter steigen. Mein Ziel ist, dass Menschen von Exercism hören und sich registrieren, dass sie es schaffen, Lösungen einzureichen und tief in Tracks einzusteigen, ohne sich frustriert zu fühlen, und dass sie Mentoring bekommen, wenn sie es möchten.

Ich hoffe, dass die obigen Statistiken zeigen, dass wir uns in die richtige Richtung bewegen und dass die Arbeit, die alle in V2 gesteckt haben, sich gelohnt hat. Es wird viel Einsatz aus der Community brauchen, um uns zu V3 zu bringen, aber ich bin zuversichtlich, dass wir, wenn wir in 24 Monaten Bilanz zu Exercism ziehen, ähnliche Zuwächse sehen werden und dass sich alle nächsten Arbeitsphasen als lohnenswert erweisen werden. Exercism ist unsere Community. Danke euch allen für alles, was ihr tut.