Wie geht es weiter mit Exercism?

Vor etwas mehr als zwölf Monaten haben wir die neue Version von Exercism gestartet. Das war eine radikale Veränderung: Wir haben das Produkt von Grund auf neu gedacht und die Konzepte Fortschritt und formales Mentoring eingeführt.

Seit dem Start haben wir alles repariert, was kaputt war, und ein paar Dinge ergänzt, die wir konzeptionell übersehen hatten. Vor allem aber haben wir beobachtet und gelernt, wie alle die neue Version nutzen. Dieser Beitrag zeigt, was uns die letzten zwölf Monate gelehrt haben: das Gute und das Schmerzhafte. Er beschreibt außerdem, was wir in den nächsten Monaten erreichen wollen.

Das Gute

Exercism ist enorm gewachsen, allein durch Mundpropaganda. Seit Juli 2018 sind 134.000 neue Mitglieder dazugekommen. Wir haben 578.000 eingereichte Iterationen und 395.000 gepostete Kommentare gesehen, und über 2.500 Menschen haben sich als Mentoren angemeldet und in unserem Slack-Workspace 75.000 Beiträge untereinander geschrieben. Die Community hat sich gegenseitig unterstützt und ermutigt, und das hat Exercism gedeihen lassen. Darüber freuen wir uns riesig und sind außerordentlich dankbar.

Dank unserer Community aus Maintainern sind unsere Sprachtracks jeden Tag besser geworden. In einigen Tracks haben wir dank der Arbeit am Track Anatomy Project riesige Fortschritte gemacht. Inzwischen haben wir über 3.000 Übungen, verteilt auf 50 aktive Tracks.

Mit Unterstützung von Mozilla haben wir die automatische Analyse von Lösungen umgesetzt. Unsere Community hat Analyzer für zehn Sprachen gebaut, und seit dem Start haben wir 14.000 Lösungen analysiert. Die Analyse hat es uns ermöglicht, 4.000 Einreichungen automatisch freizugeben, was unseren Mentoren etwa 350 Stunden Arbeit erspart hat.

Das Schmerzhafte

Abgesehen von ein paar Startschwierigkeiten gab es in den letzten zwölf Monaten einen großen wunden Punkt: die langen Reaktionszeiten beim Mentoring, wodurch sich in einigen Tracks erhebliche Rückstände aufgestaut haben. Die Probleme, die hinter den Verzögerungen beim Mentoring stecken, lassen sich in drei Hauptkategorien einteilen:

• Track-Struktur: Wenn ein Track keinen reibungslosen Fortschrittspfad hat, wird das Mentoring deutlich schwieriger, die Mentoring-Zeit pro Übung schießt in die Höhe und die Spannungen zwischen Mentoren und Lernenden nehmen dramatisch zu. Nur wenige Tracks hatten zum Start eine Reihe von Kernübungen, die aufeinander aufbauten.
• Mentoring muss erfüllend sein: Immer wieder dasselbe Feedback zu geben, ist langweilig. Mentoring wird interessant, wenn das Feedback persönlich ist und sich die Gespräche am Verständnis der Lernenden orientieren.
• Fehlendes Gemeinschaftsgefühl: Wenn das Mentoring einsam wird, ist die Abbrecherquote hoch. In Tracks, in denen es eine Handvoll zentraler Mentoren gibt, die sich über unseren Slack-Workspace gegenseitig unterstützen und ermutigen, bleiben Mentoren eher dabei. Auch die Beziehungen zwischen Lernenden und Mentoren sind entscheidend für dieses Gemeinschaftsgefühl. Respektvolle und persönliche Begegnungen zwischen Menschen vermitteln das Gefühl, dass hier Menschen anderen Menschen helfen, und nicht nur eine Bildungswebsite.

Wir haben im vergangenen Jahr viel Zeit damit verbracht, diese Herausforderungen anzugehen, und eine enorme Menge Energie im Hintergrund darauf verwendet, die Kernprobleme dahinter zu verstehen. Unser Plan für die nächsten zwölf Monate soll diese drei Probleme lösen. Wir hoffen, dass wir dann in allen Tracks schnelle und konstante Reaktionszeiten haben.

Die nächsten zwölf Monate

Unsere Arbeit für die nächsten zwölf Monate gliedert sich in mehrere Abschnitte. Diese Liste ist nicht vollständig (wir werden zum Beispiel weiterhin Bugs beheben und allgemeine Verbesserungen an der Website und der Kommandozeile vornehmen), aber sie bildet den Schwerpunkt unserer Arbeit.

Tracks neu strukturieren, damit Lernende Spaß haben und Mentoring leichter wird

Das Track Anatomy Project war entscheidend dafür, einige der akuten Probleme der Tracks auf Exercism zu beheben. In den nächsten zwölf Monaten werden wir tiefer gehende Fragen zu Sprachbeherrschung, Lernen und Verlernen untersuchen und herausarbeiten, was an den einzelnen Sprachen einzigartig oder besonders herausfordernd ist.

Automatisieren, was sich automatisieren lässt

Wir genehmigen Lösungen jetzt automatisch in zehn Tracks. Zu diesen Lösungen geben wir außerdem automatisch Verbesserungstipps.

Wir werden die bestehenden Analyzer ausbauen, damit sie mehr Übungen abdecken, und Analyzer für weitere Sprachen hinzufügen. Außerdem wollen wir die Analyse stärker in die Erfahrung von Lernenden und Mentoren auf der Website einbinden, insbesondere indem wir häufige Probleme erkennen und melden, die eine automatische Freigabe verhindern.

Wir werden anfangen, die Testsuites gegen eingereichte Lösungen laufen zu lassen.

Wir glauben, dass diese zusätzliche Automatisierung folgende Vorteile bringt:

• Weniger Frust bei den Lernenden: Wir wollen den Lernenden eine schnelle Rückmeldung geben. Wenn eine Lösung optimal ist, sollen sie weitermachen können. Wenn sie vorhersehbar fehlschlägt, sagen wir es ihnen, damit sie sie verbessern können.

• Die Warteschlange deutlich verkleinern: Unsere Prototypen haben gezeigt, dass wir bei einfachen Übungen in über 90 % der Fälle automatisiertes Mentoring anbieten können. Bei komplexeren Übungen erwarten wir zwar eine kleinere Zahl, aber wir denken, dass wir bei etwa der Hälfte der eingereichten Lösungen automatisiertes Mentoring anbieten können.

• Weniger Wiederholung für Mentoren: Die meisten Lösungen fallen in ähnliche Kategorien. Ein großer Teil des Mentorings besteht darin, vorgefertigte Antworten für jede Art von Lösung zu kopieren, was selbst für die hartnäckigsten Mentoren mühsam und uninteressant ist. Wenn wir gängige Lösungen aus der Mentoring-Warteschlange nehmen, können sich Mentoren auf die Fälle konzentrieren, die ihr Wissen und ihre Erfahrung brauchen.

Respektvolle Beziehungen zwischen Lernenden und Mentoren fördern

Mentoring auf Exercism ist derzeit ein sehr transaktionaler Prozess. Eine Person reicht eine Lösung ein, ein Mentor kommentiert sie. Abgesehen von der allgemein freundlichen Art der Gespräche gibt es keine „Beziehung“ zwischen Mentor und Lernenden. Ein Mentor kann sich nicht leicht merken, ob er dieser Person schon einmal Feedback gegeben hat. Man kann nicht wissen, ob jemand Anfänger oder erfahrene Programmiererin ist, und das Feedback entsprechend anpassen. Und Lernende können nichts über den Hintergrund ihres Mentors wissen und das Feedback in diesem Kontext entsprechend schätzen.

Wir werden zwei Dinge untersuchen, von denen wir hoffen, dass sie das ganze Erlebnis empathischer machen und das Mentoring erfüllender und angenehmer.

Das erste sind ausführlichere Profile für Lernende und Mentoren, die viel enger in das Mentoring-Erlebnis eingebunden werden.

Das zweite ist die Idee fester Paare von Lernenden und Mentoren. So könnten Lernende weiter von Mentoren lernen, die sie besonders hilfreich finden, und Mentoren mit Lernenden zusammenarbeiten, deren Lernstil oder Hintergrund sie gut verstehen.

Aus unseren Nutzern eine Community machen

Wenn Tracks „funktionieren“, dann weil sie eine kleine Zahl ständig präsenter Mentoren haben. Diese Mentoren beraten andere, verbessern die Mentoren-Notizen, heißen neue Leute willkommen, beantworten ihre Fragen und geben den Menschen allgemein das Gefühl, Teil von etwas zu sein. Sobald ein Track einen zentralen Mentor hat, der sich wohl damit fühlt, diese Stimme im Slack zu sein, geht der Rückstand des Tracks meist schnell zurück. Dieser Schwung ist entscheidend. Wenn es so aussieht, als würde der Rückstand sinken, springen alle mit an Bord und helfen. Dann wollen alle den Rückstand niedrig halten.

Die Mentoren, die am regelmäßigsten mentoren, sind auch die aktivsten in unserer Slack-Community. Wir glauben, das liegt daran, dass sie sich Exercism am meisten verbunden und am besten unterstützt fühlen. Mentoring wird dann mehr als nur das Antworten auf Lernende: Es geht darum, größere Ziele mit anderen Gleichgesinnten zu teilen.

Wir sind überzeugt, dass das grundlegende Hindernis für das Wachstum und den Erfolg von Exercism kein technologisches ist, sondern ein menschliches. Wir müssen Exercism nicht als Website oder Produkt betrachten, sondern als Community, als einen Ort, an dem Menschen ihre Zeit verschenken, um anderen zu helfen. Exercism bietet Menschen die Chance auf Verbundenheit, Gemeinschaft, Sinn und Freundlichkeit, aber im Moment nutzen und fördern wir das nicht gut.

In den nächsten zwölf Monaten werden wir herausarbeiten, wie sich Exercism wie eine Community und nicht wie eine Website anfühlen kann. Wir wollen die funktionale Realität des Lernens und Mentorings nicht verwässern. Wir wollen kein „soziales Netzwerk“ und kein unstrukturiertes Diskussionsforum sein. Wir wollen, dass sich alle, die bei Exercism mitmachen, mit den anderen Tausenden verbunden fühlen, die es ebenfalls nutzen. Das richtig hinzubekommen, ist kompliziert und wird ein langsamer, sorgfältiger Prozess.

Sobald uns das gelingt, werden wir die Hürde für das Mentoring auf Exercism senken. Wir werden es allen leichter machen, anderen zu helfen, im Wissen, dass es eine starke Community gibt, die unterstützt und moderiert, was auf der Website passiert.

Zusätzliche Motivation zum Mitmachen schaffen

Beim Design von v2 haben wir bewusst entschieden, weiterhin auf Gamification zu verzichten. Wir halten es für wesentlich, dass Menschen mitmachen, weil sie einen inneren Wert darin finden, und nicht, weil wir künstlich ihre Belohnungszentren kitzeln.

Aktiv bleiben die Menschen, die sich im Ökosystem von Exercism immer wieder auf neue Weise herausfordern. Ob sie einen Track betreuen, in einer neuen Sprache mentoren, Blogbeiträge schreiben oder Analyzer bauen: Sie finden immer neue Wege, die Sache interessant zu halten. So viel Arbeit wir auch darin investiert haben, Lernenden ein Gefühl von Fortschritt und unerwartete Belohnungen zu geben, für Mentoren haben wir nichts Vergleichbares, und ich finde, das ist ein echter Verlust.

Außerdem wollen wir, dass die harte Arbeit und die großartigen Beiträge der Menschen anerkannt und gefeiert werden.

Wir wollen Wege finden, unserer Community neue Herausforderungen, Chancen und Privilegien zu bieten, je mehr sie Exercism nutzt. Wir werden uns Zeit nehmen und fragen, was wir hinzufügen können, das für Exercism wertvoll ist und für die Menschen in unserer Community, ohne die inneren Motivationen zu schmälern, die Exercism auch weiterhin antreiben müssen.

Wir werden vorsichtig vorgehen, um das richtig hinzubekommen, und wir sind überzeugt, dass es einen enormen Unterschied für Exercism machen wird, wenn es uns gelingt.

Selbstbewusst zeigen, wer wir sind

Der letzte Bereich, an dem wir im kommenden Jahr arbeiten wollen, und die letzte große Lücke, die es unserer Meinung nach im Moment gibt, ist eine bessere Kommunikation: worum es bei Exercism geht, wer wir sind und was wir erreichen wollen. Wenn Menschen abwägen, ob sie ihre Zeit für Exercism einsetzen wollen, bewerten sie uns nach unseren Werten und Prinzipien und nach ihrer Erfahrung mit uns außerhalb von Exercism.

Also müssen wir laut und deutlich über unsere Vision sprechen, darüber, wer wir sind und woran wir glauben. Wir müssen die Vision gegenüber allen in der Community ständig bekräftigen und uns gemeinsam darüber freuen, was wir mit Exercism alles erreichen können. Wir brauchen Seiten, die lebendig erzählen und begeistern, und Videos, bei denen man spürt, dass Menschen dahinterstehen. Unser Ziel ist dabei ausdrücklich nicht, Nutzer zu gewinnen. Es geht darum, klar zu sagen, wer wir sind, und die Menschen begeistert und motiviert zu halten, Teil von uns zu sein. Wahrscheinlich werden wir dadurch schneller wachsen und mehr Schwung bekommen, aber das ist nicht das, was wir messen oder worauf wir Wert legen wollen. Uns geht es darum, dass sich alle, die mit Exercism zu tun haben, begeistert, gestärkt und verbunden fühlen.

Wir haben damit angefangen, in kleinen Schritten, indem wir in den sozialen Medien präziser sind, und schon das hat bei den Mitgliedern unserer Community mehr Begeisterung und Verbundenheit geschaffen und dazu beigetragen, unsere „Marke“ als positiv zu positionieren. Wir wollen darauf im kommenden Jahr sorgfältig aufbauen und Exercism zu einem Ort machen, mit dem alle Beteiligten stolz verbunden sind.

Fazit

Wir freuen uns wirklich auf die nächsten zwölf Monate: darauf, wie wir Exercism auf dem Weg zu seinem Potenzial unterstützen können, und darauf, wie wir unsere Community besser bedienen und verbinden können. Zum Schluss möchte ich allen, die im letzten Jahr beigetragen haben, ein riesiges Dankeschön sagen, ob als Maintainer, Mentor, Lernende oder auf eine andere Weise. Danke für eure Begeisterung, eure Ideen, eure Beiträge und eure Geduld, während wir die Dinge weiter verbessern.

Übrigens: Exercism hat ein Strategiepapier, das wir laufend mit unserem Plan aktualisieren, wie wir Exercism voranbringen wollen, und in das du in Zukunft vielleicht mal einen Blick werfen möchtest.