Quelle suite pour Exercism ?

Il y a un peu plus de 12 mois, nous lancions la nouvelle version d'Exercism. C'était un changement radical : nous avons repensé le produit de fond en comble et introduit les notions de progression et de mentorat formel.

Depuis le lancement, nous avons corrigé tout ce qui était cassé et ajouté certaines choses que nous avions oubliées sur le plan conceptuel, mais nous avons surtout observé et appris comment chacun utilisait cette nouvelle version. Cet article présente ce que ces douze derniers mois nous ont appris, le bon comme le douloureux. Il expose aussi ce que nous espérons accomplir dans les mois à venir.

Les points positifs

Exercism a connu une croissance spectaculaire, uniquement par le bouche-à-oreille. Depuis juillet 2018, 134 000 nouveaux membres nous ont rejoints. Nous avons vu 578 000 itérations soumises et 395 000 commentaires publiés, et plus de 2 500 personnes se sont inscrites comme mentors, s'écrivant 75 000 messages les unes aux autres dans notre espace de travail Slack. La communauté s'est soutenue et encouragée mutuellement, ce qui a permis à Exercism de prospérer. Nous en sommes incroyablement enthousiastes et exceptionnellement reconnaissants.

Grâce à notre communauté de mainteneurs, nos parcours ne cessent de s'améliorer chaque jour. Sur quelques parcours, nous avons fait d'énormes progrès grâce au travail du Track Anatomy Project. Nous avons désormais plus de 3 000 exercices répartis sur 50 parcours actifs.

Avec le soutien de Mozilla, nous avons mis en place l'analyse automatisée des solutions. Notre communauté a développé des analyseurs pour dix langages, et nous avons analysé 14 000 solutions depuis le lancement. Cette analyse nous a permis d'approuver automatiquement 4 000 soumissions, ce qui a économisé environ 350 heures de travail à nos mentors.

Les points douloureux

Au-delà de quelques difficultés de démarrage, un point de friction majeur est apparu au cours des 12 derniers mois : des temps de réponse longs pour le mentorat, ce qui a entraîné l'accumulation de retards importants sur certains parcours. Les problèmes inhérents à ces délais de mentorat se répartissent en trois grandes catégories :

• La structure des parcours : quand un parcours n'offre pas une progression fluide, le mentorat devient beaucoup plus difficile, le temps de mentorat par exercice explose et les tensions entre mentors et apprenants augmentent de façon spectaculaire. Peu de parcours proposaient, au lancement, un ensemble d'exercices clés qui s'appuyaient les uns sur les autres.
• Le mentorat doit être gratifiant : donner sans cesse le même retour est ennuyeux. Le mentorat devient intéressant quand le retour est personnalisé et que les échanges sont adaptés à la compréhension de chaque apprenant.
• Un manque de sentiment de communauté : quand le mentorat devient solitaire, le taux d'abandon est considérable. Dans les parcours où quelques mentors clés se soutiennent et s'encouragent mutuellement via notre espace de travail Slack, les mentors ont tendance à rester. Les relations entre apprenants et mentors sont elles aussi essentielles à ce sentiment de communauté. Des échanges respectueux et personnalisés entre les personnes donnent l'impression d'humains qui aident d'autres humains, et non d'un simple site éducatif.

Nous avons passé beaucoup de temps à nous attaquer à ces difficultés au cours de l'année écoulée, et déployé énormément d'énergie en coulisses pour comprendre les problèmes de fond qui les sous-tendent. Notre plan pour les 12 prochains mois vise à résoudre ces trois problèmes. Nous espérons qu'à la fin de cette période, les temps de réponse seront rapides et réguliers sur tous les parcours.

Les 12 prochains mois.

Notre travail pour les 12 prochains mois se divise en plusieurs parties. Cette liste n'est pas exhaustive (nous continuerons par exemple à corriger des bugs et à apporter des améliorations générales au site et à la CLI), mais elle définira l'essentiel de notre travail.

Restructurer les parcours pour le plaisir des apprenants et la facilité du mentorat

Le Track Anatomy Project a joué un rôle crucial dans la résolution de certains problèmes immédiats des parcours sur Exercism. Au cours des 12 prochains mois, nous explorerons des questions plus approfondies sur la fluidité, l'apprentissage et le désapprentissage, et nous nous pencherons sur ce qui est unique ou particulièrement difficile dans chaque langage.

Automatiser ce qui peut l'être

Nous approuvons désormais automatiquement des solutions dans dix parcours. Pour ces solutions, nous proposons aussi des conseils d'amélioration automatisés.

Nous étofferons les analyseurs existants pour qu'ils prennent en charge davantage d'exercices, et nous ajouterons des analyseurs pour d'autres langages. Nous voulons aussi mieux intégrer l'analyse à l'expérience des apprenants et des mentors sur le site, en particulier en identifiant et en signalant les problèmes courants qui empêchent l'approbation automatique.

Nous commencerons à exécuter les suites de tests sur les solutions soumises.

Nous pensons que cette automatisation supplémentaire aura les avantages suivants :

• Réduire la frustration des apprenants : nous voulons offrir aux apprenants une boucle de retour rapide. Si une solution est optimale, autant laisser l'apprenant continuer. Si elle échoue de façon prévisible, mieux vaut le lui dire pour qu'il puisse l'améliorer.

• Réduire drastiquement la taille de la file d'attente : notre prototypage a montré que, pour les exercices simples, nous pouvons fournir un mentorat automatisé dans plus de 90 % des cas. Même si ce chiffre sera sans doute plus faible pour les exercices plus complexes, nous pensons pouvoir assurer un mentorat automatisé sur environ la moitié des solutions soumises.

• Éliminer la répétitivité pour les mentors : la plupart des solutions se rangent dans des catégories similaires. Une grande partie du mentorat consiste à copier-coller des réponses toutes faites pour chaque catégorie de solution, ce qui est fastidieux et sans intérêt, même pour le plus déterminé des mentors. Retirer les solutions courantes de la file d'attente de mentorat permettra aux mentors de se concentrer sur les cas qui exigent leurs connaissances et leur expérience.

Encourager des relations respectueuses entre apprenants et mentors

Le mentorat sur Exercism est aujourd'hui un processus très transactionnel. Un apprenant soumet une solution, et un mentor la commente. Hormis le ton généralement amical des échanges, il n'existe aucune « relation » entre le mentor et l'apprenant. Un mentor n'a aucun moyen simple de se rappeler s'il a déjà donné un retour à cet apprenant. Impossible de savoir si un apprenant est débutant ou programmeur expérimenté pour adapter son retour en conséquence. Impossible pour un apprenant de connaître le parcours de son mentor et d'apprécier le retour dans ce contexte.

Nous allons explorer deux pistes qui, nous l'espérons, rendront l'ensemble de l'expérience plus empathique, et le mentorat plus gratifiant et plus agréable.

La première : des profils plus détaillés, pour les apprenants comme pour les mentors, bien mieux intégrés à l'expérience de mentorat.

La seconde : l'idée de binômes apprenant-mentor. Cela permettrait aux apprenants de continuer à apprendre auprès des mentors qu'ils trouvent particulièrement utiles, et aux mentors de travailler avec des apprenants dont ils comprennent bien le style d'apprentissage ou le parcours.

Transformer notre base d'utilisateurs en communauté

Quand un parcours « fonctionne », c'est qu'il compte un petit nombre de mentors toujours présents. Ces mentors conseillent les autres, améliorent les notes de mentorat, accueillent les nouveaux venus, répondent à leurs questions et, d'une manière générale, donnent aux gens le sentiment de faire partie de quelque chose. Dès qu'un parcours trouve un mentor clé à l'aise dans ce rôle de porte-parole sur Slack, son arriéré de demandes tend à diminuer rapidement. Cet élan est essentiel. Quand on a l'impression que l'arriéré diminue, tout le monde s'y met et aide. Et ensuite, tout le monde veut le maintenir au plus bas.

Les mentors qui mentorent le plus régulièrement sont aussi les plus actifs sur notre communauté Slack. Nous pensons que c'est parce qu'ils se sentent les plus proches d'Exercism et les mieux soutenus. Le mentorat devient plus que de simples réponses aux apprenants : il s'agit de partager de plus grands objectifs avec d'autres personnes qui leur ressemblent.

Nous sommes convaincus que le principal frein à la croissance et à la réussite d'Exercism n'est pas technologique, mais humain. Notre priorité doit être de considérer Exercism non pas comme un site web ou un produit, mais comme une communauté, un lieu où l'on peut offrir son temps pour aider les autres. Exercism offre à chacun des occasions de tisser des liens, de vivre une communauté, de trouver un sens et de faire preuve de bienveillance, mais nous ne les exploitons et ne les encourageons pas encore assez bien.

Au cours des 12 prochains mois, nous chercherons comment faire en sorte qu'Exercism ressemble à une communauté plutôt qu'à un site web. Nous ne voulons pas diluer la réalité fonctionnelle de l'apprentissage et du mentorat. Nous ne voulons pas être un « réseau social » ni un forum de discussion sans cap. Nous voulons que les personnes impliquées dans Exercism se sentent connectées aux milliers d'autres qui l'utilisent aussi. Bien faire les choses ici est complexe et demandera un processus lent et prudent.

Une fois que nous y serons parvenus, nous abaisserons la barrière à l'entrée du mentorat sur Exercism. Il sera plus facile pour chacun d'aider les autres, en sachant qu'une communauté solide est là pour soutenir et modérer ce qui se passe sur le site.

Ajouter de la motivation supplémentaire pour contribuer

En concevant la v2, nous avons pris la décision très délibérée de continuer à éviter la ludification. Nous estimons essentiel que les gens participent parce qu'ils y trouvent une valeur intrinsèque, et non parce que nous stimulons artificiellement leurs centres de récompense.

Les personnes qui restent actives sont celles qui se lancent sans cesse de nouveaux défis au sein de l'écosystème d'Exercism. Qu'il s'agisse de maintenir un parcours, de mentorer dans un nouveau langage, d'écrire des articles de blog ou de construire des analyseurs, elles trouvent toujours de nouvelles façons de pimenter les choses. Pour tout le travail que nous avons consacré à instiller un sentiment de progression et des récompenses inattendues chez les apprenants, nous n'avons rien d'équivalent pour les mentors, et je pense que c'est une vraie perte.

Nous voulons aussi que le travail acharné et les contributions remarquables des gens soient reconnus et célébrés.

Nous voulons explorer des moyens d'offrir à notre communauté de nouveaux défis, de nouvelles opportunités et de nouveaux privilèges à mesure qu'elle utilise Exercism. Nous allons prendre le temps de nous demander ce que nous pouvons ajouter qui ait de la valeur pour Exercism et pour les membres de notre communauté, sans pour autant nuire aux motivations intrinsèques qui doivent continuer à faire avancer Exercism.

Nous avancerons prudemment pour bien faire les choses, et nous sommes convaincus que les réussir fera une énorme différence pour Exercism.

Parler de qui nous sommes

Le dernier chantier sur lequel nous voulons travailler au cours de l'année à venir, et la dernière grande lacune selon nous aujourd'hui, c'est de mieux communiquer ce qu'est Exercism, qui nous sommes et ce que nous cherchons à faire. Quand des personnes évaluent l'envie de consacrer du temps à Exercism, elles nous jugent sur nos valeurs et nos principes, ainsi que sur l'expérience qu'elles ont de nous en dehors d'Exercism.

Nous devons donc clamer notre vision, clamer qui nous sommes et ce en quoi nous croyons. Nous devons sans cesse rappeler cette vision à tous les membres de la communauté, nous enthousiasmer ensemble pour tout ce que nous pouvons accomplir avec Exercism. Il nous faut des pages qui parlent et qui enthousiasment, et des vidéos où l'on sent des personnes derrière le texte. Notre but ici n'est absolument pas d'acquérir des utilisateurs, mais d'être clairs sur qui nous sommes et de garder les gens enthousiastes et motivés à faire partie de l'aventure. Cela se traduira probablement par une croissance plus rapide et davantage d'élan, mais ce n'est pas ce que nous voulons mesurer ni ce qui nous importe. Ce qui nous importe, c'est que toutes les personnes liées à Exercism se sentent enthousiastes, valorisées et connectées.

Nous avons commencé à en faire de petits bouts simplement en étant plus précis sur les réseaux sociaux, et cela a déjà commencé à susciter davantage d'enthousiasme et de liens entre les membres de notre communauté, tout en aidant à promouvoir notre « marque » comme positive. Nous comptons développer cela avec soin au cours de l'année à venir et faire d'Exercism un lieu dont chacun est fier de faire partie.

Pour conclure

Nous sommes vraiment enthousiastes à l'idée des douze prochains mois, de voir comment nous pouvons aider Exercism à franchir les prochaines étapes vers son plein potentiel, et de mieux servir et connecter notre communauté. Je veux terminer en remerciant chaleureusement toutes celles et ceux qui ont contribué au cours de l'année écoulée, que ce soit comme mainteneur, mentor, apprenant ou d'une autre manière. Merci pour l'enthousiasme, les idées, les contributions et la patience dont chacun a fait preuve alors que nous continuons à améliorer les choses.

À noter qu'Exercism dispose d'un document de stratégie que nous tenons à jour avec notre plan pour faire avancer Exercism, et que tu pourrais avoir envie de suivre à l'avenir.