¿Qué sigue para Exercism?

Hace poco más de 12 meses lanzamos la nueva versión de Exercism. Fue un cambio radical, que replanteó el producto desde cero e introdujo los conceptos de progresión y mentoría formal.

Desde el lanzamiento, hemos arreglado todo lo que estaba roto y hemos agregado algunas cosas que se nos habían pasado conceptualmente, pero sobre todo hemos observado y aprendido cómo todos usaban la nueva versión. Este artículo describe lo que nos han enseñado los últimos doce meses, tanto lo bueno como lo doloroso. También expone lo que esperamos lograr en los próximos meses.

Lo bueno

Exercism ha crecido enormemente, solo por el boca a boca. Desde julio de 2018 se han unido 134.000 nuevos miembros. Hemos visto 578.000 iteraciones enviadas y 395.000 comentarios publicados, y más de 2.500 personas se registraron como mentores, escribiéndose 75.000 mensajes entre sí en nuestro espacio de trabajo de Slack. La comunidad se apoyó y se animó mutuamente, y eso permitió que Exercism prosperara. Estamos increíblemente emocionados y enormemente agradecidos por esto.

Gracias a nuestra comunidad de mantenedores, nuestros tracks de lenguajes han seguido mejorando a diario. En algunos tracks hemos dado grandes pasos gracias al trabajo del Track Anatomy Project. Ahora tenemos más de 3.000 ejercicios repartidos en 50 tracks activos.

Con el apoyo de Mozilla, implementamos el análisis automatizado de soluciones. Nuestra comunidad ha construido analizadores para diez lenguajes y hemos analizado 14.000 soluciones desde el lanzamiento. El análisis nos ha permitido aprobar 4.000 envíos automáticamente, lo que les ahorró a nuestros mentores unas 350 horas de trabajo.

Lo doloroso

Más allá de algunos problemas iniciales, ha habido un punto de dolor importante en los últimos 12 meses: los tiempos de respuesta largos para la mentoría, lo que ha hecho que se acumulen muchos pendientes en algunos tracks. Los desafíos que conllevan las demoras en la mentoría se dividen en tres categorías principales:

• Estructura del track: Cuando los tracks no tienen una ruta de progresión fluida, la mentoría se vuelve mucho más difícil, el tiempo de mentoría por ejercicio se dispara y las tensiones entre mentores y estudiantes aumentan drásticamente. Al momento del lanzamiento, pocos tracks tenían un conjunto de ejercicios centrales que se construyeran unos sobre otros.
• La mentoría debe ser gratificante: Dar los mismos comentarios una y otra vez es aburrido. La mentoría se vuelve interesante cuando los comentarios son personales y las conversaciones se adaptan a lo que entiende cada estudiante.
• Falta de sentido de comunidad: Cuando la mentoría se vuelve solitaria, la tasa de abandono es considerable. En los tracks donde hay un puñado de mentores clave que se apoyan y se animan entre sí a través de nuestro espacio de trabajo de Slack, los mentores suelen quedarse. Las relaciones entre estudiantes y mentores también son clave para este sentido de comunidad. Las interacciones respetuosas y personalizadas entre personas dan la sensación de que son humanos ayudando a humanos, y no simplemente un sitio web educativo.

Hemos dedicado mucho tiempo a abordar estos desafíos durante el último año, y una enorme cantidad de energía entre bambalinas a intentar entender los problemas de fondo que los originan. Nuestro plan para los próximos 12 meses apunta a resolver estos tres problemas. Esperamos que al final de este periodo tengamos tiempos de respuesta rápidos y consistentes en todos los tracks.

Los próximos 12 meses.

Nuestro trabajo para los próximos 12 meses se divide en varias secciones. Esta lista no es exhaustiva (por ejemplo, seguiremos corrigiendo bugs y haciendo más ajustes generales al sitio web y a la CLI), pero marcará el foco de nuestro trabajo.

Reestructurar los tracks para que los estudiantes disfruten y la mentoría sea más fácil

El Track Anatomy Project ha sido crucial para resolver algunos de los problemas inmediatos de los tracks en Exercism. Durante los próximos 12 meses exploraremos preguntas más profundas sobre la fluidez, el aprendizaje y el desaprendizaje, y ahondaremos en qué tiene de único o de especialmente desafiante cada lenguaje.

Automatizar lo automatizable

Ahora aprobamos soluciones automáticamente en diez tracks. Para esas soluciones también ofrecemos sugerencias automáticas de mejora.

Ampliaremos los analizadores existentes para que manejen más ejercicios, y agregaremos analizadores para otros lenguajes. También queremos integrar mejor el análisis en la experiencia de estudiantes y mentores en el sitio, en particular identificando y reportando problemas comunes que impiden la aprobación automática.

Empezaremos a ejecutar las suites de pruebas contra las soluciones enviadas.

Creemos que esta automatización adicional traerá los siguientes beneficios:

• Reducir la frustración de los estudiantes: Queremos darles a los estudiantes un ciclo de retroalimentación rápido. Si una solución es óptima, déjalos continuar. Si falla de forma predecible, diles para que puedan mejorarla.

• Reducir drásticamente el tamaño de la cola: Nuestros prototipos han mostrado que, para ejercicios simples, podemos ofrecer mentoría automatizada en más del 90% de los casos. Aunque esperamos que esa cifra sea menor en ejercicios más complejos, creemos que podemos ofrecer mentoría automatizada en alrededor de la mitad de las soluciones enviadas.

• Eliminar la repetitividad para los mentores: La mayoría de las soluciones entran en grupos similares. Gran parte de la mentoría se apoya en copiar y pegar respuestas prefabricadas para cada tipo de solución, lo cual es tedioso y poco interesante incluso para el mentor más decidido. Quitar las soluciones comunes de la cola de mentoría permitirá que los mentores se concentren en los casos que requieren sus conocimientos y su experiencia.

Fomentar relaciones respetuosas entre estudiantes y mentores

Hoy en día, la mentoría en Exercism es un proceso muy transaccional. Un estudiante envía una solución y un mentor hace comentarios. Más allá del tono generalmente amable de las conversaciones, no existe una «relación» entre el mentor y quien aprende. No hay una forma fácil de que un mentor recuerde si ya le dio retroalimentación a ese estudiante antes. No hay forma de saber si un estudiante es principiante o un programador con experiencia y adaptar la retroalimentación en consecuencia. No hay forma de que un estudiante conozca la trayectoria de su mentor y valore o aprecie la retroalimentación en ese contexto.

Exploraremos dos cosas que esperamos hagan toda la experiencia más empática, y que la mentoría sea más gratificante y agradable.

La primera son perfiles más detallados tanto para estudiantes como para mentores, mucho más integrados en la experiencia de mentoría.

La segunda es la idea de emparejar estudiantes con mentores. Esto les permitiría a los estudiantes seguir aprendiendo de los mentores que encuentran especialmente útiles, y a los mentores trabajar con estudiantes cuyo estilo de aprendizaje o trayectoria entienden bien.

Convertir nuestra base de usuarios en una comunidad

Cuando los tracks «funcionan», funcionan porque tienen un pequeño número de mentores siempre presentes. Estos mentores aconsejan a los demás, mejoran las notas para mentores, reciben a las personas nuevas, responden sus preguntas y, en general, hacen que la gente se sienta parte de algo. Una vez que un track consigue un mentor clave que se siente cómodo siendo esa voz en Slack, los pendientes del track suelen reducirse rápido. Ese impulso es clave. Cuando parece que los pendientes están bajando, todo el mundo se suma y ayuda. Y después todos quieren mantener los pendientes al mínimo.

Los mentores que dan mentoría con más regularidad son también los más activos en nuestra comunidad de Slack. Creemos que es porque son quienes se sienten más conectados con Exercism y más apoyados. La mentoría pasa a ser más que responder a estudiantes: se trata de compartir metas más grandes con otras personas afines.

Estamos convencidos de que el obstáculo fundamental para el crecimiento y el éxito de Exercism no es tecnológico, sino humano. Nuestro enfoque debe estar en considerar a Exercism no como un sitio web o un producto, sino como una comunidad: un lugar donde las personas pueden regalar su tiempo para ayudar a otras. Exercism les ofrece a las personas oportunidades de conexión, comunidad, propósito y amabilidad, pero hoy no aprovechamos ni fomentamos esto bien.

Durante los próximos 12 meses trabajaremos en cómo hacer que Exercism se sienta como una comunidad y no como un sitio web. No queremos diluir la realidad funcional del aprendizaje y la mentoría. No queremos ser una «red social» ni un foro de discusión sin foco. Queremos que las personas que participan en Exercism se sientan conectadas con los otros miles de personas que también lo usan. Hacerlo bien es complicado y será un proceso lento y cuidadoso.

Cuando lo logremos, reduciremos la barrera para dar mentoría en Exercism. Haremos que a cualquiera le resulte más fácil ayudar a otras personas, sabiendo que hay una comunidad sólida que apoya y modera lo que pasa dentro del sitio.

Agregar motivación adicional para contribuir

Al diseñar la v2, tomamos una decisión muy deliberada de seguir evitando la gamificación. Creemos que es esencial que las personas participen porque encuentran valor intrínseco, y no porque estimulemos artificialmente sus centros de recompensa.

Quienes se mantienen activos son los que se desafían continuamente de formas nuevas dentro del ecosistema de Exercism. Ya sea manteniendo un track, dando mentoría en un lenguaje nuevo, escribiendo artículos para el blog o construyendo analizadores, siempre encuentran nuevas maneras de mantener las cosas interesantes. A pesar de todo el trabajo que pusimos en agregar una sensación de progresión y recompensas inesperadas para los estudiantes, no tenemos nada parecido para los mentores, y creo que eso es una verdadera pérdida.

Además, queremos que el esfuerzo y las increíbles contribuciones de las personas se reconozcan y se celebren.

Queremos explorar formas de darle a nuestra comunidad oportunidades de tener nuevos desafíos, oportunidades y privilegios cuanto más usan Exercism. Vamos a dedicar tiempo a preguntarnos qué cosas podemos agregar que sean valiosas para Exercism y valiosas para las personas de nuestra comunidad, sin restarle valor a las motivaciones intrínsecas que deben seguir impulsando a Exercism.

Iremos con cuidado para lograrlo, y estamos convencidos de que lograrlo marcará una diferencia enorme para Exercism.

Gritar quiénes somos

El último ámbito en el que queremos trabajar durante el próximo año, y el último gran vacío que creemos que existe hoy, es comunicar mejor de qué se trata Exercism, quiénes somos y qué intentamos hacer. Cuando las personas evalúan si quieren dar su tiempo a Exercism, nos van a juzgar por nuestros valores y principios, y por la experiencia que tienen de nosotros fuera de Exercism mismo.

Así que tenemos que gritar nuestra visión, gritar quiénes somos y en qué creemos. Tenemos que reforzar constantemente la visión ante todos en la comunidad, emocionarnos juntos por todo lo que podemos lograr con Exercism. Necesitamos páginas que hablen y emocionen, y videos que se sientan como si hubiera personas detrás del texto. Nuestro objetivo con esto no es, en absoluto, intentar captar usuarios: es dejar claro quiénes somos y mantener a las personas emocionadas y motivadas para ser parte de nosotros. Probablemente eso haga que crezcamos más rápido y ganemos más impulso, pero eso no es lo que queremos medir ni lo que nos importa. Lo que nos importa es que todos los que están asociados con Exercism se sientan emocionados, empoderados y conectados.

Ya empezamos a hacer pequeñas partes de esto con solo ser más precisos en las redes sociales, y eso ya empezó a generar más entusiasmo y conexión entre los miembros de nuestra comunidad, y ayudó a promover nuestra «marca» como algo positivo. Tenemos la intención de construir con cuidado sobre esto durante el próximo año, y hacer de Exercism un lugar del que todos los que participan se sientan orgullosos de formar parte.

En conclusión

Estamos realmente emocionados por los próximos doce meses, por cómo podemos ayudar a Exercism a dar los siguientes pasos para alcanzar su potencial, y por cómo podemos servir y conectar mejor a nuestra comunidad. Quiero terminar dándoles un enorme agradecimiento a todos los que contribuyeron durante el último año, ya sea como mantenedor, mentor, estudiante o de alguna otra forma. Gracias por su entusiasmo, sus ideas, sus contribuciones y su paciencia mientras seguimos mejorando las cosas.

Ten en cuenta que Exercism tiene un documento de estrategia que mantenemos actualizado con nuestro plan para llevar a Exercism hacia adelante, y que quizás te gustaría seguir de cerca en el futuro.