¿Qué es lo siguiente para Exercism?

Hace algo más de 12 meses, lanzamos la nueva versión de Exercism. Fue un cambio radical: replanteamos el producto desde cero e introdujimos los conceptos de progresión y mentoría formal.

Desde el lanzamiento, hemos arreglado todo lo que estaba roto y hemos añadido algunas cosas que se nos habían escapado a nivel conceptual, pero sobre todo hemos observado y aprendido cómo cada persona ha usado la nueva versión. Este artículo describe lo que nos han enseñado los últimos doce meses, tanto lo bueno como lo doloroso. También expone lo que esperamos lograr en los próximos meses.

Lo bueno

Exercism ha experimentado un crecimiento enorme, solo gracias al boca a boca. Desde julio de 2018, se han unido 134.000 nuevos miembros. Hemos visto 578.000 iteraciones enviadas y 395.000 comentarios publicados, y más de 2.500 personas se han inscrito como mentores, escribiéndose 75.000 publicaciones entre ellas en nuestro espacio de trabajo de Slack. La comunidad se ha apoyado y se ha animado mutuamente, y eso ha permitido que Exercism prospere. Estamos increíblemente ilusionados y sumamente agradecidos por ello.

Gracias a nuestra comunidad de mantenedores, nuestros tracks de lenguajes no han dejado de mejorar cada día. En algunos tracks hemos dado pasos de gigante gracias al trabajo del Track Anatomy Project. Ahora tenemos más de 3.000 ejercicios repartidos en 50 tracks activos.

Con el apoyo de Mozilla, hemos implementado el análisis automatizado de soluciones. Nuestra comunidad ha creado analizadores para diez lenguajes y hemos analizado 14.000 soluciones desde el lanzamiento. El análisis nos ha permitido aprobar 4.000 envíos de forma automática, ahorrando a nuestros mentores unas 350 horas de trabajo.

Lo doloroso

Al margen de algunos problemas iniciales propios de la puesta en marcha, ha habido un punto problemático principal durante los últimos 12 meses: los largos tiempos de respuesta en la mentoría, lo que ha provocado que se acumulen retrasos importantes en algunos tracks. Los problemas inherentes a los retrasos en la mentoría se dividen en tres categorías principales:

• Estructura del track: cuando un track no tiene una progresión fluida, la mentoría se vuelve mucho más difícil, el tiempo de mentoría por ejercicio se dispara y las tensiones entre mentores y estudiantes aumentan drásticamente. Pocos tracks tenían, en el momento del lanzamiento, un conjunto de ejercicios básicos que se apoyaran unos en otros.
• La mentoría debe resultar gratificante: dar los mismos comentarios una y otra vez es aburrido. La mentoría se vuelve interesante cuando los comentarios son personales y las conversaciones se adaptan a lo que entiende cada estudiante.
• Falta de sentimiento de comunidad: cuando la mentoría se vuelve solitaria, la tasa de abandono es considerable. En los tracks en los que hay un puñado de mentores clave que se apoyan y se animan entre sí a través de nuestro espacio de trabajo de Slack, los mentores suelen quedarse. Las relaciones entre estudiantes y mentores también son clave para ese sentimiento de comunidad. Las interacciones respetuosas y personalizadas entre personas transmiten la sensación de que son personas las que ayudan a otras personas, y no simplemente una web educativa.

Hemos dedicado mucho tiempo a abordar estos retos durante el último año, y una enorme cantidad de energía entre bastidores a intentar comprender los problemas de fondo que hay en su origen. Nuestro plan para los próximos 12 meses tiene como objetivo resolver estos tres problemas. Esperamos que, al final de este periodo, los tiempos de respuesta sean rápidos y constantes en todos los tracks.

Los próximos 12 meses.

Nuestro trabajo para los próximos 12 meses se divide en varias secciones. Esta lista no es exhaustiva (por ejemplo, seguiremos corrigiendo bugs y añadiendo mejoras generales a la web y a la CLI), pero marcará el foco de nuestro trabajo.

Reestructurar los tracks para que los estudiantes disfruten y la mentoría sea más fácil

El Track Anatomy Project ha sido fundamental para resolver algunos de los problemas más inmediatos de los tracks en Exercism. Durante los próximos 12 meses exploraremos cuestiones más profundas sobre la fluidez, el aprendizaje y el desaprendizaje, y ahondaremos en qué tiene de singular o especialmente difícil cada lenguaje.

Automatizar lo automatizable

Actualmente aprobamos soluciones de forma automática en diez tracks. Para esas soluciones también ofrecemos consejos de mejora automáticos.

Ampliaremos los analizadores existentes para que gestionen más ejercicios y añadiremos analizadores para otros lenguajes. También queremos integrar mejor el análisis en la experiencia de estudiantes y mentores en la web, en particular identificando y notificando los problemas habituales que impiden la aprobación automática.

Empezaremos a ejecutar las suites de test contra las soluciones enviadas.

Creemos que esta automatización adicional tendrá las siguientes ventajas:

• Reducir la frustración de los estudiantes: queremos darles un ciclo de comentarios rápido. Si una solución es óptima, dejemos que continúen. Si falla de forma predecible, díselo para que puedan mejorarla.

• Reducir drásticamente el tamaño de la cola: nuestros prototipos han demostrado que, en ejercicios sencillos, podemos ofrecer mentoría automatizada en más del 90 % de los casos. Aunque esperamos que esa cifra sea menor en ejercicios más complejos, creemos que podemos ofrecer mentoría automatizada en aproximadamente la mitad de las soluciones enviadas.

• Eliminar la monotonía para los mentores: la mayoría de las soluciones se agrupan en categorías similares. Gran parte de la mentoría se basa en copiar y pegar respuestas prefabricadas para cada tipo de solución, algo tedioso y poco interesante incluso para los mentores más decididos. Quitar las soluciones habituales de la cola de mentoría permitirá a los mentores centrarse en los casos que requieren sus conocimientos y su experiencia.

Fomentar relaciones de respeto entre estudiantes y mentores

En la actualidad, la mentoría en Exercism es un proceso muy transaccional. Un estudiante envía una solución y un mentor hace comentarios. Al margen del tono generalmente amable de las conversaciones, no existe ninguna «relación» entre el mentor y quien aprende. No hay una forma sencilla de que un mentor recuerde si ya le ha dado comentarios a ese estudiante antes. No hay forma de saber si un estudiante es principiante o programador experimentado para adaptar los comentarios en consecuencia. No hay forma de que un estudiante conozca la trayectoria de su mentor y valore o aprecie los comentarios en ese contexto.

Exploraremos dos cosas que, esperamos, harán que toda la experiencia sea más empática y que la mentoría resulte más gratificante y agradable.

La primera son perfiles más detallados, tanto para quienes aprenden como para los mentores, mucho más integrados en la experiencia de mentoría.

La segunda es la idea de emparejar a estudiantes con mentores. Esto permitiría a los estudiantes seguir aprendiendo de los mentores que les resultan especialmente útiles, y a los mentores trabajar con estudiantes cuyo estilo de aprendizaje o cuya trayectoria entienden bien.

Convertir nuestra base de usuarios en una comunidad

Cuando un track «funciona», funciona porque tiene un pequeño número de mentores siempre presentes. Estos mentores aconsejan a los demás, mejoran las notas para mentores, dan la bienvenida a las personas nuevas, responden a sus preguntas y, en general, hacen que la gente se sienta parte de algo. En cuanto un track cuenta con un mentor clave que se siente cómodo siendo esa voz en Slack, el retraso acumulado del track tiende a reducirse rápidamente. Este impulso es clave. Cuando parece que el retraso está bajando, todo el mundo se suma y ayuda. Y entonces todos quieren que el retraso se mantenga bajo.

Los mentores que hacen mentoría con más regularidad también son los más activos en nuestra comunidad de Slack. Creemos que se debe a que son quienes más conectados se sienten con Exercism y quienes más apoyo reciben. La mentoría se convierte en algo más que responder a estudiantes: pasa a tratarse de compartir metas más grandes con otras personas con inquietudes similares.

Estamos convencidos de que el obstáculo fundamental para el crecimiento y el éxito de Exercism no es tecnológico, sino humano. Nuestro enfoque debe estar en considerar Exercism no como una web o un producto, sino como una comunidad: un lugar donde las personas pueden regalar su tiempo para ayudar a los demás. Exercism ofrece a las personas oportunidades de conexión, comunidad, propósito y amabilidad, pero actualmente no aprovechamos ni fomentamos esto como es debido.

Durante los próximos 12 meses trabajaremos en cómo lograr que Exercism se sienta como una comunidad y no como una web. No queremos diluir la realidad funcional del aprendizaje y la mentoría. No queremos ser una «red social» ni un foro de debate sin foco. Queremos que las personas que participan en Exercism se sientan conectadas con las otras miles de personas que también lo usan. Acertar con esto es complicado y será un proceso lento y cuidadoso.

Cuando lo consigamos, reduciremos la barrera para hacer mentoría en Exercism. Haremos que sea más fácil para cualquiera ayudar a los demás, sabiendo que hay una comunidad sólida que apoya y modera lo que ocurre dentro de la web.

Añadir motivación extra para contribuir

Al diseñar la v2, tomamos la decisión deliberada de seguir evitando la gamificación. Creemos que es esencial que las personas participen porque encuentran un valor intrínseco, no porque estimulemos artificialmente sus centros de recompensa.

Quienes siguen activos son los que se desafían continuamente de nuevas formas dentro del ecosistema de Exercism. Ya sea manteniendo un track, haciendo mentoría en un nuevo lenguaje, escribiendo artículos en el blog o creando analizadores, no dejan de encontrar nuevas formas de mantener las cosas interesantes. Por mucho trabajo que hemos dedicado a añadir una sensación de progresión y recompensas inesperadas para los estudiantes, no tenemos nada parecido para los mentores, y creo que eso es una verdadera pérdida.

Además, queremos que el esfuerzo y las magníficas contribuciones de las personas se reconozcan y se celebren.

Queremos explorar formas de ofrecer a nuestra comunidad nuevos retos, oportunidades y privilegios cuanto más usen Exercism. Vamos a dedicar tiempo a preguntarnos qué cosas podemos añadir que sean valiosas para Exercism y para las personas de nuestra comunidad, sin restar valor a las motivaciones intrínsecas que deben seguir impulsando Exercism.

Iremos con cuidado para acertar, y estamos convencidos de que acertar supondrá una diferencia enorme para Exercism.

Hablar alto y claro sobre quiénes somos

El último ámbito en el que queremos trabajar durante el próximo año, y el último gran vacío que creemos que existe ahora mismo, es comunicar mejor de qué va Exercism, quiénes somos y qué intentamos hacer. Cuando las personas valoran si quieren dedicar su tiempo a Exercism, nos evalúan por nuestros valores y principios, y por su experiencia con nosotros fuera de Exercism.

Así que tenemos que proclamar nuestra visión, proclamar quiénes somos y en qué creemos. Tenemos que reforzar constantemente la visión ante todos en la comunidad, ilusionándonos juntos por todo lo que podemos lograr con Exercism. Necesitamos páginas que hablen y entusiasmen, y vídeos que transmitan que hay personas detrás del texto. Nuestro objetivo con esto no es, en absoluto, intentar captar usuarios, sino dejar claro quiénes somos y mantener a la gente ilusionada y motivada para formar parte de nosotros. Probablemente hará que crezcamos más rápido y ganemos más impulso, pero eso no es lo que queremos medir ni lo que nos debe importar. Lo que nos importa es que todas las personas asociadas a Exercism se sientan ilusionadas, capacitadas y conectadas.

Ya hemos empezado a hacer pequeñas cosas en esta línea, simplemente siendo más precisos en las redes sociales, y eso ya ha empezado a generar más ilusión y conexión entre los miembros de nuestra comunidad, y ha ayudado a proyectar una «marca» positiva. Tenemos la intención de construir con cuidado sobre esa base durante el próximo año y hacer de Exercism un lugar del que todo el que participa se sienta orgulloso de formar parte.

En conclusión

Estamos realmente ilusionados con los próximos doce meses, con cómo podemos ayudar a Exercism a dar los siguientes pasos para alcanzar su potencial, y con cómo podemos servir y conectar mejor a nuestra comunidad. Quiero terminar dando las gracias de corazón a todos los que habéis contribuido durante el último año, ya sea como mantenedor, mentor, estudiante o de cualquier otra forma. Gracias por vuestra ilusión, vuestras ideas, vuestras contribuciones y vuestra paciencia mientras seguimos mejorando las cosas.

Ten en cuenta que Exercism tiene un documento de estrategia que mantenemos actualizado con nuestro plan para seguir haciendo avanzar a Exercism, y que quizá te interese seguir de cerca en el futuro.