¿Mereció la pena la V2?

Hace un par de semanas abrí un issue sobre nuestro próximo camino hacia Exercism V3. Alguien publicó un comentario diciendo que esperaba que la transición fuera más fluida que la de V1 a V2, y se preguntaba si merecían la pena las molestias de muchos de los cambios que hicimos. Ambas son cuestiones excelentes que plantear y demuestran que está claro que no hemos explicado el impacto que los cambios de V2 sí tuvieron, ni por qué creemos que merecieron la pena. Por eso pensé que merecía la pena escribir una entrada breve en la que expusiera los cambios que vimos en los datos, así como las métricas que perseguimos con el empuje hacia V3.

(Tres notas sobre las cifras. En primer lugar, las métricas que aparecen a continuación están ordenadas más o menos según el flujo del sitio, no por importancia. En segundo lugar, he usado una ventana de 17 meses a cada lado del lanzamiento de V2 para las comparaciones. Cuando digo «V1», me refiero a los últimos 17 meses de V1. No hay una forma totalmente precisa de hacerlo, porque V1 tuvo muchos cambios pequeños en los 17 meses previos a su lanzamiento, y V2 tuvo mejoras sustanciales en el periodo transcurrido desde que se lanzó. También tenemos días atípicos, como aquel durante V1 en el que GitHub nos destacó y tuvimos 30 veces más tráfico durante un día aproximadamente. No me he preocupado por eso y me he ceñido a una ventana fija a cada lado, porque creo que es la forma más justa de medir las cosas. Por último, hay muchas métricas que podría haber usado para cada punto. He elegido las que considero que representan la historia que cuentan los números en su conjunto, y que me resultaban fáciles de calcular tanto con datos históricos como actuales).

Métricas de V1 a V2

Visitantes que se registran (imagen de marca)

Uno de nuestros objetivos era hacer que Exercism resultara más acogedor para las personas a las que la imagen de marca original (roja y con un diablo) pudiera haber echado para atrás. Para muchos, este parecía un cambio menor, porque a ellos la imagen de marca no les había echado para atrás y, por tanto, el esfuerzo parecía una pérdida de tiempo. Sin embargo, creíamos que Exercism no transmitía «comunidad acogedora e inclusiva» en V1, y para nosotros era importante corregirlo.

¿Cuántas personas se registraron en Exercism en cada periodo, y qué porcentaje representaban sobre los nuevos visitantes?

• V1: 62.618 (el 17 % de los nuevos visitantes se registra)
• V2: 188.844 (el 48 % de los nuevos visitantes se registra)

Este primer cambio fue sustancial. Nuestra página de aterrizaje de V2 tiene una conversión del 48 %, frente al 17 % de la de V1. Eso se debe casi exclusivamente a la marca y a la claridad sobre lo que hacemos y quiénes somos. Por eso creo firmemente que el esfuerzo que dedicamos a renovar la imagen de marca de Exercism mereció la pena.

Una salvedad es que V2 probablemente anima a registrarse a personas que todavía no están listas para Exercism tal y como es hoy. V2 no está pensado para principiantes absolutos, y sin embargo la página de aterrizaje de V2 es mucho más acogedora para principiantes absolutos, así que probablemente atraemos a muchos usuarios que todavía no están listos para Exercism. Una forma de tener esto en cuenta sería considerar no solo cuántos visitantes se registran, sino cuántos se registraron y consiguieron enviar una solución. Para ello, vemos:

• V1: 26.194 (el 7 % de los nuevos visitantes se registra y envía una solución)
• V2: 52.533 (el 13,9 % de los nuevos visitantes se registra y envía una solución)

Así que a partir de esto podemos decir que la imagen de marca ha supuesto aproximadamente una duplicación de nuestra verdadera «tasa de conversión», lo que hace que el esfuerzo de renovación de la imagen de marca merezca sin duda la pena. También merece la pena señalar que, a medida que avancemos hacia ser accesibles para principiantes (V3.x), esta salvedad desaparecerá por completo.

Soluciones que reciben comentarios (mentoría)

Lo segundo que queríamos mejorar era la cantidad de mentoría por solución. En V1 era un poco una lotería: podías recibir comentarios o no, dependiendo únicamente de si alguien se fijaba en tu envío. Gran parte de la mentoría formal de V2 consistía en hacer esto más justo, constante y fiable.

La métrica que he usado aquí es el porcentaje de soluciones que reciben un comentario.

• V1: el 3,5 % de todas las soluciones
• V2: el 64 % de las soluciones en las que se ha pedido mentoría (el 26 % de todas las soluciones)

Esta es, en mi opinión, la estadística fenomenal y el gran indicador de que V2 nos llevó en la dirección correcta. Ahora tienes 18 veces más probabilidades de recibir comentarios sobre tu solución en V2 que en V1. Hay muchas cosas que hicimos mal con la mentoría en V2 (¡mira la sección siguiente!), pero me siento enormemente orgulloso y agradecido a nuestros mentores por el hecho de que Exercism ofrece un lugar donde, si quieres mentoría, lo más probable es que la recibas.

Retención

Por último, queríamos mejorar la «retención»: la cantidad de uso del sitio. Si la gente disfruta con Exercism y le resulta útil, hará más cosas con él. Esto tiene dos caras: el número de veces que alguien vuelve al sitio y el número de soluciones que alguien sube.

Usuarios que vuelven:

• V1: 4,79 sesiones / persona
• V2: 5,42 sesiones / persona

Volumen de subidas:

• V1: 8,0 soluciones / persona
• V2: 8,2 soluciones / persona

Ambas se mantuvieron prácticamente igual. Esta es una de las áreas en las que esperaba ver un gran aumento en V2, y no lo vimos. Tanto los tiempos de espera para la mentoría como los mecanismos de bloqueo que impiden avanzar sin mentoría hicieron que V2 fuera una experiencia muy lenta. Para alguien que quisiera avanzar rápido en un lenguaje, las enormes colas de mentores hacían muy difícil aprender a un ritmo mínimamente razonable. La experiencia aquí dependerá mucho del track. En los tracks con tiempos de espera superiores a un día, la tasa de abandono es apreciable. En los que tienen tiempos de espera más largos (por ejemplo, Rust, Python), la tasa de abandono es considerable.

Los cambios de V3 están en gran medida orientados a resolver este problema: hacer de Exercism un lugar donde puedas aprender o practicar un lenguaje con rapidez, pero donde también puedas mantener conversaciones asíncronas útiles con mentores sin que tu progreso se vea bloqueado.

Avanzando hacia V3

Para V3, espero que estas tres métricas sigan subiendo. Mi objetivo es que la gente oiga hablar de Exercism y se registre, que consiga enviar soluciones y adentrarse en los tracks sin sentirse frustrada, y que cuando quiera mentoría, la reciba.

Espero que las estadísticas anteriores demuestren que vamos en la dirección correcta y que el trabajo que todos habéis puesto en V2 ha merecido la pena. Va a hacer falta mucho esfuerzo por parte de la comunidad para llevarnos a V3, pero estoy seguro de que cuando hagamos balance de Exercism dentro de 24 meses veremos aumentos similares y que todas las fases de trabajo siguientes habrán merecido la pena. Exercism es nuestra comunidad: gracias a todos por todo lo que hacéis.