¿Valió la pena la V2?

Hace un par de semanas publiqué un issue sobre el próximo recorrido hacia Exercism V3. Alguien publicó un comentario diciendo que esperaba que la transición fuera más fluida que la de V1 a V2, y preguntando si muchos de los cambios que hicimos habían valido la pena. Ambos son puntos excelentes para plantear y demuestran que está claro que no hemos explicado bien el impacto que los cambios de la V2 sí tuvieron, ni por qué creemos que valieron la pena. Pensé, entonces, que valía la pena escribir una publicación breve que describiera los cambios que vimos en los datos y también las métricas que buscamos con el empujón hacia la V3.

(Tres notas sobre los números. Primero, las métricas de abajo están ordenadas más o menos según el flujo del sitio, no por importancia. Segundo, usé una ventana de 17 meses a cada lado del lanzamiento de la V2 para las comparaciones. Cuando digo «V1», me refiero a los últimos 17 meses de la V1. No hay una forma totalmente precisa de hacer esto, porque la V1 tuvo muchos cambios pequeños en los 17 meses previos al lanzamiento, y la V2 tuvo mejoras importantes en el periodo desde que se lanzó. También hay días atípicos, como uno durante la V1 en que GitHub nos destacó y tuvimos 30 veces más tráfico durante un día o algo así. No me preocupé por eso y me limité a una ventana fija a cada lado, porque creo que es la forma más justa de medir las cosas. Por último, hay muchas métricas que podría haber usado para cada punto. Elegí las que siento que representan la historia que cuentan los números en conjunto y que me resultaron fáciles de calcular tanto con datos históricos como actuales).

Métricas de V1 -> V2

Visitantes que se registran (imagen de marca)

Uno de nuestros objetivos era hacer que Exercism se sintiera más acogedor para las personas que podrían haberse sentido ahuyentadas por la imagen de marca original (roja y con un diablo). Para muchos, este parecía un cambio menor, porque a ellos la imagen de marca no les molestaba, así que el esfuerzo parecía una pérdida de tiempo. Sin embargo, creíamos que Exercism no transmitía «comunidad acogedora e inclusiva» en la V1, y era importante para nosotros corregirlo.

¿Cuántas personas se registraron en Exercism en esos periodos y qué porcentaje representaban de los visitantes nuevos?

• V1: 62.618 (el 17% de los visitantes nuevos se registra)
• V2: 188.844 (el 48% de los visitantes nuevos se registra)

Este primer cambio fue enorme. Nuestra landing page de la V2 convierte al 48%, frente al 17% de la V1. Eso se debe casi por completo a la marca y a la claridad sobre lo que hacemos y quiénes somos. Así que creo firmemente que el esfuerzo que le dedicamos a renovar la imagen de marca de Exercism valió la pena.

Una salvedad es que la V2 probablemente anima a registrarse a personas que aún no están listas para Exercism tal como es. La V2 no está pensada para principiantes absolutos, pero la landing page de la V2 es mucho más acogedora para ellos, así que probablemente recibimos muchos usuarios que aún no están listos para Exercism. Una forma de tomar esto en cuenta sería considerar no solo cuántos visitantes se registran, sino cuántos se registraron y lograron enviar una solución. Para esto, vemos:

• V1: 26.194 (el 7% de los visitantes nuevos se registra y envía una solución)
• V2: 52.533 (el 13,9% de los visitantes nuevos se registra y envía una solución)

Entonces, podemos decir que la imagen de marca explica aproximadamente una duplicación de nuestra verdadera «tasa de conversión», lo que hace que renovar la marca haya valido totalmente la pena. También vale la pena notar que, a medida que avancemos hacia ser aptos para principiantes (V3.x), esta salvedad desaparecerá por completo.

Soluciones que reciben comentarios (mentoría)

Lo segundo que queríamos mejorar era la cantidad de mentoría por solución. En la V1 era un poco una lotería: podías recibir comentarios o no, dependiendo solo de si alguien notaba tu envío. Gran parte de la mentoría formal de la V2 consistió en hacer esto más justo, consistente y confiable.

La métrica que usé aquí es el porcentaje de soluciones que reciben un comentario.

• V1: 3,5% de todas las soluciones
• V2: 64% de las soluciones en las que se pidió mentoría (26% de todas las soluciones)

Esta es la estadística impresionante desde mi punto de vista y el gran indicador de que la V2 nos llevó en la dirección correcta. Ahora tienes 18 veces más probabilidades de recibir comentarios sobre tu solución en la V2 que en la V1. Hay muchas cosas que hicimos mal con la mentoría en la V2 (¡mira la siguiente sección!), pero me siento enormemente orgulloso y agradecido con nuestros mentores por el hecho de que Exercism ofrece un lugar donde, si quieres mentoría, es más probable que la recibas que no.

Retención

Por último, queríamos mejorar la «retención», es decir, cuánto se usa el sitio. Si las personas disfrutan de Exercism y lo encuentran útil, harán más cosas con él. Esto tiene dos caras: la cantidad de veces que alguien vuelve al sitio y la cantidad de soluciones que sube.

Usuarios que regresan:

• V1: 4,79 sesiones / persona
• V2: 5,42 sesiones / persona

Volumen de envíos:

• V1: 8,0 soluciones / persona
• V2: 8,2 soluciones / persona

Ambas se mantuvieron más o menos estables. Esta es una de las áreas donde esperaba ver un gran aumento en la V2, y no lo vimos. Los tiempos de espera para la mentoría y los mecanismos de bloqueo que impiden avanzar sin ella hicieron que la V2 fuera una experiencia muy lenta. Para alguien que quiere avanzar rápido en un lenguaje, las enormes colas de mentores hacían muy difícil aprender a un ritmo razonablemente bueno. La experiencia aquí depende mucho del track. En los tracks con tiempos de espera de más de un día, la tasa de abandono es notable. En los que tienen tiempos de espera más largos (por ejemplo, Rust, Python), la tasa de abandono es considerable.

Los cambios de la V3 están pensados en gran medida para resolver este problema: hacer de Exercism un lugar donde puedes aprender o practicar un lenguaje rápido, pero donde también puedes tener conversaciones asíncronas útiles con mentores sin que tu progreso se bloquee.

Avanzando hacia la V3

Para la V3, espero que estas tres métricas sigan subiendo. Mi objetivo es que las personas conozcan Exercism y se registren, que logren enviar soluciones y adentrarse en los tracks sin sentirse frustradas, y que cuando quieran mentoría, la reciban.

Espero que las estadísticas anteriores demuestren que vamos en la dirección correcta y que el trabajo que todos le han dedicado a la V2 ha valido la pena. La comunidad tendrá que esforzarse mucho para llevarnos a la V3, pero confío en que, cuando hagamos balance de Exercism dentro de 24 meses, veremos aumentos similares y que todas las siguientes fases del trabajo habrán valido la pena. Exercism es nuestra comunidad. Gracias a todos por todo lo que hacen.