Valeu a pena o esforço da V2?

A couple of weeks ago, I posted an issue about our upcoming journey towards Exercism V3. Someone posted a comment saying that they hoped the transition would be smoother than V1 to V2, and questioning whether a lot of changes we made were worth the hassle. Both are excellent points to raise and show that we've clearly not explained the impact that the V2 changes did have and why we believe they were worth it. I thought it would, therefore, be worth writing a short post outlining the changes we saw in the data, and also the metrics that we're targeting with the push to V3.

(Três notas sobre os números. Primeiro, as métricas abaixo estão ordenadas aproximadamente pelo fluxo do site, e não por importância. Segundo, usei uma janela de 17 meses de cada lado do lançamento da V2 para as comparações. Quando digo "V1", refiro-me aos últimos 17 meses da V1. Não há forma totalmente rigorosa de o fazer, porque a V1 teve muitas alterações pequenas nos 17 meses anteriores ao lançamento, e a V2 teve melhorias substanciais ao longo do período desde que foi lançada. Também temos dias atípicos, como aquele durante a V1 em que o GitHub nos destacou, e tivemos 30 vezes mais tráfego durante cerca de um dia. Não me preocupei com isso e limitei-me a manter uma janela fixa de cada lado, por acreditar que é a forma mais justa de medir as coisas. Por fim, há muitas métricas que poderia ter usado para cada ponto. Escolhi as que sinto representarem a história que os números contam no seu conjunto, e que eram fáceis de calcular tanto com dados históricos como atuais).

Métricas de V1 para V2

Visitantes que se inscrevem (imagem de marca)

Um dos nossos objetivos era fazer com que o Exercism parecesse mais acolhedor para quem tivesse sido afastado pela imagem de marca original (vermelho + diabo). Para muitos, isto parecia uma alteração menor, porque não tinham sido afastados pela imagem de marca, e por isso o esforço parecia uma perda de tempo. No entanto, acreditávamos que o Exercism não transmitia uma "comunidade acolhedora e inclusiva" na V1, e era importante para nós corrigir isso.

Quantas pessoas se inscreveram no Exercism ao longo desses períodos, e que percentagem representavam dos novos visitantes?

• V1: 62 618 (17% dos novos visitantes inscrevem-se)
• V2: 188 844 (48% dos novos visitantes inscrevem-se)

Esta primeira alteração foi substancial. A nossa página de destino da V2 converte a 48%, contra 17% na V1. Isso deve-se quase exclusivamente à imagem de marca e à clareza sobre o que fazemos e quem somos. Por isso, acredito firmemente que o esforço dedicado a renovar a imagem de marca do Exercism valeu a pena.

Um senão é que a V2 provavelmente incentiva a inscrever-se pessoas que ainda não estão preparadas para o Exercism tal como ele é. A V2 não está pensada para principiantes absolutos, mas a página de destino da V2 é muito mais acolhedora para principiantes absolutos, por isso é provável que recebamos muitos utilizadores que ainda não estão preparados para o Exercism. Uma forma de ter isso em conta seria considerar não só o número de visitantes que se inscrevem, mas sim quantos visitantes se inscreveram e conseguiram submeter uma solução. A esse respeito, vemos:

• V1: 26 194 (7% dos novos visitantes inscrevem-se e submetem)
• V2: 52 533 (13,9% dos novos visitantes inscrevem-se e submetem)

Assim, podemos dizer que a imagem de marca foi responsável por aproximadamente o dobro da nossa verdadeira "taxa de conversão", o que torna o esforço de renovação da imagem de marca definitivamente compensador. Vale também a pena notar que, à medida que avançamos para nos tornarmos mais amigáveis para principiantes (V3.x), este senão desaparecerá por completo.

Soluções que recebem feedback (mentoria)

A segunda coisa que queríamos melhorar era a quantidade de mentoria por solução. Na V1, era um pouco como uma lotaria: podias receber comentários, ou não, dependendo apenas de alguém ter reparado na tua submissão. Grande parte da mentoria formal da V2 consistia em tornar isto mais justo, consistente e fiável.

A métrica que usei aqui é a percentagem de soluções que recebem um comentário.

• V1: 3,5% de todas as soluções
• V2: 64% das soluções em que foi pedida mentoria (26% de todas as soluções)

Aos meus olhos, esta é a estatística fenomenal e o grande indicador de que a V2 nos levou na direção certa. Agora tens 18 vezes mais probabilidades de receber feedback na tua solução na V2 do que na V1. Há muita coisa que fizemos mal na mentoria da V2 (vê a secção seguinte!), mas sinto-me extremamente orgulhoso e grato pelos nossos mentores, pelo facto de o Exercism oferecer um espaço onde, se quiseres mentoria, é mais provável recebê-la do que não.

Fidelização

Por fim, queríamos melhorar a "fidelização", ou seja, a quantidade de utilização do site. Se as pessoas estão a gostar do Exercism e a achá-lo útil, vão fazer mais com ele. Há dois lados nisto: o número de vezes que alguém regressa ao site e o número de soluções que alguém envia.

Utilizadores que regressam:

• V1: 4,79 sessões / pessoa
• V2: 5,42 sessões / pessoa

Volume de envios:

• V1: 8,0 soluções / pessoa
• V2: 8,2 soluções / pessoa

Ambos se mantiveram praticamente estáveis. Esta é uma área onde eu esperava ver um grande aumento na V2, e não vimos. Os tempos de espera para a mentoria e os mecanismos de bloqueio que impedem o progresso sem mentoria fizeram da V2 uma experiência muito lenta. Para quem quisesse progredir rapidamente numa linguagem, as enormes filas de mentoria tornavam muito difícil aprender a um ritmo minimamente razoável. A experiência aqui depende muito do percurso. Nos percursos com tempos de espera superiores a um dia, a taxa de desistência é notória. Nos que têm tempos de espera mais longos (por exemplo, Rust, Python), a taxa de desistência é substancial.

As alterações da V3 visam sobretudo resolver este problema: fazer do Exercism um espaço onde podes aprender ou praticar uma linguagem rapidamente, mas onde também podes ter conversas assíncronas e úteis com mentores sem que o teu progresso fique bloqueado.

A caminho da V3

Para a V3, espero ver as três métricas continuarem a subir. O meu objetivo é que as pessoas ouçam falar do Exercism e se inscrevam, que consigam submeter soluções e aprofundar-se nos percursos sem se sentirem frustradas, e que, quando quiserem mentoria, a recebam.

Espero que as estatísticas acima demonstrem que estamos a avançar na direção certa e que o trabalho que todos dedicaram à V2 valeu a pena. Vai ser necessário muito esforço da comunidade para chegarmos à V3, mas estou confiante de que, quando fizermos o balanço do Exercism daqui a 24 meses, veremos aumentos semelhantes e que todas as próximas fases de trabalho se revelarão compensadoras. O Exercism é a nossa comunidade. Obrigado a todos por tudo o que fazem.