Valeu a pena o esforço da V2?

Há algumas semanas, publiquei uma issue sobre a jornada que estamos prestes a começar rumo ao Exercism V3. Alguém comentou que esperava que a transição fosse mais tranquila do que foi da V1 para a V2, e questionou se muitas das mudanças que fizemos valeram a pena. Os dois pontos são ótimos e mostram que claramente não explicamos o impacto que as mudanças da V2 de fato tiveram, nem por que acreditamos que valeram a pena. Por isso, achei que valeria a pena escrever um post curto explicando as mudanças que vimos nos dados e também as métricas que estamos buscando com a chegada da V3.

(Três observações sobre os números. Primeiro, as métricas abaixo estão mais ou menos ordenadas pelo fluxo do site, e não por importância. Segundo, usei uma janela de 17 meses de cada lado do lançamento da V2 para as comparações. Quando digo "V1", quero dizer os últimos 17 meses da V1. Não há uma forma totalmente precisa de fazer isso, já que a V1 teve muitas pequenas mudanças nos 17 meses anteriores ao lançamento, e a V2 teve melhorias substanciais no período desde que foi lançada. Também temos dias atípicos, como um durante a V1 em que o GitHub nos destacou e tivemos 30 vezes mais tráfego por um dia ou algo assim. Não me preocupei com isso e apenas mantive uma janela fixa de cada lado, por acreditar ser a forma mais justa de medir as coisas. Por fim, há muitas métricas que eu poderia ter usado para cada ponto. Escolhi as que sinto que representam a história que os números contam como um todo e que foram fáceis de calcular tanto com dados históricos quanto atuais).

Métricas da V1 -> V2

Visitantes que se cadastram (Marca)

Um dos nossos objetivos era fazer o Exercism parecer mais acolhedor para quem talvez tivesse sido afastado pela identidade visual original (vermelho + diabo). Para muitos, isso parecia uma mudança pequena, porque eles não tinham sido afastados pela marca, então o esforço parecia perda de tempo. No entanto, acreditávamos que o Exercism não transmitia "comunidade acolhedora e inclusiva" na V1, e era importante para nós corrigir isso.

Quantas pessoas se cadastraram no Exercism ao longo dos períodos, e quanto isso representou em porcentagem dos novos visitantes?

• V1: 62.618 (17% dos novos visitantes se cadastram)
• V2: 188.844 (48% dos novos visitantes se cadastram)

Essa primeira mudança foi substancial. Nossa landing page da V2 converte a 48%, contra 17% da V1. Isso se deve praticamente só à marca e à clareza sobre o que fazemos e quem somos. Então acredito firmemente que o esforço de reformular a marca do Exercism valeu a pena.

Uma ressalva é que a V2 provavelmente incentiva a se cadastrar pessoas que ainda não estão prontas para o Exercism como ele é hoje. A V2 não foi pensada para iniciantes totais, mas a landing page da V2 é muito mais acolhedora para iniciantes totais, então provavelmente recebemos muitos usuários que ainda não estão prontos para o Exercism. Uma forma de levar isso em conta seria considerar não só o número de visitantes que se cadastram, mas quantos visitantes se cadastraram e conseguiram enviar uma solução. Para isso, vemos:

• V1: 26.194 (7% dos novos visitantes se cadastram e enviam)
• V2: 52.533 (13,9% dos novos visitantes se cadastram e enviam)

Então, a partir disso, podemos dizer que a marca respondeu por aproximadamente uma duplicação da nossa verdadeira "taxa de conversão", o que torna o esforço de reformular a marca sem dúvida compensador. Também vale notar que, à medida que avançamos para nos tornar amigáveis para iniciantes (V3.x), essa ressalva vai desaparecer por completo.

Soluções que recebem feedback (Mentoria)

A segunda coisa que queríamos melhorar era a quantidade de mentoria por solução. Na V1, era meio que uma loteria: você podia receber comentários, ou não, dependendo puramente de alguém ter notado o seu envio. Grande parte da mentoria formal da V2 tinha o objetivo de tornar isso mais justo, consistente e confiável.

A métrica que usei aqui é a porcentagem de soluções que recebem um comentário.

• V1: 3,5% de todas as soluções
• V2: 64% das soluções em que a mentoria foi solicitada (26% de todas as soluções)

Essa é a estatística fenomenal na minha visão e o grande indicador de que a V2 nos levou na direção certa. Agora você tem 18 vezes mais chance de receber feedback na sua solução na V2 do que na V1. Erramos muita coisa na mentoria da V2 (veja a próxima seção!), mas sinto um orgulho enorme e sou muito grato aos nossos mentores pelo fato de o Exercism oferecer um lugar onde, se você quer mentoria, é mais provável que receba do que não.

Fidelização

Por fim, queríamos melhorar a "fidelização", ou seja, o quanto o site é usado. Se as pessoas estão gostando do Exercism e achando útil, elas vão fazer mais coisas nele. Há dois lados nisso: o número de vezes que alguém volta ao site e o número de soluções que alguém envia.

Usuários que retornam:

• V1: 4,79 sessões / pessoa
• V2: 5,42 sessões / pessoa

Volume de envios:

• V1: 8,0 soluções / pessoa
• V2: 8,2 soluções / pessoa

Ambos ficaram praticamente estáveis. Essa é uma área em que eu esperava ver um grande aumento na V2, e não vimos. Os tempos de espera por mentoria e os mecanismos de bloqueio que impedem o avanço sem mentoria fizeram da V2 uma experiência muito lenta. Para quem quer avançar rapidamente por uma linguagem, as enormes filas de mentores tornavam muito difícil aprender num ritmo razoável. A experiência aqui varia muito de trilha para trilha. Em trilhas com tempos de espera maiores que um dia, a taxa de abandono é perceptível. Naquelas com tempos de espera ainda maiores (por exemplo, Rust, Python), a taxa de abandono é substancial.

As mudanças da V3 visam em grande parte corrigir esse problema: fazer do Exercism um lugar onde você possa aprender ou praticar uma linguagem rapidamente, mas onde também possa ter conversas assíncronas úteis com mentores sem ter seu progresso bloqueado.

Rumo à V3.

Para a V3, espero ver todas essas três métricas continuarem subindo. Meu objetivo é que as pessoas ouçam falar do Exercism e se cadastrem, que consigam enviar soluções e se aprofundar nas trilhas sem se sentirem frustradas, e que, quando quiserem mentoria, a recebam.

Espero que as estatísticas acima demonstrem que estamos indo na direção certa e que o trabalho que todos dedicaram à V2 valeu a pena. Vai ser preciso muito esforço da comunidade para chegarmos à V3, mas estou confiante de que, quando fizermos um balanço do Exercism daqui a 24 meses, veremos aumentos semelhantes e que todas as próximas fases de trabalho terão valido a pena. O Exercism é a nossa comunidade. Agradeço a todos por tudo o que vocês fazem.