O que vem a seguir para o Exercism?

Há pouco mais de 12 meses, lançámos a nova versão do Exercism. Foi uma mudança radical: repensámos o produto de raiz e introduzimos os conceitos de progressão e de mentoria formal.

Desde o lançamento, corrigimos tudo o que estava avariado e acrescentámos algumas coisas que nos tinham escapado em termos conceptuais, mas, acima de tudo, observámos e aprendemos como todos têm usado a nova versão. Este artigo descreve o que os últimos doze meses nos ensinaram: o que correu bem e o que doeu. Apresenta também o que esperamos alcançar nos próximos meses.

O que correu bem

O Exercism cresceu imenso, apenas pelo boca a boca. Desde julho de 2018, juntaram-se 134 000 novos membros. Recebemos 578 000 iterações submetidas e 395 000 comentários publicados, e mais de 2 500 pessoas inscreveram-se como mentores, trocando 75 000 mensagens entre si no nosso Slack Workspace. A comunidade apoiou-se e encorajou-se mutuamente, e isso permitiu que o Exercism prosperasse. Estamos incrivelmente entusiasmados e extremamente gratos por isso.

Graças à nossa comunidade de mantenedores, os nossos percursos de cada linguagem continuaram a melhorar todos os dias. Em alguns percursos, demos passos enormes graças ao trabalho do Track Anatomy Project. Temos agora mais de 3 000 exercícios distribuídos por 50 percursos ativos.

Com o apoio da Mozilla, implementámos a análise automática de soluções. A nossa comunidade construiu analisadores para dez linguagens e já analisámos 14 000 soluções desde o lançamento. A análise permitiu-nos aprovar automaticamente 4 000 submissões, poupando aos nossos mentores cerca de 350 horas de trabalho.

O que doeu

Para além de alguns problemas iniciais de adaptação, houve um ponto crítico nos últimos 12 meses: tempos de resposta longos na mentoria, o que fez acumular atrasos significativos em alguns percursos. Os desafios inerentes aos atrasos na mentoria dividem-se em três categorias principais:

• Estrutura do percurso: Quando um percurso não tem uma progressão fluida, a mentoria torna-se muito mais difícil, o tempo de mentoria por exercício dispara e as tensões entre mentores e estudantes aumentam drasticamente. Poucos percursos tinham, no momento do lançamento, um conjunto de exercícios centrais que se fossem construindo uns sobre os outros.
• A mentoria tem de ser gratificante: Dar sempre os mesmos comentários é aborrecido. A mentoria torna-se interessante quando os comentários são pessoais e as conversas são feitas à medida da compreensão de cada estudante.
• Falta de sentido de comunidade: Quando a mentoria se torna solitária, a taxa de desistência é substancial. Nos percursos em que há um pequeno grupo de mentores essenciais que se apoiam e encorajam uns aos outros através do nosso espaço de Slack, os mentores tendem a ficar. As relações entre estudantes e mentores também são essenciais para este sentido de comunidade. Interações respeitosas e personalizadas entre pessoas dão a sensação de seres humanos a ajudar seres humanos, e não apenas de um site educativo.

Passámos muito tempo a enfrentar estes desafios ao longo do último ano e dedicámos uma enorme quantidade de energia nos bastidores a tentar compreender os problemas de fundo que estão na sua base. O nosso plano para os próximos 12 meses tem como objetivo resolver estes três problemas. Esperamos, no final deste período, ter tempos de resposta rápidos e consistentes em todos os percursos.

Os próximos 12 meses.

O nosso trabalho para os próximos 12 meses está dividido em várias secções. Esta lista não é exaustiva (vamos, por exemplo, continuar a corrigir bugs e a fazer mais ajustes gerais ao site e à CLI), mas vai constituir o foco do nosso trabalho.

Reestruturar os percursos para que os estudantes se divirtam e a mentoria seja mais fácil

O Track Anatomy Project foi crucial para resolver alguns dos problemas mais imediatos dos percursos no Exercism. Ao longo dos próximos 12 meses, vamos explorar questões mais profundas sobre fluência, aprendizagem e desaprendizagem, e aprofundar o que há de único ou particularmente desafiante em cada linguagem.

Automatizar o que é automatizável

Estamos agora a aprovar soluções automaticamente em dez percursos. Para estas soluções, também fornecemos sugestões automáticas de melhoria.

Vamos expandir os analisadores existentes para abranger mais exercícios e acrescentar analisadores para outras linguagens. Queremos também integrar melhor a análise na experiência de estudantes e mentores no site, em particular identificando e assinalando problemas comuns que impedem a aprovação automática.

Vamos começar a correr os conjuntos de testes sobre as soluções submetidas.

Acreditamos que esta automatização adicional terá os seguintes benefícios:

• Reduzir a frustração dos estudantes: Queremos dar aos estudantes um ciclo de feedback rápido. Se uma solução é ótima, deixamo-los continuar. Se falha de forma previsível, dizemos-lhes para que a possam melhorar.

• Reduzir drasticamente o tamanho da fila: Os nossos protótipos mostraram que, para exercícios simples, conseguimos fornecer mentoria automática em mais de 90% dos casos. Embora esperemos que esse número seja menor em exercícios mais complexos, achamos que conseguimos fornecer mentoria automática em cerca de metade das soluções submetidas.

• Elimina a repetição para os mentores: A maioria das soluções cai em categorias semelhantes. Grande parte da mentoria assenta em copiar e colar respostas pré-feitas para cada tipo de solução, o que é enfadonho e pouco interessante até para os mentores mais determinados. Retirar as soluções comuns da fila de mentoria vai permitir que os mentores se concentrem nos casos que exigem o seu conhecimento e a sua experiência.

Fomentar relações respeitosas entre estudantes e mentores

A mentoria no Exercism é atualmente um processo muito transacional. Um estudante submete uma solução e um mentor dá comentários. Para além da natureza geralmente amigável das conversas, não existe uma «relação» entre o mentor e quem aprende. Não há forma fácil de um mentor se lembrar se já deu comentários àquele estudante antes. Não há forma de saber se um estudante é principiante ou um programador experiente e de adaptar os comentários em conformidade. Não há forma de um estudante conhecer o percurso do seu mentor e respeitar ou apreciar os comentários nesse contexto.

Vamos explorar duas coisas que esperamos que tornem toda a experiência mais empática, fazendo com que a mentoria seja mais gratificante e agradável.

A primeira são perfis mais aprofundados, tanto para quem aprende como para os mentores, com uma integração muito mais estreita na experiência de mentoria.

A segunda é a ideia de emparelhamentos entre estudantes e mentores. Isto permitiria aos estudantes continuar a aprender com mentores que consideram particularmente úteis, e aos mentores trabalhar com estudantes cujo estilo de aprendizagem ou percurso conhecem bem.

Transformar a nossa base de utilizadores numa comunidade

Quando os percursos «funcionam», funcionam porque têm um pequeno número de mentores sempre presentes. Estes mentores aconselham os outros, melhoram as notas de mentoria, dão as boas-vindas a quem chega, respondem às suas perguntas e, de um modo geral, fazem com que as pessoas sintam que fazem parte de algo. Assim que um percurso tem um mentor essencial que se sente à vontade para ser essa voz no Slack, a acumulação de pedidos do percurso tende a diminuir rapidamente. Este ímpeto é fundamental. Quando parece que os atrasos estão a diminuir, toda a gente se junta e ajuda. E depois todos querem manter os atrasos baixos.

Os mentores que orientam com mais regularidade são também os mais ativos na nossa comunidade do Slack. Acreditamos que é porque se sentem mais ligados ao Exercism e mais apoiados. A mentoria passa a ser mais do que apenas responder a estudantes: passa a ser partilhar objetivos maiores com outras pessoas com os mesmos interesses.

Estamos convencidos de que o principal obstáculo ao crescimento e ao sucesso do Exercism não é tecnológico, é humano. O nosso foco tem de estar em considerar o Exercism não como um site ou um produto, mas como uma comunidade: um lugar onde as pessoas podem oferecer o seu tempo para ajudar os outros. O Exercism oferece às pessoas oportunidades de ligação, comunidade, propósito e gentileza, mas atualmente não aproveitamos nem incentivamos isso bem.

Ao longo dos próximos 12 meses, vamos descobrir como fazer com que o Exercism pareça uma comunidade e não um site. Não queremos diluir a realidade funcional da aprendizagem e da mentoria. Não queremos ser uma «rede social» nem um fórum de discussão sem foco. Queremos que as pessoas envolvidas no Exercism se sintam ligadas aos outros milhares de pessoas que também o utilizam. Acertar nisto é complicado e será um processo lento e cuidadoso.

Quando o conseguirmos, vamos baixar a barreira à mentoria no Exercism. Vamos tornar mais fácil para qualquer pessoa ajudar os outros, sabendo que existe uma comunidade forte para apoiar e moderar o que acontece no site.

Adicionar motivação extra para contribuir

Ao desenhar a v2, tomámos a decisão muito deliberada de continuar a evitar a gamificação. Pensamos que é essencial que as pessoas participem porque encontram valor intrínseco nisso, e não porque lhes fazemos cócegas artificiais nos centros de recompensa.

As pessoas que se mantêm ativas são as que se desafiam continuamente de novas formas dentro do ecossistema do Exercism. Quer seja manter um percurso, orientar mentoria numa nova linguagem, escrever artigos para o blogue ou construir analisadores, vão encontrando sempre novas formas de manter as coisas interessantes. Por todo o trabalho que investimos em acrescentar um sentido de progressão e recompensas inesperadas para os estudantes, não temos nada semelhante para os mentores, e acho que isso é uma verdadeira perda.

Além disso, queremos que o trabalho árduo e as contribuições fantásticas das pessoas sejam reconhecidos e celebrados.

Queremos explorar formas de proporcionar à nossa comunidade novos desafios, oportunidades e privilégios à medida que usa mais o Exercism. Vamos dedicar tempo a perguntar que coisas podemos acrescentar que sejam valiosas para o Exercism e para as pessoas da nossa comunidade, sem prejudicar as motivações intrínsecas que têm de continuar a impulsionar o Exercism.

Vamos avançar com cuidado para acertar nisto, e estamos convictos de que acertar fará uma diferença enorme para o Exercism.

Falar alto sobre quem somos

A última área em que queremos trabalhar ao longo do próximo ano, e a última grande lacuna que pensamos existir neste momento, é comunicar melhor o que é o Exercism, quem somos e o que estamos a tentar fazer. Quando as pessoas avaliam se querem dar o seu tempo ao Exercism, vão avaliar-nos pelos nossos valores e princípios e pela experiência que têm de nós fora do próprio Exercism.

Por isso, temos de falar alto sobre a nossa visão, sobre quem somos e aquilo em que acreditamos. Temos de reforçar constantemente a visão junto de todos na comunidade, entusiasmando-nos juntos com tudo o que podemos alcançar com o Exercism. Precisamos de páginas que falem e entusiasmem, e de vídeos que deem a sensação de que há pessoas por trás do texto. O nosso objetivo com isto não é, de modo algum, tentar conquistar utilizadores: é sermos claros sobre quem somos e manter as pessoas entusiasmadas e motivadas para fazerem parte de nós. Provavelmente isso fará com que cresçamos mais depressa e ganhemos mais ímpeto, mas não é isso que queremos medir nem com que nos preocupar. Queremos preocupar-nos com que todos os que estão associados ao Exercism se sintam entusiasmados, capacitados e ligados.

Começámos a fazer pequenas partes disto apenas por sermos mais rigorosos nas redes sociais, e isso já começou a criar mais entusiasmo e ligação entre os membros da nossa comunidade, e ajudou a promover a nossa «marca» como algo positivo. Tencionamos construir cuidadosamente sobre isto ao longo do próximo ano e fazer do Exercism um lugar com o qual todos os envolvidos se orgulhem de estar associados.

Em conclusão

Estamos mesmo entusiasmados com os próximos doze meses, com a forma como podemos ajudar o Exercism a dar os próximos passos para alcançar o seu potencial e com a forma como podemos servir e ligar melhor a nossa comunidade. Quero terminar com um enorme obrigado a todos os que contribuíram ao longo do último ano, seja como mantenedor, mentor, estudante ou de qualquer outra forma. Obrigado pelo vosso entusiasmo, ideias, contribuições e paciência enquanto continuamos a melhorar as coisas.

Nota: o Exercism tem um documento de estratégia que mantemos atualizado com o nosso plano para levar o Exercism mais longe e que talvez queiras acompanhar no futuro.