O que vem por aí no Exercism?

Há pouco mais de 12 meses, lançamos a nova versão do Exercism. Foi uma mudança radical: repensamos o produto do zero e introduzimos os conceitos de progressão e mentoria formal.

Desde o lançamento, corrigimos tudo o que estava quebrado e adicionamos algumas coisas que tínhamos deixado passar conceitualmente, mas, principalmente, observamos e aprendemos como todo mundo usou a nova versão. Este post mostra o que os últimos doze meses nos ensinaram: o bom e o doloroso. Ele também apresenta o que esperamos alcançar nos próximos meses.

O bom

O Exercism teve um crescimento enorme, puramente por boca a boca. Desde julho de 2018, 134.000 novos membros se inscreveram. Vimos 578.000 iterações enviadas e 395.000 comentários publicados, e mais de 2.500 pessoas se inscreveram como mentores, escrevendo 75.000 mensagens entre si no nosso Slack. A comunidade se apoiou e se incentivou mutuamente, e isso permitiu que o Exercism prosperasse. Estamos incrivelmente animados e extremamente gratos por isso.

Graças à nossa comunidade de mantenedores, nossas trilhas de linguagens continuaram melhorando todos os dias. Em algumas trilhas, demos passos enormes graças ao trabalho do Track Anatomy Project. Agora temos mais de 3.000 exercícios distribuídos em 50 trilhas ativas.

Com o apoio da Mozilla, implementamos a análise automatizada de soluções. Nossa comunidade construiu analisadores para dez linguagens e analisamos 14.000 soluções desde o lançamento. A análise nos permitiu aprovar 4.000 soluções automaticamente, economizando cerca de 350 horas de esforço dos nossos mentores.

O doloroso

Além de alguns problemas iniciais, houve um grande ponto de dor nos últimos 12 meses: tempos de resposta longos na mentoria, o que fez com que filas significativas se acumulassem em algumas trilhas. Os desafios inerentes aos atrasos na mentoria se dividem em três categorias principais:

• Estrutura das trilhas: Quando as trilhas não têm um caminho de progressão fluido, a mentoria fica muito mais difícil, o tempo de mentoria por exercício dispara e as tensões entre mentores e estudantes aumentam drasticamente. Poucas trilhas tinham, no lançamento, um conjunto de exercícios centrais que se apoiavam uns nos outros.
• A mentoria precisa ser gratificante: Dar o mesmo feedback repetidamente é entediante. A mentoria fica interessante quando o feedback é pessoal e as conversas são feitas sob medida para o entendimento de cada estudante.
• Falta de senso de comunidade: Quando a mentoria fica solitária, a taxa de desistência é substancial. Em trilhas onde há um punhado de mentores-chave que se apoiam e se incentivam pelo nosso Slack, os mentores tendem a permanecer. As relações entre estudantes e mentores também são fundamentais para esse senso de comunidade. Interações respeitosas e personalizadas entre pessoas dão a sensação de humanos ajudando humanos, e não de um site educativo puro.

Passamos muito tempo enfrentando esses desafios ao longo do último ano, e uma enorme quantidade de energia nos bastidores tentando entender as questões centrais no fundo de tudo isso. Nosso plano para os próximos 12 meses tem como objetivo resolver essas três questões. Esperamos, ao fim desse período, ter tempos de resposta rápidos e consistentes em todas as trilhas.

Os próximos 12 meses.

Nosso trabalho para os próximos 12 meses está dividido em várias seções. Esta lista não é exaustiva (vamos, por exemplo, continuar corrigindo bugs e fazendo mais ajustes gerais no site e na CLI), mas vai formar o foco do nosso trabalho.

Reestruturar as trilhas para o prazer dos estudantes e a facilidade da mentoria

O Track Anatomy Project foi crucial para corrigir alguns dos problemas imediatos das trilhas no Exercism. Nos próximos 12 meses, vamos explorar questões mais profundas sobre fluência, aprendizado e desaprendizado, e investigar o que é único ou particularmente desafiador em cada linguagem.

Automatizar o que dá para automatizar

Agora estamos aprovando soluções automaticamente em dez trilhas. Para essas soluções, também oferecemos dicas automatizadas de melhoria.

Vamos expandir os analisadores existentes para lidar com mais exercícios e adicionar analisadores para outras linguagens. Também queremos incorporar melhor a análise à experiência de estudantes e mentores no site, em especial identificando e relatando problemas comuns que impedem a aprovação automática.

Vamos começar a rodar as suítes de testes nas soluções enviadas.

Acreditamos que essa automação adicional trará os seguintes benefícios:

• Reduzir a frustração dos estudantes: Queremos dar aos estudantes um ciclo de feedback rápido. Se uma solução é ótima, deixe a pessoa seguir em frente. Se falha de forma previsível, avise para que possa melhorá-la.

• Reduzir drasticamente o tamanho da fila: Nossos protótipos mostraram que, para exercícios simples, conseguimos oferecer mentoria automatizada em mais de 90% dos casos. Embora esperemos que esse número seja menor em exercícios mais complexos, achamos que dá para oferecer mentoria automatizada em cerca de metade das soluções enviadas.

• Elimina a repetição para os mentores: A maioria das soluções se encaixa em grupos parecidos. Boa parte da mentoria depende de copiar e colar respostas prontas para cada tipo de solução, o que é tedioso e desinteressante até para o mentor mais determinado. Tirar as soluções comuns da fila de mentoria permitirá que os mentores se concentrem nos casos que exigem seus conhecimentos e sua experiência.

Incentivar relações respeitosas entre estudantes e mentores

A mentoria no Exercism hoje é um processo muito transacional. Um estudante envia uma solução e um mentor faz comentários. Fora a natureza geralmente amigável das conversas, não existe um "relacionamento" entre o mentor e quem está aprendendo. Não há uma forma fácil de o mentor lembrar se já deu feedback àquele estudante antes. Não há como saber se um estudante é um iniciante ou um programador experiente e adaptar o feedback de acordo. Não há como um estudante conhecer a trajetória do seu mentor e respeitar ou apreciar o feedback nesse contexto.

Vamos explorar duas coisas que esperamos tornar toda a experiência mais empática, tornando a mentoria mais gratificante e agradável.

A primeira são perfis mais detalhados, tanto para quem aprende quanto para os mentores, com integração muito mais estreita à experiência de mentoria.

A segunda é a ideia de pareamento entre estudantes e mentores. Isso permitiria que os estudantes continuassem aprendendo com mentores que consideram especialmente úteis, e que os mentores trabalhassem com estudantes cujo estilo de aprendizagem ou trajetória eles entendem bem.

Transformar nossa base de usuários em uma comunidade

Quando as trilhas "funcionam", é porque têm um pequeno número de mentores sempre presentes. Esses mentores aconselham os outros, melhoram as notas de mentoria, recebem bem as pessoas novas, respondem às suas perguntas e, de modo geral, fazem todo mundo se sentir parte de algo. Quando uma trilha ganha um mentor-chave que se sente à vontade para ser aquela voz no Slack, a fila da trilha tende a diminuir rapidamente. Esse embalo é fundamental. Quando parece que a fila está baixando, todo mundo embarca e ajuda. Aí todo mundo quer manter a fila baixa.

Os mentores que mais mentoram regularmente também são os mais ativos na nossa comunidade no Slack. Acreditamos que isso acontece porque são eles que se sentem mais conectados ao Exercism e mais apoiados. A mentoria passa a ser mais do que apenas responder aos estudantes: passa a ser compartilhar objetivos maiores com outras pessoas de mentalidade parecida.

Estamos convencidos de que o obstáculo fundamental para o crescimento e o sucesso do Exercism não é tecnológico, é humano. Nosso foco precisa ser encarar o Exercism não como um site ou um produto, mas como uma comunidade, um lugar onde as pessoas podem doar seu tempo para ajudar os outros. O Exercism oferece às pessoas oportunidades de conexão, comunidade, propósito e gentileza, mas hoje não aproveitamos nem incentivamos isso bem.

Nos próximos 12 meses, vamos descobrir como fazer o Exercism parecer uma comunidade, e não um site. Não queremos diluir a realidade funcional do aprendizado e da mentoria. Não queremos ser uma "rede social" nem um fórum de discussão sem foco. Queremos que as pessoas envolvidas com o Exercism se sintam conectadas às outras milhares de pessoas que também o usam. Acertar isso é complicado e vai ser um processo lento e cuidadoso.

Quando acertarmos isso, vamos baixar a barreira para mentorar no Exercism. Vamos facilitar para que qualquer pessoa ajude as outras, sabendo que há uma comunidade forte ali para apoiar e moderar o que acontece dentro do site.

Adicionar motivação extra para contribuir

Ao projetar a v2, tomamos uma decisão muito deliberada de continuar evitando a gamificação. Achamos essencial que as pessoas participem porque encontram valor intrínseco, não porque estimulamos artificialmente seus centros de recompensa.

Quem permanece ativo são as pessoas que se desafiam continuamente de novas maneiras dentro do ecossistema do Exercism. Seja mantendo uma trilha, mentorando em uma nova linguagem, escrevendo posts no blog ou construindo analisadores, elas sempre encontram novas formas de manter as coisas interessantes. Por todo o trabalho que fizemos para adicionar um senso de progressão e recompensa inesperada para os estudantes, não temos nada parecido para os mentores, e eu acho que isso é uma perda real.

Além disso, queremos que o trabalho árduo e as contribuições incríveis das pessoas sejam reconhecidos e celebrados.

Queremos explorar formas de oferecer à nossa comunidade novas oportunidades, desafios e privilégios conforme ela usa mais o Exercism. Vamos dedicar um tempo a perguntar o que podemos adicionar que seja valioso para o Exercism e valioso para as pessoas da nossa comunidade, sem tirar das motivações intrínsecas que precisam continuar movendo o Exercism.

Vamos pisar com cuidado para acertar, e acreditamos firmemente que acertar fará uma diferença enorme para o Exercism.

Falar alto sobre quem somos

A última área em que queremos trabalhar ao longo do próximo ano, e a última grande lacuna que achamos que existe no momento, é comunicar melhor o que é o Exercism, quem somos e o que estamos tentando fazer. Quando as pessoas avaliam se querem dedicar seu tempo ao Exercism, elas nos avaliam pelos nossos valores e princípios e pela experiência que têm conosco fora do próprio Exercism.

Então precisamos falar alto sobre nossa visão, sobre quem somos e no que acreditamos. Precisamos reforçar constantemente a visão para todos na comunidade, nos animando juntos com tudo o que podemos conquistar com o Exercism. Precisamos de páginas que falem e empolguem, e de vídeos que dê a sensação de que há pessoas por trás do texto. Nosso objetivo aqui não é de forma alguma tentar conquistar usuários: é deixar claro quem somos e manter as pessoas animadas e motivadas a fazer parte de nós. Provavelmente isso vai fazer com que cresçamos mais rápido e ganhemos mais embalo, mas não é isso que queremos medir ou com que queremos nos preocupar. Queremos nos preocupar que todo mundo ligado ao Exercism se sinta animado, empoderado e conectado.

Começamos a fazer pequenas partes disso apenas sendo mais precisos nas redes sociais, e isso já começou a gerar mais empolgação e conexão entre os membros da nossa comunidade, além de ajudar a promover nossa "marca" como algo positivo. Pretendemos construir sobre isso com cuidado ao longo do próximo ano e fazer do Exercism um lugar do qual todo mundo envolvido se orgulhe de fazer parte.

Para concluir

Estamos muito animados com os próximos doze meses, com a forma como podemos ajudar o Exercism a dar os próximos passos para alcançar seu potencial e com a forma como podemos servir e conectar melhor nossa comunidade. Quero terminar agradecendo imensamente a todos que contribuíram ao longo do último ano, seja como mantenedor, mentor, estudante ou de alguma outra forma. Agradecemos pela sua empolgação, pelas suas ideias, pelas suas contribuições e pela sua paciência enquanto continuamos melhorando as coisas.

Vale notar que o Exercism tem um documento de estratégia, que mantemos atualizado com nosso plano de como levar o Exercism adiante, e que você pode querer acompanhar no futuro.