Чи був V2 вартий зусиль?

Кілька тижнів тому я опублікував issue про нашу майбутню подорож до Exercism V3. Хтось залишив коментар, у якому писав, що сподівається, що перехід буде плавнішим, ніж від V1 до V2, і сумнівався, чи вартували всі ті зміни, які ми зробили, витрачених зусиль. Обидва зауваження слушні й показують, що ми явно не пояснили, який вплив зміни V2 справді мали і чому ми вважаємо, що вони того вартували. Тому я подумав, що буде доречно написати короткий пост, у якому окреслити зміни, які ми побачили в даних, а також метрики, на які ми націлені в переході до V3.

(Три зауваження щодо цифр. По-перше, метрики нижче впорядковані приблизно за потоком сайту, а не за важливістю. По-друге, для порівняння я взяв 17-місячне вікно з обох боків від запуску V2. Коли я кажу «V1», я маю на увазі останні 17 місяців V1. Немає цілком точного способу це зробити, адже V1 мав багато дрібних змін протягом 17 місяців перед запуском, а V2 суттєво покращувався відтоді, як його запустили. У нас також були дні-викиди, як-от один під час V1, коли GitHub нас показав, і ми мали 30-кратний трафік десь на добу. Я не переймався цим і просто тримався фіксованого вікна з обох боків, вважаючи це найсправедливішим способом міряти. І нарешті, для кожного пункту я міг використати багато різних метрик. Я вибрав ті, які, на мою думку, найкраще передають історію, яку розповідають цифри загалом, і які було легко обрахувати як на історичних, так і на сучасних даних).)

Метрики V1 -> V2

Відвідувачі, які реєструються (брендинг)

Однією з наших цілей було зробити Exercism привітнішим для людей, яких міг відштовхнути початковий брендинг (червоний + диявол). Багатьом це здавалося дрібною зміною, бо їх брендинг не відштовхував, тож зусилля видавалися марною тратою часу. Однак ми вважали, що у V1 Exercism не випромінював «привітної, інклюзивної спільноти», і нам було важливо це виправити.

Скільки людей зареєструвалося на Exercism за ці періоди і який це відсоток від нових відвідувачів?

• V1: 62 618 (17% нових відвідувачів реєструються)
• V2: 188 844 (48% нових відвідувачів реєструються)

Ця перша зміна була суттєвою. Наша цільова сторінка V2 конвертує 48% проти 17% у V1. Це майже повністю завдяки бренду й ясності щодо того, що ми робимо і хто ми є. Тож я переконаний, що зусилля, вкладені в ребрендинг Exercism, були того варті.

Одне застереження: V2, імовірно, спонукає реєструватися людей, які ще не готові до Exercism у тому вигляді, як він є зараз. V2 не розрахований на цілковитих початківців, але цільова сторінка V2 значно привітніша до цілковитих початківців, тож ми, ймовірно, отримуємо багато користувачів, які ще не готові до Exercism. Один спосіб це врахувати: дивитися не лише на кількість відвідувачів, які реєструються, а на те, скільки з них зареєструвалися і зуміли надіслати рішення. Ось що ми бачимо:

• V1: 26 194 (7% нових відвідувачів реєструються і надсилають рішення)
• V2: 52 533 (13,9% нових відвідувачів реєструються і надсилають рішення)

Отже, з цього можна сказати, що брендинг приблизно подвоїв наш справжній «коефіцієнт конверсії», що робить зусилля з ребрендингу безперечно вартими. Варто також зауважити, що коли ми рухаємося далі до дружності з початківцями (V3.x), це застереження зникне зовсім.

Рішення, що отримують відгук (наставництво)

Друге, що ми хотіли покращити, це кількість наставництва на одне рішення. У V1 це було трохи як лотерея: коментарі могли надійти, а могли й ні, залежно від того, чи хтось помітив рішення. Значна частина формального наставництва у V2 мала на меті зробити це справедливішим, послідовним і надійним.

Метрика, яку я тут використав, це відсоток рішень, що отримують коментар.

• V1: 3,5% усіх рішень
• V2: 64% рішень, де було запитано наставництво (26% усіх рішень)

На мою думку, це феноменальна статистика й головний показник того, що V2 повів нас у правильному напрямку. Тепер у V2 імовірність отримати відгук на рішення у 18 разів вища, ніж у V1. Багато чого в наставництві V2 ми зробили неправильно (дивіться наступний розділ!), але я відчуваю величезну гордість і вдячність нашим наставникам за те, що Exercism пропонує місце, де, якщо наставництво потрібне, його радше отримаєш, ніж не отримаєш.

Утримання

І нарешті, ми хотіли покращити «утримання», тобто те, наскільки активно люди користуються сайтом. Якщо людям подобається Exercism і він їм корисний, вони будуть робити на ньому більше. Тут є дві сторони: скільки разів хтось повертається на сайт і скільки рішень хтось завантажує.

Користувачі, що повертаються:

• V1: 4,79 сесії на особу
• V2: 5,42 сесії на особу

Обсяг завантажень:

• V1: 8,0 рішення на особу
• V2: 8,2 рішення на особу

Обидва показники трималися майже незмінно. Це одна з ділянок, де я сподівався побачити значне зростання у V2, і не побачив. Час очікування наставництва і механізми блокування, які не дають просуватися без наставництва, зробили V2 дуже повільним досвідом. Тим, хто хотів швидко просуватися мовою, величезні черги до наставників дуже заважали вчитися з достатньою швидкістю. Досвід тут сильно залежить від треку. Для треків із часом очікування довшим за добу помітний відсоток тих, хто кидає. Для тих, де очікування ще довше (наприклад, Rust, Python), цей відсоток суттєвий.

Зміни у V3 здебільшого націлені на розвʼязання цієї проблеми: зробити Exercism місцем, де можна швидко вивчати мову чи практикуватися, але де також можна вести корисні асинхронні розмови з наставниками, не блокуючи свій прогрес.

Рухаємося до V3.

Для V3 я сподіваюся побачити, що всі три ці метрики продовжують зростати. Моя мета в тому, щоб люди чули про Exercism і реєструвалися, щоб їм вдавалося надсилати рішення й глибоко занурюватися в треки без відчуття розчарування, і щоб, коли вони хочуть наставництва, вони його отримували.

Сподіваюся, що статистика вище демонструє, що ми рухаємося в правильному напрямку і що робота, яку всі вклали у V2, була того варта. Спільноті буде потрібно докласти багато зусиль, щоб довести нас до V3, але я впевнений, що коли ми оцінимо Exercism через 24 місяці, ми побачимо подібне зростання і що всі наступні етапи роботи виявляться вартими зусиль. Exercism це наша спільнота, і я дякую всім за все, що ми робимо.