این نوشته را مفید یافتید؟
آن را به اشتراک بگذارید!
چند هفته پیش، ایشویی درباره‌ی سفر پیش‌رویمان به سمت Exercism V3 ثبت کردم. کسی کامنتی نوشت و گفت امیدوار است این انتقال روان‌تر از انتقال V1 به V2 باشد و این پرسش را مطرح کرد که آیا بسیاری از تغییراتی که داده‌ایم ارزش این دردسر را داشتند یا نه. هر دو نکته‌ی بسیار خوبی هستند و نشان می‌دهند که ما به‌روشنی توضیح نداده‌ایم که تغییرات V2 واقعاً چه تأثیری داشتند و چرا باور داریم ارزشش را داشتند. بنابراین فکر کردم ارزش دارد پستی کوتاه بنویسم و در آن تغییراتی را که در داده‌ها دیدیم و همچنین شاخص‌هایی را که با حرکت به سمت V3 هدف گرفته‌ایم، شرح دهم.
(سه نکته درباره‌ی این اعداد. اول اینکه شاخص‌های زیر تقریباً بر اساس مسیر حرکت در سایت مرتب شده‌اند، نه بر اساس اهمیت. دوم اینکه برای مقایسه، بازه‌ی ۱۷ ماهه‌ای در دو طرف زمان راه‌اندازی V2 در نظر گرفته‌ام. وقتی می‌گویم «V1»، منظور ۱۷ ماه آخر V1 است. هیچ روش کاملاً دقیقی برای این کار وجود ندارد، چون V1 در ۱۷ ماه پیش از راه‌اندازی تغییرات کوچک زیادی داشت و V2 هم در بازه‌ی پس از راه‌اندازی بهبودهای قابل‌توجهی پیدا کرد. روزهای پرت هم داریم، مثل روزی در دوران V1 که GitHub ما را معرفی کرد و برای یک روز یا بیشتر ترافیک‌مان ۳۰ برابر شد. نگران آن نشده‌ام و فقط به یک بازه‌ی ثابت در دو طرف پایبند مانده‌ام، چون فکر می‌کنم منصفانه‌ترین راه اندازه‌گیری است. و آخر اینکه برای هر مورد می‌شد از شاخص‌های زیادی استفاده کرد. من مواردی را انتخاب کرده‌ام که به نظرم داستانی را که این اعداد در کل روایت می‌کنند بازتاب می‌دهند و محاسبه‌شان روی داده‌های قدیمی و جدید برایم آسان بود).
شاخص‌های V1 به V2
بازدیدکنندگانی که ثبت‌نام می‌کنند (برندسازی)
یکی از هدف‌هایمان این بود که Exercism برای کسانی که برندسازی اولیه (قرمز + شیطان) ممکن بود دلسردشان کرده باشد، حس پذیرش بیشتری بدهد. برای بسیاری، این تغییر جزئی به نظر می‌رسید، چون خودشان از آن برندسازی دلسرد نشده بودند و بنابراین این تلاش هدررفتن وقت به نظر می‌رسید. اما ما باور داشتیم که Exercism در V1 حس «جامعه‌ای پذیرا و فراگیر» را منتقل نمی‌کرد و اصلاح این موضوع برایمان مهم بود.
در این بازه‌ها چند نفر در Exercism ثبت‌نام کردند و این عدد چند درصد از بازدیدکنندگان تازه بود؟
- V1: ۶۲٬۶۱۸ (۱۷٪ از بازدیدکنندگان تازه ثبت‌نام می‌کنند)
- V2: ۱۸۸٬۸۴۴ (۴۸٪ از بازدیدکنندگان تازه ثبت‌نام می‌کنند)
این تغییر اول چشمگیر بود. صفحه‌ی فرود V2 ما نرخ تبدیل ۴۸٪ دارد، در مقابل ۱۷٪ برای V1. این تقریباً کاملاً به برند و شفافیت در اینکه چه کار می‌کنیم و چه کسانی هستیم برمی‌گردد. پس قویاً باور دارم تلاشی که برای برندسازی مجدد Exercism انجام شد ارزشش را داشت.
یک نکته این است که V2 احتمالاً افرادی را به ثبت‌نام تشویق می‌کند که هنوز برای Exercism در وضعیت کنونی‌اش آماده نیستند. V2 برای مبتدیان مطلق طراحی نشده، اما صفحه‌ی فرود V2 برای مبتدیان مطلق بسیار پذیراتر است، پس احتمالاً کاربران زیادی به دست می‌آوریم که هنوز آماده‌ی Exercism نیستند. یک راه برای لحاظ کردن این موضوع این است که نه فقط تعداد بازدیدکنندگانی که ثبت‌نام می‌کنند، بلکه تعداد کسانی را در نظر بگیریم که ثبت‌نام کردند و توانستند یک راه‌حل ارسال کنند. در این مورد می‌بینیم:
- V1: ۲۶٬۱۹۴ (۷٪ از بازدیدکنندگان تازه ثبت‌نام و ارسال می‌کنند)
- V2: ۵۲٬۵۳۳ (۱۳٫۹٪ از بازدیدکنندگان تازه ثبت‌نام و ارسال می‌کنند)
پس بر این اساس می‌توان گفت برندسازی تقریباً دو برابر شدن «نرخ تبدیل» واقعی ما را رقم زده و همین، تلاش برای برندسازی مجدد را قطعاً ارزشمند می‌کند. همچنین خوب است بدانید که با حرکت به سمت مناسب بودن برای مبتدیان (V3.x)، این نکته هم کاملاً از میان می‌رود.
راه‌حل‌هایی که بازخورد می‌گیرند (منتورینگ)
دومین چیزی که می‌خواستیم بهبود دهیم، میزان منتورینگ برای هر راه‌حل بود. در V1 تا حدی شانسی بود: ممکن بود کامنت بگیرید، ممکن هم بود نگیرید، فقط بسته به اینکه کسی ارسال شما را دیده باشد یا نه. بخش بزرگی از منتورینگ رسمی V2 به این اختصاص داشت که این روند را منصفانه‌تر، یکدست‌تر و قابل‌اعتمادتر کند.
شاخصی که اینجا استفاده کرده‌ام، درصد راه‌حل‌هایی است که کامنت می‌گیرند.
- V1: ۳٫۵٪ از همه‌ی راه‌حل‌ها
- V2: ۶۴٪ از راه‌حل‌هایی که برایشان منتورینگ درخواست شده (۲۶٪ از همه‌ی راه‌حل‌ها)
به نظر من این آمار شگفت‌انگیزی است و نشانه‌ی بزرگی از اینکه V2 ما را در مسیر درست پیش برد. حالا در V2 احتمال اینکه روی راه‌حلتان بازخورد بگیرید ۱۸ برابر بیشتر از V1 است. در منتورینگ V2 چیزهای زیادی بود که اشتباه کردیم (بخش بعدی را ببینید!)، اما به‌شدت به منتورهایمان افتخار می‌کنم و سپاسگزارم که Exercism جایی است که اگر منتورینگ بخواهید، به احتمال زیاد آن را دریافت می‌کنید.
چسبندگی
و آخر، می‌خواستیم «چسبندگی» را بهبود دهیم، یعنی میزان استفاده از سایت. اگر مردم از Exercism لذت ببرند و آن را مفید بیابند، کارهای بیشتری با آن انجام می‌دهند. این موضوع دو جنبه دارد: تعداد دفعاتی که کسی به سایت برمی‌گردد و تعداد راه‌حل‌هایی که بارگذاری می‌کند.
کاربران بازگشتی:
- V1: ۴٫۷۹ نشست برای هر نفر
- V2: ۵٫۴۲ نشست برای هر نفر
حجم بارگذاری‌ها:
- V1: ۸٫۰ راه‌حل برای هر نفر
- V2: ۸٫۲ راه‌حل برای هر نفر
هر دو تقریباً ثابت ماندند. این یکی از حوزه‌هایی است که امیدوار بودم در V2 رشد زیادی ببینیم، ولی ندیدیم. زمان‌های انتظار برای منتورینگ و سازوکارهای مسدودکننده‌ای که جلوی پیشرفت بدون منتورینگ را می‌گیرند، هر دو تجربه‌ی V2 را بسیار کند کرده بودند. برای کسی که می‌خواست سریع در یک زبان پیشرفت کند، صف‌های عظیم منتورها یادگیری با سرعتی به‌قدر کافی معقول را بسیار دشوار می‌کرد. تجربه‌ی اینجا کاملاً به مسیر بستگی دارد. برای مسیرهایی که زمان انتظارشان بیشتر از یک روز است، نرخ ریزش محسوس است. برای مسیرهایی با زمان انتظار طولانی‌تر (مثلاً Rust و Python)، نرخ ریزش قابل‌توجه است.
تغییرات V3 عمدتاً برای حل این مشکل هدف‌گذاری شده‌اند: اینکه Exercism را به جایی تبدیل کنیم که بتوانید سریع یک زبان را یاد بگیرید یا تمرین کنید، اما در عین حال بتوانید گفت‌وگوهای ناهم‌زمان و مفیدی با منتورها داشته باشید بدون اینکه پیشرفتتان مسدود شود.
حرکت به سمت V3
برای V3 امیدوارم هر سه‌ی این شاخص‌ها به رشد ادامه دهند. هدفم این است که مردم Exercism را بشنوند و ثبت‌نام کنند، بتوانند راه‌حل ارسال کنند و بدون احساس ناکامی در مسیرها تا عمق پیش بروند، و وقتی منتورینگ می‌خواهند آن را دریافت کنند.
امیدوارم آمار بالا نشان دهد که در مسیر درست حرکت می‌کنیم و کاری که همه روی V2 گذاشته‌اند ارزشش را داشته است. رسیدن به V3 تلاش زیادی از سوی جامعه می‌طلبد، اما مطمئنم وقتی ۲۴ ماه دیگر وضعیت Exercism را ارزیابی کنیم، رشدهای مشابهی خواهیم دید و همه‌ی مراحل بعدی کار ارزشش را نشان خواهد داد. Exercism همان جامعه‌ی ماست. از همه‌ی شما برای هر کاری که می‌کنید سپاسگزارم.
