क्या यह पोस्ट आपके काम की लगी?
इसे दूसरों के साथ साझा कीजिए!
कुछ हफ्ते पहले मैंने Exercism V3 की अपनी आने वाली यात्रा के बारे में एक इश्यू पोस्ट किया था। किसी ने एक कमेंट पोस्ट किया, जिसमें कहा गया था कि उन्हें उम्मीद है कि यह बदलाव V1 से V2 के बदलाव से ज़्यादा आसान होगा, और यह सवाल भी उठाया कि हमने जो बहुत-सी चीज़ें बदलीं, क्या वे इस मेहनत के लायक थीं। दोनों बातें उठाने लायक हैं। वे यह भी दिखाती हैं कि हमने साफ तौर पर यह नहीं बताया कि V2 के बदलावों का असर वास्तव में क्या रहा, और हमें क्यों लगता है कि वे इसके लायक थे। इसलिए मुझे लगा कि एक छोटा-सा पोस्ट लिखना ठीक रहेगा, जिसमें मैं बताऊँ कि डेटा में हमें कौन-कौन से बदलाव दिखे, और वे मेट्रिक्स भी जो V3 की तरफ बढ़ते हुए हमारा लक्ष्य हैं।
(संख्याओं पर तीन बातें। पहली, नीचे दिए मेट्रिक्स मोटे तौर पर साइट के फ्लो के क्रम में हैं, महत्व के क्रम में नहीं। दूसरी, तुलना के लिए मैंने V2 के लॉन्च के दोनों तरफ 17 महीने की अवधि ली है। जब मैं "V1" कहता हूँ, तो मेरा मतलब V1 के अंतिम 17 महीनों से है। इसे पूरी तरह सही तरीके से करने का कोई रास्ता नहीं है, क्योंकि लॉन्च से पहले के 17 महीनों में V1 में बहुत-से छोटे बदलाव हुए थे, और लॉन्च के बाद के समय में V2 में काफी सुधार हुए हैं। हमारे पास कुछ असामान्य दिन भी हैं, जैसे V1 के दौरान वह दिन जब GitHub ने हमें अपने पेज पर दिखाया था, और एक दिन या उससे थोड़े ज़्यादा समय के लिए हमारा ट्रैफिक 30 गुना बढ़ गया था। मैंने इसकी चिंता नहीं की और दोनों तरफ एक तय अवधि ही ली, क्योंकि मुझे लगता है कि चीज़ों को नापने का यह सबसे न्यायसंगत तरीका है। अंत में, हर बिंदु के लिए मैं बहुत-से मेट्रिक्स इस्तेमाल कर सकता था। मैंने वे चुने हैं जो, मुझे लगता है, कुल मिलाकर संख्याओं की जो कहानी है उसे दर्शाते हैं, और जिन्हें पुराने और नए डेटा दोनों पर निकालना मेरे लिए आसान था)।
V1 -> V2 मेट्रिक्स
साइन अप करने वाले विज़िटर (ब्रांडिंग)
हमारा एक लक्ष्य यह था कि Exercism उन लोगों को ज़्यादा अपनापन दे, जिन्हें पुरानी (लाल रंग और शैतान वाली) ब्रांडिंग ने दूर कर दिया होगा। बहुतों को यह एक मामूली बदलाव लगा, क्योंकि उन्हें ब्रांडिंग से कोई दिक्कत नहीं थी, और इसलिए यह मेहनत समय की बर्बादी लगी। लेकिन हमें लगता था कि V1 में Exercism से "स्वागत करने वाला, सबको साथ लेकर चलने वाला समुदाय" वाली भावना नहीं झलकती थी, और इसे ठीक करना हमारे लिए ज़रूरी था।
इन अवधियों में कितने लोगों ने Exercism पर साइन अप किया, और नए विज़िटरों का यह कितना प्रतिशत था?
- V1: 62,618 (17% नए विज़िटर साइन अप करते हैं)
- V2: 188,844 (48% नए विज़िटर साइन अप करते हैं)
यह पहला बदलाव बहुत बड़ा था। हमारे V2 लैंडिंग पेज की कन्वर्ज़न दर 48% है, जबकि V1 की 17% थी। इसकी वजह लगभग पूरी तरह ब्रांड है, और यह स्पष्टता भी कि हम क्या करते हैं और हम कौन हैं। इसलिए मुझे दृढ़ विश्वास है कि Exercism की रीब्रांडिंग में जो मेहनत लगी, वह इसके लायक थी।
एक बात ध्यान में रखने लायक है: V2 शायद ऐसे लोगों को भी साइन अप करने के लिए प्रेरित करता है जो अभी Exercism के लिए तैयार नहीं हैं। V2 पूरी तरह शुरुआती लोगों के लिए नहीं बना है, फिर भी V2 का लैंडिंग पेज शुरुआती लोगों के लिए कहीं ज़्यादा अपनापन देता है, तो हो सकता है हमें ऐसे बहुत-से यूज़र मिलें जो अभी Exercism के लिए तैयार नहीं हैं। इसे ध्यान में रखने का एक तरीका यह होगा कि हम सिर्फ साइन अप करने वाले विज़िटरों की संख्या न देखें, बल्कि यह देखें कि कितने विज़िटरों ने साइन अप किया और एक हल सबमिट कर पाए। इसके लिए हमें यह दिखता है:
- V1: 26,194 (7% नए विज़िटर साइन अप करते हैं और सबमिट करते हैं)
- V2: 52,533 (13.9% नए विज़िटर साइन अप करते हैं और सबमिट करते हैं)
तो इससे हम कह सकते हैं कि ब्रांडिंग की वजह से हमारी वास्तविक "कन्वर्ज़न दर" लगभग दुगनी हो गई, और इससे रीब्रांडिंग की मेहनत पूरी तरह सार्थक साबित होती है। यह भी ध्यान देने लायक है कि जैसे-जैसे हम शुरुआती लोगों के लिए बेहतर बनते जाएँगे (V3.x), यह बात पूरी तरह खत्म हो जाएगी।
हलों पर फीडबैक मिलना (मेंटर)
दूसरी चीज़ जिसे हम बेहतर करना चाहते थे, वह थी हर हल पर मेंटर से मिलने वाली मदद की मात्रा। V1 में यह थोड़ा-सा लॉटरी जैसा था: हो सकता था आपको कमेंट मिलते, या नहीं मिलते, यह पूरी तरह इस पर निर्भर था कि किसी ने आपका सबमिशन देखा या नहीं। V2 की औपचारिक मेंटर व्यवस्था का एक बड़ा हिस्सा इसे ज़्यादा न्यायसंगत, एक जैसा और भरोसेमंद बनाने के बारे में था।
यहाँ मैंने जो मेट्रिक इस्तेमाल की है, वह है उन हलों का प्रतिशत जिन पर कमेंट मिलता है।
- V1: सभी हलों का 3.5%
- V2: उन हलों का 64% जिनके लिए मेंटर माँगा गया (सभी हलों का 26%)
मेरी नज़र में यह एक अद्भुत आँकड़ा है और यह बड़ा संकेत है कि V2 ने हमें सही दिशा में आगे बढ़ाया। V1 की तुलना में अब V2 में आपके हल पर फीडबैक मिलने की संभावना 18 गुना ज़्यादा है। V2 की मेंटर व्यवस्था में हमने बहुत कुछ गलत किया (अगला हिस्सा देखिए!), लेकिन हमारे मेंटरों पर मुझे बहुत गर्व है और मैं उनका बहुत आभारी हूँ, क्योंकि Exercism एक ऐसी जगह बन पाई है जहाँ अगर आपको मेंटर चाहिए, तो उसके मिलने की संभावना न मिलने से ज़्यादा है।
स्टिकीनेस
अंत में, हम "स्टिकीनेस" बेहतर करना चाहते थे, यानी साइट के इस्तेमाल की मात्रा। अगर लोगों को Exercism पसंद आ रहा है और वे इसे काम का पाते हैं, तो वे इस पर ज़्यादा काम करेंगे। इसके दो पहलू हैं: कोई व्यक्ति कितनी बार साइट पर वापस आता है, और कितने हल अपलोड करता है।
वापस आने वाले यूज़र:
- V1: 4.79 सेशन / व्यक्ति
- V2: 5.42 सेशन / व्यक्ति
अपलोड की मात्रा:
- V1: 8.0 हल / व्यक्ति
- V2: 8.2 हल / व्यक्ति
दोनों लगभग एक जैसे बने रहे। यह एक ऐसा क्षेत्र है जहाँ मुझे उम्मीद थी कि V2 में बड़ी बढ़ोतरी दिखेगी, पर वह नहीं दिखी। मेंटर के लिए इंतज़ार का समय, और वे रोकने वाली व्यवस्थाएँ जो मेंटर के बिना आगे बढ़ने नहीं देतीं, दोनों ने मिलकर V2 को बहुत धीमा अनुभव बना दिया। जो व्यक्ति किसी भाषा में तेज़ी से आगे बढ़ना चाहता है, उसके लिए मेंटर की लंबी कतारों की वजह से उचित गति से सीखना बहुत मुश्किल हो गया। यहाँ का अनुभव ट्रैक पर बहुत निर्भर करेगा। जिन ट्रैक में इंतज़ार एक दिन से ज़्यादा है, वहाँ छोड़ने की दर साफ दिखती है। जिनमें इंतज़ार और भी लंबा है (जैसे Rust, Python), वहाँ छोड़ने की दर बहुत ज़्यादा है।
V3 में जो बदलाव हो रहे हैं, वे ज़्यादातर इसी समस्या को ठीक करने के लिए हैं: Exercism को ऐसी जगह बनाना जहाँ आप किसी भाषा को जल्दी सीख या अभ्यास कर सकें, और साथ ही मेंटरों के साथ काम की असिंक्रोनस बातचीत भी कर सकें, बिना यह कि आपकी प्रगति रुक जाए।
V3 की ओर बढ़ते हुए
V3 के लिए मुझे उम्मीद है कि ये तीनों मेट्रिक्स लगातार बढ़ते रहेंगे। मेरा लक्ष्य यह है कि लोग Exercism के बारे में सुनें और साइन अप करें, कि वे हल सबमिट कर पाएँ और बिना झुंझलाहट के ट्रैक में गहराई तक पहुँचें, और कि जब उन्हें मेंटर चाहिए, तो उन्हें वह मिले।
मुझे उम्मीद है कि ऊपर के आँकड़े दिखाते हैं कि हम सही दिशा में आगे बढ़ रहे हैं और सबने V2 पर जो मेहनत की है, वह सार्थक रही है। V3 तक पहुँचने के लिए समुदाय को बहुत मेहनत करनी होगी, लेकिन मुझे भरोसा है कि जब हम 24 महीने बाद Exercism का जायज़ा लेंगे, तो हमें इसी तरह की बढ़ोतरी दिखेगी और काम के आने वाले सारे चरण सार्थक साबित होंगे। Exercism हमारा ही समुदाय है। आप सब जो कुछ करते हैं, उसके लिए धन्यवाद।
