Exercism Research를 소개해요

8월에 저희는 James Evans, Gary Lupyan과 협업을 발표했어요. 사람들의 프로그래밍 경험이 언어를 배우는 방식에 어떤 영향을 미치는지 연구하기 위해서였죠.

이번 달 초에는 James와 Gary를 만나 시간을 보냈어요. 지난 글에서 이야기한 Exercism 트랙 재설계와 함께, 그들의 더 넓은 연구 목표를 어떻게 달성할지 계획을 세웠죠. Exercism이 그들의 연구에 도움이 될 수 있는 분야가 많지만, 그것들이 Exercism의 핵심 제품에 곧바로 들어맞지는 않을 수도 있다는 점은 분명했어요. 그래서 저희는 연구를 중심으로 한 Exercism의 새 영역을 만들기로 했어요. 이름은 (별 고민 없이) Exercism Research라고 붙였죠. 이 하위 사이트에서는 특정 연구 목표에 대한 데이터를 모으는 실험을 진행해요. 이 실험들은 사이트에서 덜 중요한 영역에서 새로운 기술을 시험해 볼 수 있다는 부수적인 이점도 있어요.

1월 첫째 주에 시작할 예정인 첫 번째 실험은, 사람의 이전 프로그래밍 경험이 여러 언어에서 작성하는 code의 재사용성에 어떤 영향을 미치는지 조사하는 데 초점을 맞춰요. 실험은 다음과 같이 구성돼요:

• 참가자는 자신의 프로그래밍 경험을 간단히 적는 짧은 설문을 완료하게 돼요(예: 아는 언어, 배운 순서, 각 언어의 숙련도).
• 그다음 참가자는 참여할 X개의 언어 중에서 하나를 고르게 돼요. 고른 언어를 얼마나 잘 아는지는 중요하지 않아요. 다양한 사전 지식이 수집하는 데이터의 폭을 넓혀 주거든요.
• 참가자에게는 완료해야 할 연습 문제가 주어지고, 10~15분 정도 걸려요.
• 그다음 참가자는 다른 연습 문제에 대한 다른 사람의 풀이를 받고, 정해진 방식으로 그것을 확장하게 돼요. 이것도 10~15분 정도 걸려요. 각 단계가 끝나면 그 연습 문제나 확장을 얼마나 어렵게 느꼈는지 참가자에게 질문해요.

그다음 Gary와 James의 팀이 데이터를 분석해요. 제출된 code가 서로 다른 배경에 따라 어떻게 달라지는지, 또 확장이 최초 제출자의 배경과 확장한 사람의 배경에 따라 각각 어떻게 달라지는지 조사하죠.

이 실험은 2020년에 메인 사이트에 통합되기 전, 저희가 새로 만드는 브라우저 내 코딩의 첫 번째 테스트베드가 돼요. 저희는 5~10개의 언어가 이 실험에 참여하기를 바라요. 참여하려면 트랙에 정상 작동하는 테스트 러너가 있어야 하고, 두 부분을 위한 연습 문제 두 개가 필요해요. 이 두 가지는 저희가 메인테이너의 제작을 도와드릴게요. 메인테이너이면서 자기 언어가 여기에 참여하기를 원한다면, Slack의 #experiment-1 채널에 들어와서 알려주세요.