GitHub Copilotについて調べていたときに見た Research: quantifying GitHub Copilot’s impact on developer productivity and happiness - The GitHub Blog の記事の中で、開発生産性を測るSPACEフレームワークを使って計測しているのを見かけた。SPACEフレームワークという文字は見たことあったが調べたことはなかったので、この機会に調査した。その調査の中で開発生産性の可視化の改善方法についても考えたため、考えたことをまとめておく。
まずSPACEフレームワークがあったとしても、これをそのまま使うことはないと感じた。個人的に5カテゴリの分類の納得感があまりなく、計測する指標の例の計測難易度が非常に高いと感じたためだ。また使う難易度も高く見えて、使う人にも専門性が必要と感じるため、フレームワークという意味で使うのも難しいと感じた。
しかしこのフレームワークの中で、いくつかのポイントは非常に参考にできると感じた。たとえばカテゴリの中に顧客の観点が含まれていることや、必ずアンケートデータなどの定性的な指標をセットに捉えるべきと書かれていることだ。
このような参考になるポイントを取り入れると、組織の開発生産性を単純にFourKeysのみで可視化するより良くなると感じる。たとえば自分だったら以下のように3つの手段で可視化するだろう。
- FourKeysの計測。変更のリードタイム・デプロイの頻度・MTTR・変更時の障害率・信頼性
- 最新のレポートの5指標測定する方式を採用する
- この5指標は、SPACEフレームワークの色々な部分をバランスよく集計できていて、かつ集計が難しすぎない
- プロダクトKPI
- FourKeysの弱点として生産性の文脈に顧客視点が抜けやすいということがあるので、生産性の計測という部分でもプロダクトKPIを参考にする
- 定期的に開発者へのアンケートを行う。SPACEフレームワークの観点をアンケート項目に採用しても良い
- 指標だけからは見えない原因の探索や、指標にまだ現れていない傾向を見るため
FourKeys自体も意外と測定が難しいという問題はあるが、この形を意識しながら取れるところから取っていくと良いと考えている。
参考資料
- Research: quantifying GitHub Copilot’s impact on developer productivity and happiness - The GitHub Blog
- The SPACE of Developer Productivity: There's more to it than you think - Microsoft Research
- 開発者の生産性を測るためのフレームワーク`SPACE`について
- Four Keysだけじゃない開発者生産性フレームワーク
- 開発者の生産性計測のフレームワークであるSPACEでどのメトリクスを使うか考えてみる
- 「SPACEフレームワーク」とは何か:開発者の生産性を多面的に評価する新しい評価手法 (1/3)|CodeZine(コードジン)
自分の考えの関連記事
- Findyさんのイベントで「今の生産性向上活動で大切にしている考え方」という発表をしました - $shibayu36->blog;
- 生産性にレイヤーがあると感じている話
- エンジニアの「生産性」どう測る? 開発サイクル改善の次の一手に挑むアンドパッドの挑戦 | SELECK [セレック]
- 生産性と共にエンゲージメントスコアも見た方が良いよねと考えている話