サンプルサイズ

サンプルサイズとは、分析対象となるデータの個数のこと。標本の大きさとも呼ぶ。セイバーメトリクスにおいてはデータから選手の能力を推定するにあたり得られたデータの数をいう場合が多い。例えば500打席の結果から打席の内容を評価する際のサンプルサイズは500である。

サンプルサイズが小さいときにはランダムな要素の影響が大きく、数値が選手の真の実力を表している度合いは小さい。逆にサンプルサイズが大きいときには真の実力が反映されている度合いが大きいものとして信頼がおける。このため指標から選手の能力を読み取るにあたってはサンプルサイズに注意する必要がある。

例えば3割打者と2割5分の打者がいるとして、両者の打数が100であれば実は後者の方が能力が高いのにサンプルサイズが小さいためにたまたま前者の数値が高く出たということはあり得る。しかし1000打数の結果であればその可能性は低い。

どの程度のサンプルサイズがあれば数値に信頼がおけるかというのは問題とする指標によって異なる。例えば投手の奪三振率ならそもそもその高低は選手ごとの実力の違いによって決定される部分が大きいため、少ない打席数の結果でも実力を反映している割合が高い。これに対して投手のBABIPは実力差自体が小さいため、多くの打席数を集めなければデータから実力を推定することは難しい。

ひとつの目安として、Baseball Prospectusのラッセル・カールトンは2003年から2011年のMLBのデータを元に指標ごとにどれだけのサンプルサイズがあれば指標の変動のうちに占める能力の割合が半分以上になるかを計測している。下記にその一部を引用する。

【打撃指標】

60打席：三振／打席

120打席：四球／打席

240打席：死球／打席

290打席：単打／打席

1610打席：（二塁打＋三塁打）／打席

170打席：本塁打／打席

910打数：打率

460打席：出塁率

320打数：長打率

160打数：ISO

820BIP：BABIP

【投球指標】

70打席：三振／打席

170打席：四球／打席

640打席：死球／打席

670打席：単打／打席

1450打席：（二塁打＋三塁打）／打席

1320打席：本塁打／打席

630打席：打率

540打席：出塁率

550打数：長打率

630打数：ISO

2000BIP：BABIP

投手の指標でいえば、奪三振率は70打席でノイズよりも能力の割合の方が大きくなる。これに対してBABIPは2000の打球を計測してやっとである。これらのサンプルサイズに満たない状態で指標の結果を見ても、その高低は選手の能力よりもむしろ偶然によるノイズによる部分が大きいと考えられる。

もっとも上記の数字はサンプルサイズに注意するためのひとつの目安であって、サンプルサイズが少なくても何かしらの情報は含まれているし、逆に上記のサンプルサイズを多少超えていても多くのノイズが含まれていることに変わりはなく、これだけのデータを集めれば数値をそのまま能力とみなしていいという便利な数字ではない。詳細な分析にあたっては得られたサンプルサイズでどれだけの誤差が見込まれるかを個別的に検討することが必要となる。

参考文献

Baseball Therapy: It's a Small Sample Size After All

Baseball Therapy: Should I Worry About My Favorite Pitcher?