指標は何を評価するのか～Part 2
蛭川皓平 [ 著者コラム一覧 ]
投稿日時：2010/12/24(金) 10:00
1.結果と能力
前回（「指標は何を評価するのか（Part 1）」）は、選手にとって筋違いな評価を「結果的に事実だから」という意味のない説明で使用することの問題について述べた。今回も前回と同じ問題意識に立ち、さらに「重要なのは能力の評価であるか、それとも結果の評価であるか」といった議論に対する見解を述べたい。
そもそも、OPSなどの計算の元となる安打や四球といった記録も事実であり結果である。すべての成績は事実の記録であると言っていい。だとすれば、「能力の評価か、それとも結果の評価か」というような問いの立て方は根本的に「ズレて」いる面がある。結果と能力というふたつは、対比させるものというよりはむしろ重層的な関係にある。すべては結果だが、その上で選手の働きと筋道としてつながっていて能力の評価に役立てることができるものとそうでないものがあるということである。
打席における安打・四球・アウトなどの結果は、いくらか外部からの影響は受けるにしろ打者個人の働きによって決定されるものである。極端な話、どんな強打者でも無走者から満塁ホームランは打てないのに対しホームランそれ自体は勝負を避けられなければ打てる可能性は与えられている。そして長期的には能力の高い打者ほど安打が多かったり本塁打が多かったりするだろうから、それらを評価に用いることに筋違いさは少なく、能力を推し量るには打点などより「マシ」なものさしになると考えられる。こうすれば完ぺきというやり方はないが、マシな代替案があればそれは有意義なことではないだろうか。
とはいえやはり結果であることは間違いないから、それが直ちに能力を表すのかと言えばそうではない。能力とは直接数値で計測されることがなく目に見えないものである。
2.結果を構成する要素
観測されたあらゆる結果（安打や四球や盗塁など）とその選手が持つ真の能力とがどういう関係にあるかは、データ分析・統計の世界では以下のように表現することができる。
観測された結果＝真の能力＋運による変動＋バイアス
つまり結果には確かに能力の要素が含まれているのだが、そこには運やバイアス（偏り）が混じっていて、それらの影響で結果から直接的に能力を判断することはできないようになっている。
ひとまず内容を明確にするためそれぞれの構成要素について説明をする。まず「真の能力」だが、これは特定の選手をその選手が持つ本来のコンディションで固定し、対戦相手や球場などの要素も一般的という偏りのない「真空状態」に閉じ込めることができたとして、そこで100万回打席にたった場合の打率のようなものである。そこでの打率はその選手が自分以外の余計な要素の影響を受けることなく自らの力（真の打率）を表したものと考えられる。もちろんそんなことは不可能だが、もう少し一般的に言えば条件をならしたときに期待される働きの水準であり、選手ごとにそれぞれ異なる力量を持っている（真の能力のようなものが存在する）ということについて異論のある方はいないと思う。
「運による変動」は偶然が結果に影響する法則性のない誤差である。正確に作られたコインを100回投げたとして、表がちょうど50回出るとは限らないが、このときの50回からのズレが運による変動にあたる。野球の世界で言っても例えばイチローが特に不調でもなく苦手投手が相手でもないのにヒットが打てないということはありえるが、以降にも影響がなく法則性がないならそれは結局運ということになる（実質的にそう扱って問題はないと思われる）。普段打率が.250に満たない選手がその日にヒットを打っていたとしても、それだけをもってしてその選手の能力がイチローより上だと判断するのは危険なことである。この誤差の幅はサンプルサイズ（すなわち打撃で言えば打席数）を増やせば減らすことができる。本来.250くらいの打率を実力として持つ打者が100打数でたまたま打率3割を超えることはときどきあっても、その打者が600打数でたまたま3割を超える可能性は非常に低い。
「バイアス」はその選手の能力以外の要素が結果に偏りを与える法則性のあるタイプの誤差であり、前回からの説明で言えば「筋違いさ」のひとつでもある。例えば広い球場を本拠地にプレーする選手の成績には、本塁打が（環境を他の選手と同一とした場合の）本来の能力の分よりも低めに出るバイアスがかかるはずである。これは運による変動と異なりサンプルサイズを大きくしても取り除かれない。
3.結果と貢献と能力
上記のような図式を念頭において考えると、混乱を招きやすい結果・貢献・能力といった言葉もわかりやすく整理することができるのではないだろうか。
まずあらゆる結果には程度の差はあれ運もバイアスもついてまわっている。バイアスが大きければそれは評価としては筋違いなものになり、適切ではない。従って、数字の取捨選択や補正によってバイアスを避ける必要がある。具体的には、打者を評価するときに前の打者や後続の働きは考慮しないとか、球場の要因に差がある場合にはそれを数値化し成績を補正するといったことである。
そうしてバイアスが除去されて残ったのは「能力＋運」だが、これは何だろうか。筆者としては、これを貢献と呼んでもいいのではないかと思っている。例えば通算ではパっとしない成績の投手がある一年だけローテーションに入り素晴らしい成績を残したとする。そしてそれ以降またさえない成績に戻ったとするとこれは偶然によるところが大きいと考えるのが妥当だが、それでも（バイアスは除去したことになっているので）その投手個人の働きによって成果を残したことは確かである。誰かに代わりに投げてもらったわけではないし、能力以上の働きだろうが何だろうがチームは実際にその働きによって利益を得たはずである。となれば、これが事後の評価で重要となる「結果的な貢献」なのではないか。実際、セイバーメトリクスで各選手の成果を評価するOPSやwOBA、WARなどの指標はおおむねこの分類に属すると考えられる。選手の働きに関係のない要素で評価することは徹底的に避けるし成果の定量的評価にはこだわるが、過去にどうだったか、これからどうなるかなどということは気にしないからである。
最後に、バイアスを除去した、すなわち筋違いでない評価項目・方法による数字を積み重ねていくと運による変動も減り、最後には能力だけが残る。しかし実際にプロ野球で何年ものサンプルを集めていると、その間に選手の能力が変化してしまう。現実的には3年や5年程度のデータから「この選手はこのぐらいの能力だろう」とある程度の幅を持ちつつ推定することになるだろう。実質的にプロジェクションと呼ばれる成績予測は運に対して中立的に選手のパフォーマンスを予測するため、能力を見積もることに等しい。
結局のところ一般的な原則として、数値によって選手の能力を評価する場合においては「数字の選定・補正によってバイアスを排除する」ことと「サンプルサイズの確保によって運による変動を排除する」というふたつのことが重要だとわかる。
4.重要なのは何か
ここまでで、結果としての指標が何を表しているのか、それにどう対処すべきかについての整理を行った。最後に、年俸の査定などの場で使えるのはどのような評価であるかについて考えてみる。筆者としては、これはここで言う貢献にあたるものではないかと考えている。
バイアスの大きい指標はそもそも選手の評価とするには筋違いだから論外として、選手の持つ真の能力も実はチームの成果を評価する上で本質的ではない。なぜなら真の能力が高かろうと低かろうと、チームにとって重要なのは実際に高い成果が達成されたかどうかだからである（この点において冒頭から検討している意見の「結果が重要だ」という点は正しいのであるが、それが筋違いさを覆い隠す説明であるかどうかで正当性が分かれることは繰り返し述べた通りである。言い換えれば「結果が重要」なのは漠然とした一般論としてはまったく正しいために議論がわかりにくくなるともいえる）。いくらか運の要素を含むにしろその選手によって実際に達成された働き。この貢献が事後的な評価には有用だろうし、実際にセイバーメトリクスの指標の多くは実質的にこのことを評価している。
ここまで述べたことが指標を扱う上での唯一の考え方だと言うつもりはないし、用語の使い方もより適切なものがあるかもしれない。また実際のところ、どのような計算であれば能力を表しているといえるとか貢献はこうやって求めるとか言ったはっきりした方法はない。あらゆる数字はグラデーションを持ってさまざまな要素を表しており、それについてなんとか解釈をしていくというのが数字を扱うときに課せられる仕事である。
前回（「指標は何を評価するのか（Part 1）」）は、選手にとって筋違いな評価を「結果的に事実だから」という意味のない説明で使用することの問題について述べた。今回も前回と同じ問題意識に立ち、さらに「重要なのは能力の評価であるか、それとも結果の評価であるか」といった議論に対する見解を述べたい。
そもそも、OPSなどの計算の元となる安打や四球といった記録も事実であり結果である。すべての成績は事実の記録であると言っていい。だとすれば、「能力の評価か、それとも結果の評価か」というような問いの立て方は根本的に「ズレて」いる面がある。結果と能力というふたつは、対比させるものというよりはむしろ重層的な関係にある。すべては結果だが、その上で選手の働きと筋道としてつながっていて能力の評価に役立てることができるものとそうでないものがあるということである。
打席における安打・四球・アウトなどの結果は、いくらか外部からの影響は受けるにしろ打者個人の働きによって決定されるものである。極端な話、どんな強打者でも無走者から満塁ホームランは打てないのに対しホームランそれ自体は勝負を避けられなければ打てる可能性は与えられている。そして長期的には能力の高い打者ほど安打が多かったり本塁打が多かったりするだろうから、それらを評価に用いることに筋違いさは少なく、能力を推し量るには打点などより「マシ」なものさしになると考えられる。こうすれば完ぺきというやり方はないが、マシな代替案があればそれは有意義なことではないだろうか。
とはいえやはり結果であることは間違いないから、それが直ちに能力を表すのかと言えばそうではない。能力とは直接数値で計測されることがなく目に見えないものである。
2.結果を構成する要素
観測されたあらゆる結果（安打や四球や盗塁など）とその選手が持つ真の能力とがどういう関係にあるかは、データ分析・統計の世界では以下のように表現することができる。
観測された結果＝真の能力＋運による変動＋バイアス
つまり結果には確かに能力の要素が含まれているのだが、そこには運やバイアス（偏り）が混じっていて、それらの影響で結果から直接的に能力を判断することはできないようになっている。
ひとまず内容を明確にするためそれぞれの構成要素について説明をする。まず「真の能力」だが、これは特定の選手をその選手が持つ本来のコンディションで固定し、対戦相手や球場などの要素も一般的という偏りのない「真空状態」に閉じ込めることができたとして、そこで100万回打席にたった場合の打率のようなものである。そこでの打率はその選手が自分以外の余計な要素の影響を受けることなく自らの力（真の打率）を表したものと考えられる。もちろんそんなことは不可能だが、もう少し一般的に言えば条件をならしたときに期待される働きの水準であり、選手ごとにそれぞれ異なる力量を持っている（真の能力のようなものが存在する）ということについて異論のある方はいないと思う。
「運による変動」は偶然が結果に影響する法則性のない誤差である。正確に作られたコインを100回投げたとして、表がちょうど50回出るとは限らないが、このときの50回からのズレが運による変動にあたる。野球の世界で言っても例えばイチローが特に不調でもなく苦手投手が相手でもないのにヒットが打てないということはありえるが、以降にも影響がなく法則性がないならそれは結局運ということになる（実質的にそう扱って問題はないと思われる）。普段打率が.250に満たない選手がその日にヒットを打っていたとしても、それだけをもってしてその選手の能力がイチローより上だと判断するのは危険なことである。この誤差の幅はサンプルサイズ（すなわち打撃で言えば打席数）を増やせば減らすことができる。本来.250くらいの打率を実力として持つ打者が100打数でたまたま打率3割を超えることはときどきあっても、その打者が600打数でたまたま3割を超える可能性は非常に低い。
「バイアス」はその選手の能力以外の要素が結果に偏りを与える法則性のあるタイプの誤差であり、前回からの説明で言えば「筋違いさ」のひとつでもある。例えば広い球場を本拠地にプレーする選手の成績には、本塁打が（環境を他の選手と同一とした場合の）本来の能力の分よりも低めに出るバイアスがかかるはずである。これは運による変動と異なりサンプルサイズを大きくしても取り除かれない。
3.結果と貢献と能力
上記のような図式を念頭において考えると、混乱を招きやすい結果・貢献・能力といった言葉もわかりやすく整理することができるのではないだろうか。
まずあらゆる結果には程度の差はあれ運もバイアスもついてまわっている。バイアスが大きければそれは評価としては筋違いなものになり、適切ではない。従って、数字の取捨選択や補正によってバイアスを避ける必要がある。具体的には、打者を評価するときに前の打者や後続の働きは考慮しないとか、球場の要因に差がある場合にはそれを数値化し成績を補正するといったことである。
そうしてバイアスが除去されて残ったのは「能力＋運」だが、これは何だろうか。筆者としては、これを貢献と呼んでもいいのではないかと思っている。例えば通算ではパっとしない成績の投手がある一年だけローテーションに入り素晴らしい成績を残したとする。そしてそれ以降またさえない成績に戻ったとするとこれは偶然によるところが大きいと考えるのが妥当だが、それでも（バイアスは除去したことになっているので）その投手個人の働きによって成果を残したことは確かである。誰かに代わりに投げてもらったわけではないし、能力以上の働きだろうが何だろうがチームは実際にその働きによって利益を得たはずである。となれば、これが事後の評価で重要となる「結果的な貢献」なのではないか。実際、セイバーメトリクスで各選手の成果を評価するOPSやwOBA、WARなどの指標はおおむねこの分類に属すると考えられる。選手の働きに関係のない要素で評価することは徹底的に避けるし成果の定量的評価にはこだわるが、過去にどうだったか、これからどうなるかなどということは気にしないからである。
最後に、バイアスを除去した、すなわち筋違いでない評価項目・方法による数字を積み重ねていくと運による変動も減り、最後には能力だけが残る。しかし実際にプロ野球で何年ものサンプルを集めていると、その間に選手の能力が変化してしまう。現実的には3年や5年程度のデータから「この選手はこのぐらいの能力だろう」とある程度の幅を持ちつつ推定することになるだろう。実質的にプロジェクションと呼ばれる成績予測は運に対して中立的に選手のパフォーマンスを予測するため、能力を見積もることに等しい。
結局のところ一般的な原則として、数値によって選手の能力を評価する場合においては「数字の選定・補正によってバイアスを排除する」ことと「サンプルサイズの確保によって運による変動を排除する」というふたつのことが重要だとわかる。
4.重要なのは何か
ここまでで、結果としての指標が何を表しているのか、それにどう対処すべきかについての整理を行った。最後に、年俸の査定などの場で使えるのはどのような評価であるかについて考えてみる。筆者としては、これはここで言う貢献にあたるものではないかと考えている。
バイアスの大きい指標はそもそも選手の評価とするには筋違いだから論外として、選手の持つ真の能力も実はチームの成果を評価する上で本質的ではない。なぜなら真の能力が高かろうと低かろうと、チームにとって重要なのは実際に高い成果が達成されたかどうかだからである（この点において冒頭から検討している意見の「結果が重要だ」という点は正しいのであるが、それが筋違いさを覆い隠す説明であるかどうかで正当性が分かれることは繰り返し述べた通りである。言い換えれば「結果が重要」なのは漠然とした一般論としてはまったく正しいために議論がわかりにくくなるともいえる）。いくらか運の要素を含むにしろその選手によって実際に達成された働き。この貢献が事後的な評価には有用だろうし、実際にセイバーメトリクスの指標の多くは実質的にこのことを評価している。
ここまで述べたことが指標を扱う上での唯一の考え方だと言うつもりはないし、用語の使い方もより適切なものがあるかもしれない。また実際のところ、どのような計算であれば能力を表しているといえるとか貢献はこうやって求めるとか言ったはっきりした方法はない。あらゆる数字はグラデーションを持ってさまざまな要素を表しており、それについてなんとか解釈をしていくというのが数字を扱うときに課せられる仕事である。
Baseball Lab「Archives」とは？
Baseball Lab「Archives」では2010～2011年にかけてラボ内で行われた「セイバーメトリクス」のコンテンツを公開しております。
野球を客観視した独自の論評、分析、および研究を特徴として、野球に関するさまざまな考察をしています。
野球を客観視した独自の論評、分析、および研究を特徴として、野球に関するさまざまな考察をしています。
月別著者コラム
最新コラムコメント
|
|
|
|
|
コメント