Advanced Stats, Alltimers, NBA

Real Plus-Minus

Wie funktioniert die neue Plus-Minus-Statistik von ESPN?

Wie funktioniert die neue Plus-Minus-Statistik von ESPN?

Player Efficiency Rating (PER), Wins Above Replacement Player (WARP), Win Shares (WS) und Wins Produced (WP). Diese Modelle behaupten, den spielerischen Wert eines NBA-Basketballers mehr oder weniger mit nur einer Zahl erfassen zu können. Unter der Flagge des Sportmedien-Giganten ESPN stieß zu diesem breiten Angebot bekannter Metriken in der letzten Saison  mit Real Plus/Minus (RPM) ein weiteres Modell, welches den offensiven und defensiven Einfluss eines Spielers ausweisen soll. Die Reaktion der Leserschaft auf dieses neue Spielzeug war geteilt, auch weil ESPN in der Einführungsphase wichtige Details außen vor ließ und kaum über Kontext und Nutzen der Methode aufklärte.
Ja, Real Plus/Minus ist eine Black Box, die sich nicht so einfach aufschlüsseln lässt wie die üblichen Metriken und Formeln, die auf Boxscore-Daten basieren. Wir wollen einige Facetten ihres Aufbaus erläutern und klären, wie die Metrik eingesetzt werden soll und wie die von ihr ermittelten Werte zu kontextualisieren sind.

Real Plus-Minus ist keine Innovation von ESPN. Schon gar keine, die bestimmte Spieler medial pushen soll, um dem aktuellen Status Quo ihrer Berichterstattung gerecht zu werden, wie einige Verschwörungstheoretiker deuteten. RPM ist ein sehr naher, massenmarktfreundlicherer Ableger der Metrik RAPM (Regularized Adjusted Plus-Minus), dessen Werte bereits seit Jahren einsehbar sind. Die von ESPN gewählte „Verpackung“ ist keine glückliche, da sie weder auf die mathematische Komplexität der Methodik, noch auf spielspezifische Feinheiten eingeht, welche die Werte beeinflussen. Es ist verständlich, dass ESPN  für den Zweck der breiten Popularisierung NBA-Fans nicht mit komplizierter Mathematik überladen will. Doch so werden dem NBA-Fan nackte Zahlen in einer Rangliste an den Kopf geworfen, ohne dass dieser weiß, was damit anzufangen ist. Dass sich unter die Reaktionen Hohn und Spott mischte, weil etwa als marginal erachtete Rollenspieler wie Nick Collison und Matt Bonner im oberen Viertel rangierten, ist da nicht verwunderlich.

Vorweg sei gesagt, dass es ein erweitertes mathematisches Verständnis braucht, um RAPM/RPM vollständig zu durchschauen. Dieses können auch wir nicht liefern. Und nein, wir reden hier nicht von Mathe-Leistungskurs. Denoch ist es möglich, den Output dieser „Black Box“ greifbarer zu machen, wenn man einige der Zutaten und Eigenarten kennt. Dieser Artikel soll helfen, die Werte zu kontextualisieren. Darüber hinaus soll er ermöglichen, bei Werten, die merkwürdig erscheinen und dem eigenen Verständnis von Spielern nicht entsprechen, richtige Fragen zu stellen bzw. Schlussfolgerungen zu ziehen. Ein kurzer Abriss über die Evolution der Plus-Minus-Modelle ist für das Verständnis ihres modernen, nun im Mainstream angekommenen Abkömmlings hilfreich.

+/- (Plus-Minus)

Das Plus/Minus-Konzept hat ihren Ursprung im Eishockey. Bereits in den 60er Jahren versuchte man den Einfluss eines Spielers zu messen, indem man die Punktedifferenziale summierte, die während seiner Einsatzzeiten erzielt wurden. Jahrzehnte später fand die Statistik unter einigen NBA-Teams in ähnlicher Form Einzug in der Basketballwelt. Das schien sinnvoll zu sein, da Auswechselungen im Eishockey und Basketball ähnlich gehandhabt werden. In beiden Sportarten werden Spieler mehrere Male ein- und ausgewechselt und spielen in Lineups mit oft wechselnden Akteuren. Auch in der Sneakersportart weist +/- das Punktedifferenzial aus, welches während der Einsatzzeiten erzielt wird.

Daraus folgt auch das größte Problem des traditionellen Plus/Minus: Das Punktedifferenzial ergibt sich aus all den Lineups, in denen ein Spieler auftaucht. Dessen tatsächlicher individuelle Einfluss auf die eigene Plus-Minus-Wertung ist daraus nicht auszumachen. Die Aussagen, die man über Spieler in Relation zum gesamten Spielerpool der Liga treffen kann, werden stark verzerrt, denn…

  • …Spieler treten meist “nur” mit etwa 10-15 weiteren Spielern in Lineup-Kombinationen auf (aus dem Pool von 360+ Spielern einer Saison).
  • …Spieler treten häufig und minutenreich in Grüppchen auf.
  • …manche Spieler stehen gemeinsam im Kader, jedoch nie gemeinsam auf dem Feld.
  • …die Stichprobengrößen der Lineups unterscheiden sich stark.
  • …es ist nicht ersichtlich, wie stark die gegnerische Lineup und der direkte Gegenspieler ist.
  • …es ist nicht ersichtlich, wie sich eine Lineup offensiv oder defensiv präsentiert.

Die Plus/Minus-Wertung eines schwächeren Spielers profitiert zum Beispiel, wenn er häufig in Lineups mit stärkeren Mitspielern spielt. Genauso kann die Wertung von starken Spielern leiden, wenn sie etwa in Rebuild-Teams ständig mit unterdurchschnittlichen Spielern auf dem Feld stehen, deren Lineups oft mit hoher Punktedifferenz verlieren.

APM (Adjusted Plus/Minus)

Der Wissenschaftler Jeff Sagarin wendet seine Expertise schon seit vielen Jahren auf verschiedenste Bereiche des Basketballs an und entwickelte unter Anderem ein Ranking-Tool, welches heute noch für das Seeding des NCAA-Turniers verwendet wird. Mit der Hilfe seines Kollegen Wayne Winston machte er sich daran, das Plus/Minus-Modell zu verfeinern und einige der genannten Probleme zu lösen.

In ihrer Version werden alle Lineup-Paare (insgesamt ca. 60.000 Lineups), die sich in den 1230 NBA-Spielen einer Saison gegenüberstehen, als Funktionen dargestellt, normiert auf 100 Ballbesitze. Als bekannte Größen sind dabei Faktoren für den Heimvorteil und das erzielte Punktedifferenzial der jeweiligen Line-up-Duelle angegeben. Schlägt zum Beispiel eine Lineup A eine Lineup B über eine Spieldauer von 10 Possessions mit einer Punktedifferenz von 5 Punkten, beträgt das Punktedifferenzial 50. Eine Funktion sieht dann so aus:

Punktedifferenzial = HomeCourtAdvantage + X1 + X2 + X3 + X4 + X5 – Y1 – Y2 – Y3 – Y4 – Y5

Die Variablen X1 – Y5 stehen für die Spieler der jeweiligen Lineups. Durch Regressionsanalyse werden für diese Variablen Werte ermittelt. Kurz gesagt: APM versucht die gewöhnlichen Plus-Minus-Werte in einen Kontext aus Mit- und Gegenspieler zu legen.

APM entpuppte sich aufgrund von zu geringen Stichprobengrößen, speziell der Kollinearität jedoch als unzuverlässig. Kollinearität bedeutet: Treten einige Spieler ständig in Grüppchen auf und spielen nur wenige Minuten getrennt voneinander, ist es nicht möglich, die gemeinsam erzielten Ergebnisse auf Individuen aufzutrennen.

RAPM/xRAPM (Regularized Adjusted Plus/Minus) & RPM (Real Plus/Minus)

Real Plus/Minus basiert auf der Metrik RAPM (Regularized Adjusted Plus-Minus), entwickelt von Steve Ilardi. Verfeinert und aktualisiert wurde und wird RAPM bis heute von Jeremias Engelmann, einem deutschen Wissenschaftler, dessen Arbeit in den Analytics-Kreisen der NBA bekannt ist. Engelmann präsentierte bereits Forschungspapiere bei der SLOAN Conference und arbeitete zuletzt für die Phoenix Suns. Hier sollen nun einige Punkte angesprochen werden, die bei der Nutzung von RAPM bzw. xRAPM/RPM helfen sollen:

Unterschiede zwischen RAPM, xRAPM und RPM

RAPM verwendet wie +/- und APM lediglich Play-by-Play-Daten. Boxscore-Elemente fließen nicht ein, was sie von Box-Score-Summierern wie PER, WARP, WP und WS unterscheidet. xRAPM inkorporiert neben den Play-by-Play-Daten zusätzlich Daten aus dem Box Score, was laut Engelmann die Vorhersagekraft steigert. Diese Boxscore-Elemente werden nicht willkürlich festgelegt, sondern anhand von Regressionen nach der Wichtigkeit für den Teamerfolg bzw. der Korrelation zu gewonnenen Spielen ermittelt. Ein gängiger Kritikpunkt ist, dass dadurch bestimmte Spielertypen über- bzw. unterschätzt werden können: Starke Defensivrebounder oder Balldiebe in der Defensive etwa. RPM orientiert sich laut den Aussagen Engelmanns stark an xRAPM und beinhaltet ebenfalls Box Score-Daten.

Zutaten und Wissenswertes

Vorjahres-Prior und die Einschätzung von Spielern, die sehr wenige Minuten spielen

Bei Plus/Minus und APM ergeben sich durch sehr kleine Stichprobengrößen Probleme – sei es, weil Spieler kaum zum Einsatz kommen oder selten in verschiedenen Lineups agieren. Sie könnten zum Beispiel gerade mal 120 Minuten in der Garbage Time auf dem Feld gestanden haben und dabei in ihren Lineups untalentierte und unmotivierte Reservetrupps der Gegner dominiert haben. Diese Probleme löst die Nutzung verschiedener Methoden zur Stabilisierung der Werte. Dazu gehört die Nutzung eines Vorjahres-Prior. RAPM mit Vorjahres-Prior bedeutet, dass die RAPM-Werte der aktuellen Saison Teils auf den Werten vorangegangener Spielzeiten basiert. Dies hilft, die Vorhersagekraft zu verbessern, indem der Stammwert eines Spieler definiert wird. Dieser wird durch erbrachte Leistung der aktuellen Saison, sei sie besser, schlechter oder ähnlich, korrigiert und angeglichen. Die Gewichtung der aktuellen Saison ist durch die Stichprobengröße bestimmt. In bestimmten Fällen kann auch dies zu Verzerrungen führen, etwa bei Derrick Rose und Kobe Bryant. Diese beiden Spieler sind als Superstars bekannt und erzielten in ihren gesunden Jahren auch sehr hohe RAPM-Werte. Ihre RAPM- bzw. RPM-Werte in der Saison 13/14 sind ebenfalls sehr hoch, obwohl sie aufgrund ihrer langen Verletzungspause nur eine niedrige Leistungsfähigkeit erreichten und ihren Teams spielerisch eher schadeten. Aufgrund der wenigen Ballbesitze in der Saison 13/14 und der hohen Stichprobengröße der vorherigen Jahre konnten die ehemals sehr guten RPM-Werte nicht auf das tatsächlich erbrachte, aktuelle Niveau korrigiert werden. Um dieses Problem zu umgehen, drücken zum Beispiel andere RAPM-Varianten den Prior/Stammwert von Spielern, die lange außer Gefecht waren und noch nicht bereit sind, viele Minuten zu spielen, künstlich herunter. 

Alterskurven

off_infl

Alterskurve für die Offensive

def_infl

Alterskurve für die Defensive

Einen menschlichen Kontext, den RAPM zu integrieren versucht, ist, die Altersentwicklung und ihre Auswirkung auf Athletik und Erfahrung. Hierfür werden Alterskurven für die Offensive und die Defensive genutzt. Dafür wird in einer Regressionsanalyse ermittelt, wie die Leistungsfähigkeit von Lebensjahr zu Lebensjahr steigt bzw. abnimmt. Diese sollen Veränderungen in der körperlichen Entwicklung und Erfahrung sowie den Abfall der Athletik simulieren, wobei es natürlich auch hier Ausnahmen geben kann. Aufgrund von schweren Verletzungen knicken die Kurven einiger Spieler früher ab, während die von speziellen Genies aufgrund ihres Arsenals hinten heraus flacher verlaufen können. Die Alterskurve wird bei xRAPM genutzt, um den Prior anzupassen und mitsamt des Vorjahreswertes den Stammwert für die aktuelle Saison zu ermitteln.

Rookie-Bias

Die meisten RAPM-Varianten manipulieren auch den Stammwert für Frischlinge. Die Idee hinter dem Rookie-Bias ist, dass diese anfänglich ohne Erfahrung und mit körperlichen Defiziten generell dem eigenen Team schaden, wenn sie spielen. Da es für sie keine Vorjahres-Prior gibt, werden ihre Prior am Anfang des Jahres offensiv wie defensiv negativ, normalerweise zwischen -1,2 (wie bei der RAPM-Variante von talkingpracticeblog.com) und -2,0 angesetzt.

Größen-Bias

xRAPM/RPM besitzt dazu einen sogenannten „Bias“ für Größe. RPM teilt z.B. einem Spieler mit 2,05 m Körpergröße einen größeren defensiven Einfluss zu als einem, der 1,95 m misst. Es sollte also nicht überraschen, dass sich unter den 20 Spielern mit den höchsten defensiven RPM-Werten nur wenige Guards oder Flügel finden. Durch den Boxscore-Teil des Priors findet darüber hinaus mit Sicherheit durch DRB% eine weitere Verschiebung der Defensivwerte statt, da die meisten erfolgreichen Defensivpossessions mit einem Defensivrebound enden. Hier wird gute Verteidigung direkt dem Defensivrebounder zugeschrieben, da der Boxscore an Defensivaktionen sonst dünn ist und nur Steals sowie Blocks protokolliert.

Gleichzeitig hebt es die Leistung von Spielern wie Andre Iguodala und Ricky Rubio hervor, die zwar für viele als gute bis elitäre Verteidiger gelten, jedoch nur bei wenigen als DPOY- und All-Defensive 2nd Team-Kandidaten gelten. 

Die Rolle ist Schlüssel, oder: Welche Schlüsselrolle für welchen Spieler?

Viele Reaktionen auf RPM stören sich an der Tatsache, dass Spieler, die als marginale Rollenspieler erachtet werden, zum Teil vor Superstars stehen, sortiert man die Liste nach dem RPM-Wert. RPM will uns damit nicht sagen, dass Nick Collison ein besserer Spieler als Kevin Love ist. Sie ist ausdrücklich keine Rangliste, die zeigt, wer talentierter ist oder mehr kann. Im Gegensatz zu den einfacheren Plus-Minus Modellen versucht RAPM/RPM, den Kontext eines Spielers in die Wertung einfließen zu lassen. Den wahren spielerischen Wert eines Spielers zu erkennen, ist nicht nur kompliziert, weil er mit neun weiteren auf dem Feld steht. Die Spieler haben auch völlig unterschiedliche Stärken und Schwächen, und füllen unterschiedliche Rollen aus. Nick Collison und Matt Bonner mögen in einigen Facetten sogar besser als Kevin Love sein. RPM hilft uns zu zeigen, wie gut sie diese zum Wohle des Teams einsetzen können. Wenn Collison und Bonner spielen, scheinen sie einen hervorragenden und wahrscheinlich unterschätzten Job zu machen. Ihre RPM-Wertung mag besser sein als die von Kevin Love. Nimmt man auch Rolle und gespielte Minuten in die Betrachtung auf, sollte klar sein, dass Love der deutlich bessere und für den Teamerfolg bedeutendere Spieler ist. Würde man Collison für Love traden und von Collison verlangen, 1:1 die Rolle von Love mit der gleichen Minutenanzahl einzunehmen, würde seine RPM-Wertung in den Keller fallen. Die Rolle eines Spielers sollte beim Durchschauen der RPM-Liste immer vergegenwärtigt werden. RPM zeigt uns nicht die besten Spieler, sondern eher, ob es Coaches gelingt, Spieler ihren Stärken entsprechend einzusetzen, und ob Spieler dies für den Teamerfolg nutzen können.

Wozu Real Plus/Minus?

Jedes Jahr spielen über 360 Basketballer 1230 NBA-Spiele, die über 59040 Minuten ausfüllen. Würde man alle Spiele am Stück schauen, würde man 41 Tage vor dem Monitor sitzen. Selbst für den größten NBA-Junkie ist das zu viel Material, um sich ein gesundes Urteil über offensive und defensive Leistungsfähigkeit aller Spieler zu machen, ungetrübt von “Hot Streaks” und “Slumps”. Statistiken wie USG% gepaart mit TS% und ORTG, REB% oder STL% helfen, Teilkompetenzen einzuschätzen.

Viele sehen R(A)PM als mysteriöse Box, deren Werte eine Sackgasse ist. Dieser “Blackbox”-Aspekt muss nicht unbedingt als Schwäche gesehen werden, denn R(A)PM lädt zum Nachdenken an. Priors und Bias können die Wahrnehmung von Spielern verzerren, jedoch sind das nur wenige Ausnahmen, die man bei Kenntnis der Prior und Bias ausmachen kann. Da RPM eben nicht sagt, wie “gut” bzw. “schlecht” ein Spieler generell ist, sondern, wie gut er in einem System funktioniert, kann es als Ausgangspunkt für Überlegungen für Gründe dieser Ergebnisse dienen.
Problematisch wird es – wie bei jeder Einzahlenmetrik – mit dem Aufschlüsseln der Zusammensetzung der Leistung eines Spielers. Auch wenn Nick Collison durch das RPM einen positiven offensiven und defensiven Einfluss bescheinigt bekommt, kann das Rating uns nicht sagen, was er besonders gut macht oder welche Aktionen er besonders häufig und gut nutzt, um andere kleinere Schwächen in seinem Spiel zu überdecken.

Wie jeder Metrik sollten wir Real Plus-Minus ebenso wenig unser volles Vertrauen schenken wie unserem Auge und Basketballsachverstand. Es wäre jedoch ein Fehler, RPM abzulehnen, nur weil uns einige Ergebnisse nicht gefallen oder als unsinnig erscheinen. Ist es wirklich unsinnig, dass Nick Collison in seinen limitierten Minuten einen außerordentlich guten Job macht? Oder dass Ricky Rubio ein überdurchschnittlicher Verteidiger ist, der trotz peinlicher Scoringschwäche einen positiven Einfluss auf das Spiel der Timberwolves hat, da er sein offensives Spiel auf seine Stärken limitiert? RPM erzielte in Sachen Vorhersagekraft und Korrelation mit tatsächlicher Win% sehr gute Ergebnisse und hat als ein weiteres Analysewerkzeug seine Berechtigung. Auch wenn nur ein sehr kleiner Teil der NBA-Fans die komplexe Mathematik hinter der Metrik versteht, kann sie zumindest im Wechselspiel mit dem „eye test“ festgefahrene Meinungen über Spieler herausfordern und uns zu kritischeren Beobachtern machen.


Ein besonderer Dank gilt User “mysticbb” aus dem RealGM Forum, der für mathematische Fragen zur Verfügung stand. Ohne seine Hilfe wäre dieser Artikel nicht möglich gewesen.

Datenbanken mit RAPM-Modellen und Varianten:

ESPN: Real Plus/Minus
Engelmann: RAPM & xRAPM
GotBuckets: RAPM
talkingpracticeblog: Individual Player Value

Zum weiteren Verständnis sind folgende Links hilfreich:

Diskussion über (x)RAPM/RPM auf Deutsch mit mystic (Deutsch).
Diskussion über xRAPM mit Jeremias Engelmann (Englisch).
Ein Überblick zu verschiedenen Plus/Minus-Varianten. (Englisch).

  •  
  •  
  •  
  •  
  •  

Schreibe einen Kommentar