Data Mining Bias: Was ist der White's Reality Check?
Um herauszufinden, ob quantitative Trading-Strategien erfolgreich sind, kann der White's Reality Check (auch bekannt als Bootstrap Reality Check) verwendet werden. Wir wollen betrachten, was hinter dem White's Reality Check steckt und ihn hier etwas vereinfacht aufschlüsseln.
Halbert White (1959-2012) hat im Jahr 2000 die Testmethode erfunden. Die Idee dahinter: Angenommen, Sie wollen nach Mondphasen handeln. Aber Sie sind sich nicht sicher, ob Sie bei Vollmond kaufen und bei Neumond verkaufen sollen, oder umgekehrt. Sie führen also eine Reihe von Mondphasen-Backtests durch und finden heraus, dass das beste System, welches die Positionen bei jedem ersten Viertelmond eröffnet, eine jährliche Rendite von 30 % erzielt – Sie sind so begeistert und nennen die Strategie "Quarter Moon Trading". Und ist das der Beweis, dass Astrologie-Trading funktioniert? Sind die 30 % Rendite beim Quarter Moon Trading echt oder nur das Narrengold des "Data Mining Bias”?
Ein Handelssystem, das auf einem nicht existierenden Effekt beruht, hat zunächst eine statistische Gewinnerwartung von Null (abzüglich der Handelskosten). Beim Backtesting von Varianten eines solchen Systems werden Sie jedoch nicht auf Null kommen. Aufgrund statistischer Schwankungen werden einige von Ihnen eine positive und einige eine negative Rendite erzielen. Wenn Sie nun das System mit der besten Performance auswählen, wie z.B. das Handelssystem für das erste Quartal des Mondes, erhalten Sie vielleicht eine hohe Rendite und eine beeindruckende Eigenkapital-Kurve im Backtest. Jedoch ist das Testergebnis nicht unbedingt robust, vielmehr könnte es einfach nur durch die geschickte Auswahl der zufällig besten Parameter oder einer Zusammenstellung aus einem Pool beliebiger Systeme zustande gekommen sein.
Der White's Reality Check funktioniert nun wie folgt:
- Entwickeln Sie eine Strategie und führen Sie während des Entwicklungsprozesses Aufzeichnungen über alle Strategievarianten, die getestet und aufgrund ihrer Testergebnisse verworfen wurden, einschließlich aller verworfenen Algorithmen, Ideen, Methoden und Parameter. Dabei spielt es keine Rolle, ob sie durch eine menschliche Entscheidung oder durch einen Computersuch-, Trainings- oder Optimierungsprozess verworfen wurden.
- Erstellen Sie die Eigenkapitalkurven aller Strategievarianten unter Verwendung von abgeleiteten Handelsergebnissen und ohne Handelskosten. Notieren Sie den Gewinn der besten Strategie.
- Trendbereinigen Sie alle Eigenkapitalkurven, indem Sie den mittleren Ertrag pro Balken subtrahieren (nicht zu verwechseln mit dem Detrending der Handelsergebnisse!). Auf diese Weise erhalten Sie eine Reihe von Kurven mit denselben Merkmalen der getesteten Systeme, aber ohne Gewinn.
- Randomisieren Sie alle Kurven durch Bootstrap. Dies erzeugt neue Kurven aus den zufälligen Erträgen der alten Kurven. Da dieselben Balken mehrfach ausgewählt werden können, ergeben die meisten neuen Kurven nun Verluste oder Gewinne, die von Null abweichen.
- Wählen Sie aus den zufällig ausgewählten Kurven den besten Wert aus und notieren Sie seinen Gewinn.
- Wiederholen Sie die Schritte 4 und 5 ein paar 1000-mal.
- Sie haben nun eine Liste mit mehreren 1000 besten Gewinnen. Der Median M dieser Liste ist die Data-Mining-Verzerrung durch Ihren Strategieentwicklungsprozess.
- Prüfen Sie, wo der ursprünglich beste Gewinn P in der Liste erscheint. Der Prozentsatz der besten Bootstrap-Gewinne, die größer als P sind, ist der sogenannte p-Wert der besten Strategie. Sie möchten, dass der p-Wert so niedrig wie möglich ist. Wenn P besser ist als 95 % der besten Bootstrap-Gewinne, hat die beste Strategie mit 95-prozentiger Wahrscheinlichkeit einen echten Vorteil.
- P minus M minus Handelskosten ist das Ergebnis, das beim realen Handel mit der besten Strategie zu erwarten ist.
Fazit
Die Methode ist nicht ganz intuitiv, aber mathematisch äußerst solide. Dabei wird man vor eine Reihe von Herausforderungen gestellt, die es anspruchsvoll machen, den White Reality Check in der realen Strategieentwicklung einzusetzen:
Die größte Herausforderung sehen Sie bereits in Schritt 1. Während der Strategieentwicklung testet man ständig Ideen, fügt Parameter hinzu oder entfernt sie oder prüft verschiedene Vermögenswerte und Zeitrahmen. Alle verworfenen Varianten beiseite zu legen und Eigenkapitalkurven für alle Kombinationen zu erstellen, erfordert einen außerordentlich gut strukturierten Prozess. Noch schwieriger wird es bei Algorithmen des maschinellen Lernens, die Gewichtungsfaktoren optimieren und in der Regel keine verworfenen Varianten produzieren. Demgegenüber steht jedoch der riesen Vorteil, dass Sie den White Reality Check problemlos anwenden können, wenn Ihre Strategievarianten durch einen transparenten maschinellen Prozess erzeugt werden, an dem keine menschlichen Entscheidungen beteiligt sind.
Der White Reality Check neigt zu Fehlern vom Typ II. Das heißt, es kann Strategien ablehnen, obwohl sie einen Vorteil haben. Ein White Reality Check kann sehr gut feststellen, dass ein System wahrscheinlich profitabel ist, aber weniger gut feststellen, dass es wertlos ist. Ist man sich dessen bewusst, kann dieser Fehler jedoch auf ein Minimum reduziert werden. Wenn dem Pool mehr irrelevante Varianten – Systeme mit zufälligem Handel und Null-Gewinn-Erwartung – hinzugefügt werden, können in den Schritten 4 und 5 mehr positive Ergebnisse erzielt werden, was die Wahrscheinlichkeit verringert, dass Ihre ausgewählte Strategie den Test übersteht. Der disruptive Ansatz ist die Basis jedes Robustheitstests und mit unseren Softwarelösungen umsetzbar.
Herzlichst
Ihre Algopioniere
erstellt von Julia Rosen in Zusammenarbeit mit dem gesamten Team
Weitere Informationen über die 123 Invest Gruppe erhalten Sie unter www.1-2-3-invest.de
