In-Sample bezeichnet den Teil der historischen Daten, auf dem eine Strategie entwickelt, trainiert und optimiert wird. Die Regeln werden bewusst so gebaut, dass sie zu diesen Daten passen. Die Ergebnisse hier sind deshalb immer künstlich überhöht. Ein Regelwerk, das In-Sample gut abschneidet, hat nur gezeigt, dass es die gezeigte Vergangenheit beschreiben kann, nicht dass es die unbekannte Zukunft vorhersagt.

Nüchtern betrachtet: Die In-Sample-Performance ist die am wenigsten aussagekräftige Kennzahl der quantitativen Analyse und zugleich die, mit der am häufigsten ein Kapitaleinsatz begründet wird. Jede Optimierung verbessert die In-Sample-Performance per Definition. Entscheidend ist nie, wie gut das Regelwerk auf den Trainingsdaten aussieht, sondern wie viel dieser Performance den Kontakt mit Daten übersteht, die es nie sehen durfte.

Out-of-Sample bezeichnet einen Teil der historischen Daten, der bewusst aus der Entwicklung einer Strategie herausgehalten wird. Er liefert den ersten ehrlichen Test, ob der In-Sample-Vorteil eine echte strukturelle Markteigenschaft widerspiegelt oder ein statistischer Zufall des Trainingszeitraums ist.

Nüchtern betrachtet: Der OOS-Test ist die Mindestschwelle an Glaubwürdigkeit für jede Strategie, die mit echtem Kapital eingesetzt werden soll. Das OOS-Fenster muss während der Entwicklung tatsächlich unberührt bleiben. Sobald es herangezogen wird, um den Fortschritt zu prüfen, wird es zu verunreinigten In-Sample-Daten. Ein verunreinigtes OOS-Fenster ist schlimmer als gar keines: Es erzeugt falsche Zuversicht ohne echte Prüfung.

Die Walk-Forward-Analyse schiebt die Fenster für Optimierung und Test wiederholt durch die Zeit und bildet so den realen Ablauf einer laufenden Strategie nach. In jedem Durchlauf wird das Modell auf einem zurückliegenden Fenster optimiert und dann auf dem unmittelbar folgenden, unbekannten Zeitraum getestet. Die OOS-Ergebnisse aller Durchläufe werden zu einer Gesamthistorie zusammengeführt.

Nüchtern betrachtet: Die Walk-Forward-Analyse zeigt, wie schnell der Vorteil einer Strategie in wechselnden Marktumfeldern nachlässt. Braucht eine Strategie häufige Neuoptimierung, um tragfähig zu bleiben, ist ihr Vorteil flüchtig: an bestimmte historische Konstellationen gebunden statt an eine dauerhafte Marktstruktur. Eine gleichmäßige Walk-Forward-Performance ist der stärkste verfügbare Hinweis darauf, dass ein Vorteil echt ist.

Die Data-Snooping-Verzerrung entsteht, wenn auf demselben Datensatz so viele Varianten einer Strategie getestet werden, dass ein scheinbar erfolgreiches Ergebnis allein durch Zufall sicher ist. Je mehr Kombinationen getestet werden, desto sicherer sieht eine davon profitabel aus, nicht weil sie einen Vorteil hat, sondern weil die Zahl der Versuche einen Fehltreffer unvermeidlich macht.

Nüchtern betrachtet: Der OOS-Test ist der wichtigste Schutz gegen Data Snooping. Wer eine Strategie auf Daten bewertet, die während der Entwicklung nie berührt wurden, kann dort nicht gesucht haben. Das Ergebnis ist tatsächlich verdeckt. Deshalb sind OOS-Daten mit äußerster Sorgfalt zu behandeln: einmal verwenden, nur für die abschließende Prüfung, und danach in keiner Phase der Entwicklung wieder.

Die IS/OOS-Übereinstimmung beschreibt, wie stabil die Kennzahlen einer Strategie, also Rendite, Drawdown, Trefferquote und risikobereinigte Kennzahlen, zwischen dem In-Sample-Trainingszeitraum und dem Out-of-Sample-Prüfzeitraum bleiben. Hohe Übereinstimmung spricht für einen strukturellen Vorteil. Eine große Lücke spricht für Überanpassung.

Nüchtern betrachtet: Eine Strategie mit mittelmäßiger IS-Performance und gleichmäßiger OOS-Performance ist wertvoller als eine mit glänzender IS- und eingebrochener OOS-Performance. Ziel ist nicht, die IS-Performance zu maximieren, sondern Strategien zu finden, bei denen IS und OOS dasselbe erzählen. Nur diese Erzählung setzt sich in der Zukunft fort.

Ein Out-of-Sample-Test bewertet eine Strategie auf historischen Daten, die bewusst aus ihrer Entwicklung herausgehalten wurden. Er ist notwendig, weil jede auf einem Datensatz optimierte Strategie auf genau diesem Datensatz besser abschneidet als auf jedem anderen. Das ist eine mathematische Zwangsläufigkeit und kein Zeichen von Können. Ohne OOS-Test messen Sie die Qualität Ihres Optimierungsprozesses, nicht die Qualität Ihrer Markthypothese. Das OOS-Ergebnis ist die einzige Kennzahl, die nicht durch die Konstruktion der Strategie selbst geformt wurde.

Als übliche Richtschnur gelten 20–30 % der Daten für den OOS-Test und 70–80 % für die In-Sample-Entwicklung. Die passende Aufteilung hängt von der Handelsfrequenz und der Länge der verfügbaren Historie ab. Noch wichtiger: Die OOS-Daten müssen tatsächlich unberührt bleiben. Sobald sie während der Entwicklung herangezogen werden, selbst nur zur Kontrolle, ob sich die Strategie verbessert, sind sie verunreinigt. Ein verunreinigtes OOS-Fenster ist schlimmer als gar keines, weil es falsche Zuversicht ohne echte Prüfung erzeugt.

Eine Strategie, die den OOS-Test nicht besteht, hat gezeigt, dass ihr In-Sample-Vorteil nicht strukturell war. Die Backtest-Ergebnisse gingen auf Überanpassung zurück: Die Optimierung hat Regeln gefunden, die einen bestimmten historischen Zeitraum beschreiben, aber keine echte, andernorts fortbestehende Markteigenschaft erfassen. Die richtige Reaktion ist nicht, die Strategie so lange anzupassen, bis die OOS-Ergebnisse besser werden; damit erweitert man nur den Datensatz der Optimierung. Richtig ist, die zugrunde liegende Markthypothese zu überdenken und die Entwicklung mit einer klareren theoretischen Grundlage neu zu beginnen.

Nein, und jede Methodik, die künftige Ergebnisse garantieren will, sollte sofort verworfen werden. Ein OOS-Test senkt die Wahrscheinlichkeit, dass historische Ergebnisse reiner Zufall waren. Er kann aber nicht ausschließen, dass sich die Marktbedingungen so verändern, dass selbst ein strukturell solider Vorteil entfällt. Nutzen Sie OOS-Ergebnisse als einen Baustein einer risikobewussten Entscheidung über den Kapitaleinsatz, nicht als Bescheinigung künftiger Gewinne. Die Zukunft besteht immer aus unbekannten Daten, und der Markt bringt immer wieder Umfelder hervor, die kein historischer Test vollständig vorweggenommen hat.

Das Ordertune-Regelwerk hält die jüngsten Marktdaten dauerhaft aus dem Entwicklungsprozess heraus. Die Logik wird auf früheren historischen Zeiträumen aufgebaut und geprüft und anschließend als abschließender verdeckter Test am jüngsten Regime gemessen. Verhält sich die Strategie im jüngsten Zeitraum ähnlich wie im Training, mit vergleichbarem Drawdown-Profil und vergleichbarer Empfindlichkeit gegenüber dem Marktregime, besteht sie. Zeigt der jüngste Zeitraum eine wesentliche Abweichung, wird die Strategie unabhängig von der Stärke ihres Backtests verworfen. Wir bauen keine Beschreibung der Vergangenheit. Wir prüfen, ob ein Marktmechanismus echt genug ist, um fortzubestehen.