Gemeinsame Versuche vergleichen dieselben Prognosefälle. Zusätzliche Befunde werden mit ihrem eigenen Protokoll gezeigt. MAE, MSE und OWA messen Prognosefehler – kleinere Werte sind besser.
GEMEINSAME TESTS / GLEICHE PROGNOSEFÄLLE
Modelle im
direkten Vergleich.
Wo Aufgaben und Auswertungsfälle übereinstimmen, lassen sich die eigenen Modelle gemeinsam einordnen. Der Jena-Versuch vergleicht PRISM und ATEE mit denselben Temperatur-Zielwerten und Referenzverfahren.
Jena · 24 stündliche Beobachtungsschritte voraus
PRISM Online hat in diesem vorhandenen Vergleich den niedrigsten numerischen Fehler. Gegenüber der stärksten Referenz LSTM ist der Unterschied statistisch nicht signifikant. Das getestete ATEE-Online-Profil liegt hinter den trainierten Vergleichsmodellen.
Identische 28.012 Prognosepaare aus vier Walk-forward-Blöcken. Temperatur 24 stündliche Beobachtungsschritte voraus. Ursprungszeitraum: 17.10.2013, 17:00 bis 31.12.2016, 00:00 · Quellzeit ohne bestätigte Zeitzone.
PRISM und ATEE werden hier in den gespeicherten Online-Profilen verglichen. Für AGF+ ist in diesem Jena-Protokoll noch kein Lauf dokumentiert.
Gemeinsamer Jena-Test · ausgewählte Läufe
MAE in °C · kleiner ist besser
Alle Balken beginnen bei null. PRISM und LSTM unterscheiden sich statistisch nicht signifikant. Vollständige neun Modellarme und Protokollgrenzen stehen unten.
Jena · 24 stündliche Beobachtungsschritte voraus
Jena Climate 2009–2016 · MPI für Biogeochemie. MAE in °C; MSE in °C². Kleinere Werte sind besser. 7./8. Oktober 2026 · vorhandene abgeschlossene Suite-Läufe. Bekannte Entwicklungsaufgabe, kein frischer Holdout.
| Modell | MAE · °C ↓ | MSE · °C² ↓ |
|---|---|---|
| PRISM · Online | 2,261870 | 8,290008 |
| ATEE 0.4.0.dev9 · Online-Profil | 2,482266 | 10,231164 |
| LSTM | 2,262850 | 8,383678 |
| PRISM · ohne Nachlernen im Testblock | 2,268511 | 8,322630 |
| TCN | 2,273009 | 8,405120 |
| CatBoost | 2,286689 | 8,522330 |
| LightGBM | 2,292919 | 8,569255 |
| Ridge | 2,370069 | 9,148374 |
| Persistenz | 2,567193 | 11,130953 |
- Alle dargestellten Modelle haben exakt dieselben 28.012 Testindizes; die gespeicherten Originalprognosen wurden hierfür unabhängig gegen die Zielwerte nachgerechnet.
- Jena ist in dieser Suite ausdrücklich eine Entwicklungsaufgabe. Die Testblöcke wurden bereits betrachtet; dies ist keine frische unabhängige Bestätigung.
- PRISM Online und ATEE Online lernen innerhalb eines Testblocks erst aus später verfügbaren Zielwerten. Die übrigen Referenzen werden vor jedem Block neu gefittet; PRISM ohne Nachlernen bleibt innerhalb des jeweiligen Blocks unverändert.
- PRISM versus LSTM: DM-HAC-Test auf quadratischen Fehlern, p = 0,4095. Ein nicht signifikanter Unterschied ist kein Nachweis identischer Modelle.
- Modellprofile, historische Kontextlängen und Anpassungsbudgets unterscheiden sich. Verglichen werden die konkret gespeicherten Läufe, keine optimal getunten Modellfamilien.
- Datenlücken: Bei 48 von 28.012 Zielpaaren reichen 24 Beobachtungsschritte über mehr als 24 Uhrstunden, maximal 91 Stunden. Die Lückenfälle sind für alle Modelle identisch.
- Historisch aufbereitete Daten: Eine vollständig kausale Live-Replikation der Aufbereitung wurde hier nicht geprüft. Ein einzelner Seed und bekannte Daten begrenzen die Aussage.
- Der PRISM-Wert 0,6116465 °C und der ATEE-Wert 0,6514978 °C betreffen Mehrhorizont-Prognosen auf unterschiedlich aufbereiteten Jena-Fällen. Sie gehören jeweils in ihre eigenen Benchmarktabellen und erlauben keine direkte Rangfolge zwischen den beiden Modellen.
Die Vierstunden-Ergebnisse in den Modellabschnitten haben ein anderes Raster und andere Zielpaare. Sie werden als zusätzliche Befunde gezeigt und sind keine Fortsetzung dieser Rangfolge.
01 / ZEITREIHEN · ONLINE-LEARNING · CPU
PRISM
Vergangenheit verdichten. Prognosen kombinieren.
PRISM entwickelt Prognosen aus zeitlichem Kontext und mehreren spezialisierten Modellpfaden. Der Ansatz verbindet gespeicherte Informationen mit einer kontrollierten Kombination von Experten – für einzelne Reihen, mehrere Prognosehorizonte und gemeinsame Datensammlungen.
So arbeitet das Modell
- Zeitlichen Kontext bewahren
Verdichtete historische Informationen helfen, Entwicklungen über unterschiedliche Zeiträume zu berücksichtigen.
- Mehrere Perspektiven kombinieren
Prognoseexperten betrachten die Aufgabe auf unterschiedliche Weise. Ihre Beiträge werden kontrolliert zusammengeführt.
- Verfügbarkeit respektieren
Online-Varianten dürfen erst aus Ergebnissen lernen, die tatsächlich bekannt geworden sind. Einfache Referenzen bleiben Teil der Prüfung.
WAS DIE TESTS ZEIGEN
Stark auf großen Zeitreihen-Sammlungen.
Auf M4 erzielt PRISM einen kleineren Prognosefehler als die eigenen LightGBM-, CatBoost- und Theta-Läufe. Ausgewählte Bike- und Traffic-Aufgaben zeigen zudem weniger Fehler bei geringerer CPU-Zeit.
OWA im M4-Paneltest über 100.000 Zeitreihen; kleiner ist besser.
Die Vorteile sind aufgabenabhängig. Auf M4 benötigt PRISM deutlich mehr CPU-Zeit als die Baumreferenzen. Veröffentlichte N-BEATS-Ergebnisse sind besser; wiederholt betrachtete Testblöcke sind keine frische unabhängige Bestätigung.
M4 · eigene vollständige Panel-Läufe
OWA · dimensionslos · kleiner ist besser
100.000 Zeitreihen, gleiche Benchmarkfamilie. Ein kleinerer OWA ist besser. CPU-Aufwand steht in der Tabelle; Balken beginnen bei null.
PRISM auf M4: 100.000 Zeitreihen
Eigene vollständige Panel-Läufe, Seed 0, vier Threads je Job. OWA kombiniert relative sMAPE- und MASE-Fehler; kleiner ist besser. CPU-Zeit ist Fit plus Vorhersage, keine Kalenderlaufzeit.
| Modell | OWA ↓ | CPU-Sekunden |
|---|---|---|
| PRISM Panel | 0,845868 | 25.153,453 |
| LightGBM global | 0,856810 | 1.592,734 |
| CatBoost global | 0,862024 | 643,672 |
| Theta · eigener Lauf | 0,897865 | — |
- PRISM ist hier genauer als diese intern getesteten Baselines, benötigt aber deutlich mehr CPU-Zeit: rund 15,8-mal so viel wie LightGBM und 39,1-mal so viel wie CatBoost. Daraus folgt keine allgemeine Geschwindigkeitsüberlegenheit.
- Vollständige historische Panel-Läufe vom 7./8. Oktober 2026. Die Datenblöcke wurden im Projektverlauf bereits betrachtet.
Weitere 6 Benchmarktabellen
PRISM auf M3: 3.003 Zeitreihen
Eigene Panel-Läufe. sMAPE ist ein symmetrischer prozentualer Prognosefehler; kleiner ist besser. Die CPU-Summen umfassen Fit und Vorhersage.
| Modell | sMAPE ↓ | CPU-Sekunden |
|---|---|---|
| PRISM Panel | 12,901117 | 1.072,516 |
| CatBoost global | 13,054298 | 32,547 |
| Theta · eigener Lauf | 13,106878 | — |
| LightGBM global | 13,143739 | 437,484 |
- Der eigene Theta-Lauf ist vom veröffentlichten Theta-Referenzwert 13,01 zu unterscheiden. Bei den Teilgruppen gewinnt PRISM nicht überall: Theta liegt bei Quarterly vorne, LightGBM bei Other knapp.
- Die offiziellen Testteile wurden bereits bewertet. Neue unberührte Daten sind für eine unabhängige Bestätigung vorgesehen.
Veröffentlichte Werte als Kontext
Literaturwerte aus dem N-BEATS-Paper, Tabellen 12 und 14. Diese Modelle wurden hier nicht auf derselben Hardware erneut ausgeführt; es gibt keinen daraus abgeleiteten Geschwindigkeitsvergleich.
| Modell / Herkunft | M4 · OWA ↓ | M3 · sMAPE ↓ |
|---|---|---|
| PRISM · eigene Messung | 0,845868 | 12,901117 |
| Smyl DL/TS Hybrid · veröffentlicht | 0,821 | — |
| N-BEATS-I+G · veröffentlicht | 0,795 | 12,37 |
- Die genannten veröffentlichten N-BEATS-Werte sind besser als PRISM. Die Tabelle ist ein historischer Literaturkontext und keine aktuelle vollständige Bestenliste.
PRISM: Walk-forward-Suite
Vergleich gegen das jeweils beste interne Verfahren je Aufgabe: naive Prognose, Ridge, CatBoost, LightGBM, LSTM, TCN und ATEE 0.4.0.dev9. Die drei Kategorien beruhen auf einem DM-HAC-Test mit 5-%-Schwelle.
| Auswertung | Siege | Kein signifikanter Unterschied | Niederlagen |
|---|---|---|---|
| 30 vollständige historische Testaufgaben | 4 | 23 | 3 |
| Davon 25 Aufgaben mit öffentlichen Datensätzen | 4 | 18 | 3 |
| Getunte Bäume · 30 Aufgaben | 5 | 22 | 3 |
| PRISM ohne Nachlernen im Testblock · 30 Aufgaben | 1 | 24 | 5 |
- Fünf Aufgaben der vollständigen Testwertung verwenden interne Broker-Daten; sie sind nicht Teil der öffentlich reproduzierbaren Teilmenge. Entwicklungsaufgaben und partielle Aufgaben sind aus dieser Gesamtwertung entfernt.
- Kein signifikanter Unterschied beweist keine Äquivalenz. Die p-Werte sind nicht für Mehrfachtests über die Aufgaben korrigiert; bei 30 Tests wären unter einer idealisierten vollständigen Nullhypothese etwa 1,5 scheinbar signifikante Resultate zu erwarten.
- Bei den getunten Bäumen wurden je zwölf Suchversuche für CatBoost und LightGBM durchgeführt; LSTM und TCN blieben ungetunt. Dies ist kein symmetrischer Bestleistungsvergleich aller Modellfamilien.
- Niederlagen betreffen ELEC_c56_h24, SOLAR_p114_h6 und TRAFFIC_s156_h24. Historische Testblöcke wurden im Projektverlauf wiederholt bewertet. Quellen: scoreboard_default.json, scoreboard_t12.json, TECH_REPORT und FRESH_TEST_PLAN.
PRISM: ausgewählte Stärken bei Qualität und CPU-Aufwand
Gleiches Suite-Protokoll, Seed 0 und vier Threads. Skill = 1 − MSE / MSE der naiven Prognose; größer ist besser. CPU-Zeit umfasst Fit und Test. PRISM lernt im Test zeitgerecht nach, TCN wird blockweise neu angepasst.
| Aufgabe | Skill PRISM ↑ | Skill TCN ↑ | CPU PRISM / TCN (s) |
|---|---|---|---|
| BIKE_h24 | 0,653991 | 0,585775 | 1.526,172 / 2.859,313 |
| TRAFFIC_s556_h24 | 0,705849 | 0,625654 | 1.324,031 / 3.362,922 |
| TRAFFIC_s736_h24 | 0,517807 | 0,418896 | 973,953 / 2.568,266 |
- In diesen ausgewählten Aufgaben benötigt PRISM gegenüber TCN etwa 1,87-, 2,54- und 2,64-fach weniger CPU-Zeit und ist zugleich genauer. Das sind gezielt ausgewählte Stärken, keine allgemeine Geschwindigkeitsrangliste; M4 und M3 zeigen höhere PRISM-Kosten gegenüber den Baum-Baselines.
- Geteilter Serverbetrieb und unterschiedliche Anpassungsmechanismen begrenzen die Übertragung auf andere Systeme. Reine Modellinferenz und CPU-Gesamtaufwand sind verschiedene Messgrößen.
PRISM mh-2: Mehrhorizont-Prognosen
Gespeicherte TSLib-Ergebnisse, standardisierter MSE; kleiner ist besser. Eingangsfenster 96. ILI verwendet Fenster 36 und die gesonderten Horizonte 24/36/48/60.
| Datensatz | H 96 | H 192 | H 336 | H 720 |
|---|---|---|---|---|
| ETTh1 | 0,377 | 0,429 | 0,470 | 0,475 |
| ETTh2 | 0,285 | 0,366 | 0,404 | 0,406 |
| ETTm1 | 0,321 | 0,356 | 0,379 | 0,441 |
| ETTm2 | 0,170 | 0,234 | 0,291 | 0,386 |
| Weather | 0,154 | 0,196 | 0,255 | 0,329 |
| Exchange | 0,084 | 0,175 | 0,347 | 1,172 |
| Electricity | 0,189 | 0,191 | 0,205 | 0,256 |
| Traffic | 0,509 | 0,501 | 0,513 | 0,555 |
- ILI separat, H 24/36/48/60: MSE 2,216 / 2,631 / 2,837 / 3,055. Insgesamt liegen 36 vollständige mh-2-Settings vor.
- Die Weiterentwicklung verbessert 19 von 28 direkt gegenüber der alten PRISM-mh-Fassung verglichenen Settings. ETTh1 H720 verbessert sich von 0,841 auf 0,475; dies ist ein Entwicklungsergebnis auf wiederholt angesehenen Testblöcken, keine neue unabhängige Bestätigung.
- Schwächen bleiben bei vielen Kanälen, insbesondere Electricity und Traffic, sowie langen Exchange-Horizonten. Electricity liegt in allen Horizonten knapp hinter dem eigenen Ridge-direct; Exchange H336/H720 liegt hinter allen eigenen Vergleichsmodellen.
- Die 36 gespeicherten Ergebnisdateien sind vollständig; das Testblick-Log enthält je 36 Start- und Score-Einträge. Quelle: TSLIB_RESULTS.md und gespeicherte mh2-Metriken.
PRISM: zusätzliche Jena- und Driftbefunde
Getrennte Protokolle mit unterschiedlichen Zielgrößen; die Zahlen werden nicht zu einer gemeinsamen Rangliste zusammengezogen.
| Versuch | PRISM-Wert | Einordnung |
|---|---|---|
| JENA10_TFF v2.1 · MAE | 0,6116465 °C | Dritter Blick auf denselben historischen Testblock |
| Jena-Vorperiode · MAE | 0,6434432 °C | Keine veröffentlichte gleichprotokollige Vergleichsreferenz |
| AGF+-Stable-Ströme · MSE | 1,583735 | Rang 6; AGF Long 1,522532 ist besser |
| AGF+-Severe / Null | Jeweils Rang 2 | Hinter der Nullprognose; Entwicklungsströme |
- JENA10_TFF und der unten aufgeführte ATEE-Finalbericht sind getrennte Auswertungen. Ihre Zahlen allein sind kein kontrollierter direkter Modellvergleich.
Versuchsaufbau & Entwicklungsstand
Die Modellfamilie umfasst getrennte Streaming-, Mehrhorizont- und Panelprofile. Die Benchmarkwerte gehören zu den jeweils genannten Profilen und nicht zu einer identischen Einzelarchitektur.
30 vollständige historische Walk-forward-Aufgaben: vier signifikante Siege, 23 ohne signifikanten Unterschied und drei Niederlagen gegen das jeweils beste interne Vergleichsverfahren (DM-HAC, 5-%-Schwelle). Kein signifikanter Unterschied ist kein Beweis gleichwertiger Verfahren.
Die dokumentierten Laufzeiten messen CPU-Aufwand für Fit und Vorhersage, keine direkt vergleichbare Kalenderlaufzeit. Die Suite und die offiziellen Testteile wurden im Projektverlauf mehrfach betrachtet.
Ein neues Testprotokoll für bisher ungesehene Daten ist vorbereitet. Die aktuelle Website zeigt abgeschlossene historische Messungen, keine Ergebnisse aus noch ausstehenden Tests.
02 / ADAPTIVE TEMPORAL ENSEMBLE · CPU
ATEE
Zeitreihen verstehen. Zum richtigen Zeitpunkt lernen.
ATEE ist eine CPU-Bibliothek für Prognosen aus zeitabhängigen Daten. Sie verbindet unterschiedliche Lernansätze mit zeitgerechtem Nachlernen. Der dokumentierte Jena-Benchmark verwendet ein eingefrorenes LightGBM-Profil mit zusätzlichem zeitlichem Kontext.
So arbeitet das Modell
- Vergangenheit verarbeiten
Historische Beobachtungen liefern zeitlichen Kontext. Verschiedene Modellpfade können unterschiedliche Muster nutzen.
- Originalprognosen bewerten
Eine Prognose wird anhand des tatsächlich später verfügbaren Ergebnisses beurteilt. Das verhindert, dass eine nachträglich veränderte Prognose als ursprünglicher Erfolg zählt.
- Gezielt nachlernen
Online-Varianten können nach Verfügbarkeit eines Zielwerts angepasst werden. Eingefrorene Referenzmodelle bleiben als getrennte Vergleichsroute erhalten.
WAS DIE TESTS ZEIGEN
Zeitlicher Kontext macht einen Unterschied.
51,09 % weniger mittlerer absoluter Fehler als die Persistenzprognose. Im dokumentierten Jena-Test liegt das untersuchte Profil auch vor den getesteten Rohdatenreferenzen.
Jena · mittlerer absoluter Fehler über alle 24 Horizonte von 10 bis 240 Minuten.
Die 0,6515 °C gelten im Mittel über alle 24 Horizonte. Genau vier Stunden voraus sind es 1,0291 °C. Das Ziel unter 0,6 °C wurde nicht erreicht. Die Modellprofile unterscheiden sich; dies ist kein allgemeiner Bestleistungsnachweis.
Jena · ausgewählte Referenzen
MAE in °C · alle 24 Horizonte · kleiner ist besser
Gleiche 333.744 gültige Zielpaare. Persistenz übernimmt den letzten beobachteten Wert. Vollständiger Vergleich unten; Balken beginnen bei null.
Jena: Temperaturprognosen von 10 bis 240 Minuten
96 Beobachtungen im Zehnminutentakt; 24 zukünftige Temperaturwerte. 333.744 gültige Zielpaare; eingefrorene Profile, verzögertes Nachlernen separat markiert. MAE und RMSE in °C; kleiner ist besser.
| Modell | MAE · alle Horizonte | RMSE · alle Horizonte | MAE · nur 4 h |
|---|---|---|---|
| ATEE · erweitertes LightGBM-Profil | 0,651498 | 0,972355 | 1,029121 |
| LightGBM · Rohdatenreferenz | 0,727312 | 1,071546 | 1,160749 |
| CatBoost · Rohdatenreferenz | 0,760630 | 1,118810 | 1,225347 |
| Ridge · Rohdatenreferenz | 0,819991 | 1,206680 | 1,363974 |
| Ridge · Kalenderreferenz | 0,735867 | 1,077033 | 1,187358 |
| Ridge + verzögertes Nachlernen | 0,731085 | 1,075015 | 1,178414 |
| Persistenz | 1,331995 | 2,011670 | 2,376100 |
- Der Testabschnitt wurde damals nach Modellwahl und Freeze einmal ausgewertet. Er ist heute ein bereits betrachteter historischer Nachweis; erneute Auswahl anhand dieses Abschnitts wäre keine frische Bestätigung.
- Der Durchschnittsfehler von 0,6515 °C gilt für alle 24 Horizonte zusammen. Ausschließlich vier Stunden voraus beträgt der MAE desselben Modells 1,0291 °C.
- Das Entwicklungsziel unter 0,6 °C wurde nicht erreicht.
- Die verglichenen Modellprofile unterscheiden sich in ihrem Umfang. Das Ergebnis isoliert nicht allein den Nutzen zusätzlicher zeitlicher Informationen und belegt keine Überlegenheit gegenüber optimal abgestimmten Modellfamilien.
- Die Ridge-Route mit verzögertem Nachlernen wird gesondert ausgewiesen: Sie nutzt erst später vollständig verfügbare Test-Labels. Die übrigen Modellkurven bleiben eingefroren.
- Eine direkte Replikation des TFF-Former-Papers und ein weltweiter Bestleistungsnachweis liegen nicht vor.
Eine weitere Benchmarktabelle
ETTh1 und ETTh2: Grenzen der Übertragung
96 stündliche Eingaben; 96 zukünftige Stunden für alle sieben Kanäle. Train-standardisierte, dimensionslose MSE und MAE; keine Grad Celsius. Je Datensatz 1.871.520 Zielpaare.
| Datensatz | Modell | MSE | MAE |
|---|---|---|---|
| ETTh1 | Train-intern gewählte Route | 0,506780 | 0,492801 |
| ETTh1 | Ursprüngliche Ridge-Referenz | 0,513368 | 0,497653 |
| ETTh1 | Tageswiederholung | 0,512225 | 0,433303 |
| ETTh2 | Train-intern gewählte Route | 0,390518 | 0,380203 |
| ETTh2 | Ursprüngliche Ridge-Referenz | 1,821725 | 1,032414 |
| ETTh2 | Tageswiederholung | 0,390518 | 0,380203 |
- ETTh1: Die train-intern ausgewählte Route verbessert den quadratischen Fehler etwas gegenüber der ursprünglichen Ridge-Referenz. Beim absoluten Fehler bleibt die einfache Tageswiederholung besser.
- ETTh2: Die Auswahl übernimmt exakt die Tageswiederholung. Das vermeidet die schlechte Ridge-Referenz, schafft aber keinen Prognosegewinn über die einfache Kontrolle hinaus.
- Die offiziellen ETT-Testabschnitte waren zuvor bereits in Piloten betrachtet worden. Diese Ergebnisse sind Entwicklung/Reproduktion, keine frische unabhängige Bestätigung.
- Die vorgesehenen vollständigen LightGBM-Läufe endeten am Zeitlimit. Unvollständige Qualitätswerte werden nicht als Ergebnisse ausgegeben.
- Das öffentliche Bibliothekspaket und die gesonderten Langhorizont-Forschungsrunner haben unterschiedliche Aufgabengrenzen.
Versuchsaufbau & Entwicklungsstand
Die Bibliotheksfamilie umfasst mehrere Profile. Die Online-Experten und der eingefrorene Jena-LightGBM-Vergleich sind nicht dieselbe Einzelarchitektur.
Ein dokumentiertes Entwicklungspaket ist vorhanden. Der vollständige Jena-Forschungslauf wurde nicht nochmals vollständig über die öffentliche Paket-API reproduziert.
Ein separates älteres Expertenprofil erfüllte in zwölf synthetischen Fällen das festgelegte gemeinsame Fehler-/CPU-Kriterium. Ohne Nachlernen bestanden nur neun Fälle; die Driftfälle scheiterten. Das ist kein allgemeiner Vorteil auf beliebigen Daten.
Die Oktober-Fortsetzung enthält Planung, keine neu abgeschlossenen Ergebnisse. Die hier gezeigten Messungen stammen vom 24. September 2026.
03 / GEMEINSAM LERNEN · RAUSCHEN BEGRENZEN
AGF+ Global
Gemeinsam lernen. Zufall ernst nehmen.
AGF+ erforscht, wie baumbasierte Modelle gemeinsame Muster aus mehreren Zeitreihen lernen können, ohne zufällige Ausschläge vorschnell als Signal zu behandeln. Der aktuelle globale Zweig verbindet gemeinsames Lernen mit vorsichtigen Schätzungen und zeitgerechter Auswertung.
So arbeitet das Modell
- Über mehrere Reihen lernen
Ein gemeinsamer Modellansatz untersucht, welche Zusammenhänge in unterschiedlichen Zeitreihen wiederkehren.
- Unsichere Signale begrenzen
Vorsichtige Schätzungen sollen vermeiden, dass zufällige Schwankungen zu selbstsicheren Prognosen werden.
- Gegen einfache Kontrollen prüfen
Null-, Mittelwert- und Medianprognosen gehören neben trainierten Referenzen zum Vergleich. Zeitliche Reihenfolge und Marktklassen werden getrennt betrachtet.
WAS DIE TESTS ZEIGEN
Eine konkrete Stärke beim absoluten Fehler.
Niedrigster MAE unter den untersuchten Varianten. Beim MSE liegen die festen Random-Forest-, CatBoost- und LightGBM-Referenzen vorne. Ein belastbarer Handelsvorteil ist nicht nachgewiesen.
MAE im dokumentierten globalen Entwicklungsvergleich · kleiner ist besser
Die Unterschiede im globalen MAE sind klein. Beim MSE liegen die festen Baumreferenzen vorn. Fast die gesamte Fehlerersparnis gegenüber Null stammt aus Aktien. Bekannte Entwicklungsdaten und seltene Trades belegen keinen allgemeinen Handelsvorteil.
Globaler Vergleich · ausgewählte Referenzen
MAE · normierte Zielskala · kleiner ist besser
Beobachtungsgewichtete historische Entwicklungsdaten. Die Unterschiede sind klein; der MSE und weitere Kontrollen stehen unten. Balken beginnen bei null.
AGF+ Global: Prognosefehler getrennt betrachten
Januar bis Juni 2025, archivierte Brokerzeit; Quellzeitzone nicht unabhängig bestätigt. Ziel: Volatilitätsnormierte Brutto-Preisänderung über vier Stunden. Beobachtungsgewichtete Fehler; zusätzlich je Marktklasse gleich gewichteter MSE. Normierte, dimensionslose Skala; kleiner ist besser.
| Modell | MAE | MSE | MSE · Klassen gleich |
|---|---|---|---|
| AGF+ Global · Basis | 0,711820 | 1,114708 | 1,158100 |
| AGF+ Global · Marktklassen-Kontext | 0,714640 | 1,112790 | 1,157473 |
| AGF+ Global · zusätzlich abgeschwächt | 0,713115 | 1,120028 | 1,159520 |
| AGF+ Global · Kontext, zusätzlich abgeschwächt | 0,713203 | 1,119956 | 1,159705 |
| Random Forest · Basis | 0,713403 | 1,111228 | 1,157676 |
| Random Forest · Marktklassen-Kontext | 0,714512 | 1,112086 | 1,157125 |
| CatBoost · Basis | 0,712250 | 1,109903 | 1,157357 |
| CatBoost · Marktklassen-Kontext | 0,713397 | 1,110324 | 1,156674 |
| LightGBM · Basis | 0,714477 | 1,112354 | 1,158504 |
| LightGBM · Marktklassen-Kontext | 0,714709 | 1,112059 | 1,157571 |
| Nullprognose | 0,713337 | 1,121451 | 1,160144 |
| Globaler Mittelwert | 0,712949 | 1,118721 | 1,160386 |
| Globaler Median | 0,713301 | 1,121148 | 1,159977 |
| Mittelwert je Marktklasse | 0,721923 | 1,123972 | 1,160639 |
| Median je Marktklasse | 0,713994 | 1,116289 | 1,159076 |
- MAE und MSE beantworten unterschiedliche Fragen: AGF+ Global Basis hat den kleinsten MAE; beide rohen AGF-Varianten liegen beim beobachtungsgewichteten MSE hinter sämtlichen sechs festen RF-/CatBoost-/LightGBM-Referenzarmen.
- Fast die gesamte Fehlerersparnis gegenüber der Nullprognose stammt aus Aktien. Das belegt keine gleichartige Übertragbarkeit über Marktklassen.
- Referenzen wurden für dieses Protokoll nicht nachträglich auf optimale Bestleistung getunt. Unabhängige Nachrechnung gespeicherter Kennzahlen ist keine unabhängige neue Testperiode.
- Bekannte historische Entwicklungsdaten; keine frische unabhängige Bestätigung. Keine Rohdatenfreigabe.
Eine weitere Benchmarktabelle
Kontrollierte Simulation: Rauschen und lernbares Signal
Drei Seeds je Szenario; bekannte synthetische Zielerwartung. Vergleich mit ungefähr vierfachem Trainingsumfang auf demselben Test. Kein Nachlernen aus dem Test. Der Signalfehler verwendet eine eigene synthetische Skala.
| Szenario | Modell | Signal-MSE · Basis | Signal-MSE · mehr Daten |
|---|---|---|---|
| Reines Rauschen | AGF+ Global | 0,000485 | 0,000194 |
| Reines Rauschen | RF | 0,007536 | 0,002950 |
| Reines Rauschen | CatBoost | 0,004729 | 0,001339 |
| Reines Rauschen | LightGBM | 0,012426 | 0,002707 |
| Reines Rauschen | Nullprognose | 0,000000 | 0,000000 |
| Gemeinsames lernbares Signal | AGF+ Global | 0,047022 | 0,038615 |
| Gemeinsames lernbares Signal | RF | 0,025475 | 0,014063 |
| Gemeinsames lernbares Signal | CatBoost | 0,012815 | 0,006901 |
| Gemeinsames lernbares Signal | LightGBM | 0,020412 | 0,007722 |
| Gemeinsames lernbares Signal | Nullprognose | 0,185004 | 0,185004 |
| Marktklassenspezifisches lernbares Signal | AGF+ Global | 0,189403 | 0,136270 |
| Marktklassenspezifisches lernbares Signal | RF | 0,193087 | 0,110670 |
| Marktklassenspezifisches lernbares Signal | CatBoost | 0,162320 | 0,104503 |
| Marktklassenspezifisches lernbares Signal | LightGBM | 0,170062 | 0,115413 |
| Marktklassenspezifisches lernbares Signal | Nullprognose | 0,346627 | 0,346627 |
- Unter den vier trainierten Modellfamilien bleibt AGF+ Global bei reinem Rauschen am nächsten an der bekannten Nullerwartung. Die Nullprognose selbst hat dort definitionsgemäß Signalfehler null und muss als Kontrolle sichtbar bleiben.
- Beim gemeinsamen lernbaren Signal liegt AGF+ in beiden Trainingsumfängen hinter RF, CatBoost und LightGBM. Beim klassenspezifischen Signal ist AGF+ mit dem Basisumfang besser als RF (0,189403 gegenüber 0,193087), aber schlechter als CatBoost und LightGBM; mit dem größeren Trainingsumfang liegen alle drei Referenzen vorn. Mehr Daten senken die Signalfehler aller trainierten Verfahren, schließen die AGF-Lücke dort aber nicht.
- Drei Seeds sind eine begrenzte Replikation; die angegebene Seed-Standardabweichung ist kein Konfidenzintervall. Simulierte Märkte und Zeitpunkte innerhalb von Episoden sind abhängig.
- Mehr Trainingsfälle und mehr historische Episoden ändern sich gemeinsam; kein isolierter Datenmengeneffekt. Die synthetische Skala ist nicht mit dem marktbezogenen MSE vergleichbar.
Versuchsaufbau & Entwicklungsstand
AGF+ Global ist der neuere Zweig der AGF+-Familie, kein viertes eigenständiges Modell.
Gemeinsame Prognosefälle für alle Referenzen; monatlich festgelegte Modelle mit ausschließlich vorher bekannten Trainingsfällen und simuliert verfügbar gewordenen Zielwerten. Beobachtungsgewichtete und je Marktklasse gleichgewichtete Fehler werden getrennt berichtet.
Die Studie verwendet Januar bis Juni 2025. Der Zielwert ist eine volatilitätsnormierte Brutto-Preisänderung über vier Stunden. MAE ist dimensionslos; MSE verwendet das Quadrat dieser Zielskala. Unterschiedliche Marktklassen sind nicht gleich übertragbar.
Im kontrollierten synthetischen Versuch dämpft AGF+ Zufallsprognosen stärker als die drei trainierten Referenzfamilien. Beim gemeinsamen lernbaren Signal liegen diese Referenzen vorn. Beim klassenspezifischen Signal schlägt AGF+ im kleineren Trainingsumfang RF, liegt aber hinter CatBoost und LightGBM; mit mehr Trainingsdaten liegen alle drei Referenzen vorn. Die Nullprognose bleibt bei reinem Rauschen die ideale Kontrolle.
Eine getrennte Ausführungssimulation nach Kosten erzeugt sehr wenige AGF-Trades. Prognosefehler und wirtschaftliche Ausführung sind getrennte Aufgaben. Keine frische unangetastete Bestätigungsperiode liegt vor.
NACHVOLLZIEHBARKEIT
Ein Ergebnis braucht
einen Kontext.
- Zeitgerechte Information: Trainingsdaten, Modellwahl und verfügbare Zielwerte müssen der jeweiligen Prognose vorausgehen. Online-Anpassung nutzt erst aufgelöste Ziele; eingefrorene Referenzpfade werden getrennt ausgewiesen.
- Historische Nachweise: Mehrere Testblöcke wurden im Projektverlauf bereits angesehen. Ein späteres Einfrieren macht frühere Testkontakte nicht rückgängig. Die AGF+-Studien verwenden bekannte Entwicklungsdaten. Keine dieser Tabellen wird als neue unangetastete Bestätigung bezeichnet.
- Metriken: MAE gewichtet absolute Fehler, MSE große Fehler stärker. OWA kombiniert benchmarkbezogene relative Fehler. Jena-Werte verwenden Grad Celsius; ETT und AGF+ jeweils eigene normierte Skalen. Diese Größen sind weder Renditen noch Erfolgswahrscheinlichkeiten.
- Vergleichbarkeit: Modellprofile, Anpassungsbudgets und Aufgaben unterscheiden sich. Literaturwerte wurden nicht auf derselben Hardware neu ausgeführt. Ein Vorsprung gegen die konkret getesteten Referenzen ist keine allgemeine Bestleistung.
- Rechenaufwand: PRISM-CPU-Zeiten enthalten Fit und Vorhersage bei vier Threads je Job. Parallele Arbeiten teilten die Maschine. Kalenderlaufzeit und reine Inferenz wurden nicht unter gleicher Last isoliert; pauschale Geschwindigkeitsversprechen lassen sich daraus nicht ableiten.
- Quellenprüfung: Vorhandene abgeschlossene Berichte und ihre Kennzahlen wurden für diese Veröffentlichung abgeglichen. Es wurden keine neuen Experimente gestartet. Unvollständige oder laufende Ergebnisse werden nicht als fertige Testergebnisse dargestellt.
- Veröffentlichungsumfang: Gezeigt werden Modellprinzipien, aggregierte Kennzahlen und Versuchsgrenzen. Modellcode, Merkmalsrezepte, interne Parameter, Rohdaten, Brokerdateien und individuelle Prognosen werden nicht veröffentlicht. Softwarepakete und Lizenzen sind gesondert zu klären.
Nächste Entwicklungsschritte
Unveränderte Modelle und Protokolle vorab festlegen, anschließend neue bisher ungesehene Datenblöcke genau einmal auswerten. Der vorhandene Plan nennt neuere Jena-Jahre, Wechselkurse aus Fed H.10 und Monash Tourism; diese frischen Tests stehen noch aus.
CPU-Zeit, Wandzeit und reine Inferenz separat unter kontrollierter Hardwarelast messen. Gleiche Anpassungsbudgets und mehrere Seeds würden Vergleiche belastbarer machen.
Schwächen bei vielen Zeitreihenkanälen, langen Prognosehorizonten und starkem Drift bearbeiten; Verbesserungen anschließend auf neuen Daten bestätigen.
Paketmanifest, Reproduktionsanleitung, Quellstand und Lizenzen abschließen, bevor ein öffentliches Softwarepaket angeboten wird.
QUELLEN & DATEN
Zum Nachlesen.
- Kuratierte Modellkennzahlen und Methodik · JSON
- Benchmarktabellen · CSV
- N-BEATS · Oreshkin et al. · Tabellen 12 und 14
- M4-Wettbewerb · Daten, Methoden und Benchmarkprotokoll
- MPI für Biogeochemie · Wetterstation Beutenberg, Jena
- ETT · Zhou et al. · Datensatz und Quellenhinweise
- Time-Series-Library · THUML · Benchmarkcode
- UCI Bike Sharing · Fanaee-T und Gama