Energiehandel am kontinuierlichen Intraday Stommarkt ist ein hochkomplexer Prozess, der sich durch die Kurzlebigkeit und Volatilität der Handelsprodukte deutlich von anderen Märkten unterscheidet. Im Rahmen PDET wurde ein erster Handelsagent auf Basis von Deep Reinforecement Learning erarbeitet, der in Kombination mit Wetterprognosen auf dem Energiemarkt handelt. Der Handelsagent agierte dabei aus der Sicht eines Windparkbetreibers und verkaufte in einer Simulation die voraussichtlich prognostizierte Leistung auf dem Intraday-Markt. Mit Hilfe des erarbeiteten Agenten konnte ein positives Handelsergebniss erzielt werden. Die Ergebnisse des Spotlights werden deshalb in einem Paper veröffentlicht, um das Thema so in die wissenschaftlichen Kreise zu bringen.

Das Projekt ist interessant für:

Stadtwerke, Trader, EPEX, Wissenschaftler im Bereich Energiehandel und Stromprognosen

• Erstellung und Untersuchung eines automatisierten Handelsagenten auf Basis von Deep Reinforcement Learning
• Frühzeitige Platzierung in dem Forschungsfeld des Energiehandels um wissenschaftlich neue State-of-the-Art Ergebnisse zu präsentieren
• Deutliche Steigerung der Komplexität im Energiehandel durch das Traden mit minutlicher Auflösung
• Die Veröffentlichung im Journal Energy and AI sichert einen Peer-Review Prozess, wodurch die Ergebnisse validiert werden

Um den Energiehandel korrekt darzustellen wurde eine Handelsumgebung erstellt, welche das Handeln von stündlichen Stromprodukten in minütlicher Auflösung gewährleistet. Auch wurde mit dem Setting des Windparkbetreibers eine weitere Erschwernis hinzugefügt, da der Agent sein Handelsvolumen und damit seine Strategie regelmäßig an die aktuellen Windprognosen (Aktualisierung alle 15 Minuten) anpassen musste. Neben der Simulationsebene wurde in diesem Projekt auch der neuste Stand in den Algorithmen verwendet. So wird der Proximal Policy Optimization (PPO) [Schulman et al. 2017 Algorithmus in Kombination mit dem Population Based Training [Jaderberg et al. 2017] angewendet, um eine optimale Nutzung zu gewährleisten.

Durch das Trainieren des Handelsagenten auf den Transaktionsdaten konnte ein Handelsagent erstellt werden, welcher selbstständig die Handelssituation auf dem Intraday-Spotmarkt einschätzen kann. Dies wurde mit Hilfe einer präzisen Reward-Funktion gewährleistet, welche direkte Anreize an den Agenten lieferte. Aus diesem Grund konnte der Agent eine Änderung des Handelsvolumens antizipieren (auf Grund variierender Windprognosen), Preistrends richtig einschätzen und automatisch seine Strategie anpassen. Um eine Vergleichbarkeit zu gewährleisten, wurde der Handelsagent auch mit mehreren Baseline-Methoden verglichen, welche z.B. regelbasiert anhand der Preisprognose gehandelt haben. Hier konnte sich der Agent gegen die Baselines durchsetzen und zeigt somit das mögliche Potential von Deep Reinforcement Learning. 

Auf Grund der Tatsache, dass der Umfang sowie die Simulationstiefe des Handelsagenten den momentanen Stand der Wissenschaft übertreffen, wurden die Ergebnisse des Spotlights im Journal Energy and AI veröffentlicht. Mit der Veröffentlichung kann sich das IEE an die Spitze des Themengebietes von Energiehandel mit Reinforcement Learning stellen, was sowohl einen öffentlichkeitswirksamen als auch einen wissenschaftlichen Mehrwert generiert. Gleichzeitig zeigte sich in den Experimenten, dass es noch einige offene Forschungsfragen in dem Themengebiet gibt. Entsprechend sollen, basierend auf den Ergebnissen von PDET, weitere Forschungsprojekte durchgeführt werden, um ein direkten Einsatz des Handelsagenten auf dem Strommarkt zu untersuchen.

• Aufstellung der Simulationsumgebung, sowie Erstellung von Wind und Preisprognosen, angelehnt an [Scholz et al. 2020]. 
• Ausführung von Training und Analyse der Ergebnisse, basierend auf neuen Handelsprodukten.  
• Aufbereitung der Ergebnisse im Paper 
• Einreichung und Revision vom Paper 
• Paper wurde von Energy and AI akzeptiert.  

Projektmitarbeiter: Malte Lehna, Christoph Scholz, René Heinrich, Björn Hoppmann

Veröffentlichungen

• Veröffentlichung im Paper Energy and AI (bereits akzeptiert).  
• Open Access geplant, Link wird nachgeliefert.  

Quellen:  

[Jaderberg et al. 2017] Jaderberg, Max, et al. „Population based training of neural networks.“ arXiv preprint arXiv:1711.09846 (2017). 

[Scholz et al. 2020] Scholz, Christoph, et al. „Towards the Prediction of Electricity Prices at the Intraday Market Using Shallow and Deep-Learning Methods.“ Workshop on Mining Data for Financial Applications. Springer, Cham, 2020. 

[Schulman et al. 2017] Schulman, John, et al. „Proximal policy optimization algorithms.“ arXiv preprint arXiv:1707.06347 (2017). 

Projektlaufzeit

xxx Datum fehlt xxx 6 Monate

Malte Lehna

+49 (0) 160 3412279