Kann Reinforcement Learning die Regelungstechnik revolutionieren? Das Projekt Cognitive Train/Test System for Reinforcement Learning using Labs (CTRL) baut eine Infrastruktur für eine selbständige Regelung im Verteilnetz auf.

Das Projekt bietet eine Infrastruktur zum Trainieren von Regelungskonzepten für dezentrale Anlagen. Vom simulativen Pretraining über realistische Hardware-in-the-Loop Methoden bis hin zu Feldtests werden Agenten schrittweise auf ihre Einsatzgebiete vorbereitet. Im Ergebnis übernimmt ein Agent selbstständig die Spannungshaltung für einen Ortsnetztrafo.

Das Projekt ist interessant für:

Anlagen-Hersteller

Ziele

  • Konzeptionierung einer Toolchain zur Entwicklung, Prüfung und Etablierung von Reinforcement Learning (RL) Agenten für Regelungskonzepte in der Energiesystemtechnik 
  • Entwicklung eines V-Plans für Offline-Training, RCP Optimierung und Prüfung, Hardware-in-the-Loop Optimierung und Validierung, sowie Feld-nahe Erprobung 
  • Integration von anpassungsfähigen Blackbox Ansätzen und flexiblen Kommunikationsanbindungen zwischen dem Reinforcement Learning Agenten, dem geregelten Testsystem und Energiesystem
  • Erprobung der Toolchain durch Entwicklung, Prüfung und Etablierung eines RL-Agenten zur intelligenten Steuerung von Ortsnetztransformatoren 
Dr.-Ing. Ron Brandl

Projektleiter

Fraunhofer IEE

+49 (0) 561 7294-103

Methoden

Regelungstechnische Anwendungen basieren meist auf einer heterogenen Methode, das bedeutet aus einer Kombination komplexer voneinander teil-unabhängiger Systeme. Die in dem Projekt angewendeten Methoden eignen sich besonders gut, um mit diesem komplexen System zu arbeiten.  

Um einen geeigneten RL-Agenten zu identifizieren, wurde in folgenden Schritten vorgegangen: 

  1. Offline Training: Entwicklung des RL-Agenten (Art, Größe, Parametrisierung) 
  2. RCP Training: Abbildung realer Schnittstellen und Echtzeit-Performance 
  3. HIL Training/Testing: Erprobung und Optimierung unter realistischerer Anwendung 
  4. Feld Validierung: Erprobung im realistischen Einsatzgebiet 

Projektinformationen

Projektmitarbeitende, Fraunhofer IEE

Dr. Ron Brandl, Juan Montoya

Projektlaufzeit

2020

Teilen Sie dieses Spotlight in Ihrem Netzwerk.

Alsland - Inselnetzerkennung mit Methoden der künstlichen IntelligenzAlsland - Inselnetze mit künstlicher Intelligenz erkennen
KESL2RPN - Stromnetz managt selbstständig HerausforderungenKESL2RPN - Stromnetz managt selbstständig Herausforderungen