Diese Dissertation befasst sich mit der mathematischen Modellierung von dynamischen Systemen unter Unsicherheit, der Bayes’schen Inferenz und dem Lernen von unbekannten Größen, wie dem Zustand des Systems und dessen Parametern sowie der Berechnung optimaler Entscheidungen innerhalb dieser Modelle. Probabilistische dynamische Modelle erzielen erhebliche Leistungsgewinne bei dem Prozess der Entscheidungsfindung (engl.: decision-making). Ihre Fähigkeit den Systemzustand in Abhängigkeit der Entscheidungen zu prädizieren ermöglicht effizientes Lernen mit kleinen Datenmengen und somit werden geführte optimale Entscheidungen ermöglicht. Mehrere probabilistische Modelle für dynamische Systeme im Zustandsraum unter zeitdiskreten und zeitkontinuierlichen Annahmen werden vorgestellt. Sie bieten die Grundlage für die Berechnung der Bayes’schen Einschätzung (engl.: belief) und der Berechnung der optimalen Entscheidungen unter Unsicherheit. Numerische Algorithmen werden entwickelt, indem mit der exakten Systembeschreibung begonnen wird und prinzipielle Approximationen vorgenommen werden, um sowohl zu berechenbaren Algorithmen für Inferenz und Lernen, als auch für die Entscheidungsfindung zu gelangen. Die entwickelten Methoden werden anhand von Kommunikationssystemen und anderen Anwendungen demonstriert. Die spezifischen Beiträge zur Modellierung, Inferenz und Entscheidungsfindung gestalten sich inhaltlich wie folgt:

Der erste Beitrag ist eine Inferenzmethode für nicht-stationäre Punktprozessdaten, wie sie zum Beispiel bei Warteschlangen in Kommunikationssystemen üblich sind. Ein hierarchisches Bayes’sches nicht-parametrisches Modell mit einer Gamma-Verteilungsannahme für die Haltezeiten des Prozesses dient als Grundlage. Für die Inferenz wird eine berechenbare Methode auf der Grundlage eines Markov-Ketten-Monte-Carlo-Samplers hergeleitet und anschließend unter der Modellierungsannahme mittels synthetischer Daten und in einem Szenario mit Echtdaten validiert.

Der zweite Beitrag ist ein schneller Algorithmus zur Anpassung von Bitraten beim Videostreaming. Dies wird durch einen neuen Algorithmus für adaptives Bitraten-Videostreaming erreicht, der ein schwachbesetztes Bayes’sches lineares Modell für eine Quality-of-Experience-Metrik verwendet. Der Algorithmus nutzt dabei ein berechenbares Inferenzschema, um relevante Merkmale aus Netzwerkdaten zu extrahieren und baut auf einer Contextual-Bandit-Strategie für die Entscheidungsfindung auf. Neben der numerischen Validierung des Algorithmus erfolgt die Darlegung einer Implementierung und Evaluierung in einem Named-Data-Networking-Szenario.

Der dritte Beitrag ist eine neuartige Methode, die sich Korrelationen in Entscheidungsproblemen zu Nutzen macht. Die zugrundeliegenden Modellparameter können sehr dateneffizient inferiert werden, basierend auf einem Bayes’sches Modell für korrelierte Zähldaten in Markov-Entscheidungsprozessen. Um Intraktabilitäten, die bei der exakten Bayes’schen Inferenz auftreten, zu überwinden, wird ein berechenbarer Variationsinferenz-Algorithmus vorgestellt, der ein Augmentierungsschema nutzt. Die Methode wird ausgiebig in verschiedenen Entscheidungsszenarien evaluiert, wie beispielsweise bei dem Reinforcement-Learning in einem Warteschlangensystem.

Der letzte Beitrag befasst sich mit gleichzeitiger Zustandsinferenz und Entscheidungsfindung in zeitkontinuierlichen, teilobservierbaren Umfeldern. Dabei wird ein neues Modell für diskrete Zustands- und Aktionsraumsysteme vorgestellt, wobei eine Besprechung der entsprechenden Gleichungen für exakte Bayes’sche Inferenz erfolgt. Die Optimalitätsbedingungen für die Entscheidungsfindung werden hergeleitet. Zusätlich werden zwei numerische Verfahren vorgestellt, die Funktionsapproximatoren nutzen, um die Lösung im Belief-Raum zu lernen. Schließlich erflogt die Vorstellung der Anwendbarkeit der Methode anhand mehrerer Beispiele, einschließlich eines Scheduling-Algorithmus unter Teilobservierbarkeit.