TU Darmstadt / ULB / TUprints

Model-Based Bayesian Inference, Learning, and Decision-Making with Applications in Communication Systems

Alt, Bastian (2022)
Model-Based Bayesian Inference, Learning, and Decision-Making with Applications in Communication Systems.
Technische Universität Darmstadt
doi: 10.26083/tuprints-00020515
Ph.D. Thesis, Primary publication, Publisher's Version

[img] Text
2022-02-08_Alt_Bastian.pdf
Copyright Information: CC BY-SA 4.0 International - Creative Commons, Attribution ShareAlike.

Download (7MB)
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Model-Based Bayesian Inference, Learning, and Decision-Making with Applications in Communication Systems
Language: English
Referees: Köppl, Prof. Dr. Heinz ; Rizk, Prof. Dr. Amr
Date: 2022
Place of Publication: Darmstadt
Collation: xiv, 155 Seiten
Date of oral examination: 31 January 2022
DOI: 10.26083/tuprints-00020515
Abstract:

This dissertation discusses the mathematical modeling of dynamical systems under uncertainty, Bayesian inference and learning of the unknown quantities, such as the system’s state and its parameters, and computing optimal decisions within these models. Probabilistic dynamical models achieve substantial performance gains for decision-making. Their ability to predict the system state depending on the decisions enables efficient learning with small amounts of data, and therefore make guided optimal decisions possible. Multiple probabilistic models for dynamical state-space systems under discrete-time and continuous-time assumptions are presented. They provide the basis to compute Bayesian beliefs and optimal decisions under uncertainty. Numerical algorithms are developed, by starting with the exact system description and making principled approximations to arrive at tractable algorithms for both inference and learning, as well as decision-making. The developed methods are showcased on communication systems and other commonplace applications. The specific contributions to modeling, inference and decision-making are outlined in the following.

The first contribution is an inference method for non-stationary point process data, which is common, for example, in queues within communication systems. A hierarchical Bayesian non-parametric model with a gamma-distributional assumption on the holding times of the process serves as a basis. For inference, a computationally tractable method based on a Markov chain Monte Carlo sampler is derived and subsequently validated under the modeling assumption using synthetic data and in a real-data scenario.

The second contribution is a fast algorithm for adapting bitrates in video streaming. This is achieved by a new algorithm for adaptive bitrate video streaming that uses a sparse Bayesian linear model for a quality-of-experience score. The algorithm uses a tractable inference scheme to extract relevant features from network data and builds on a contextual bandit strategy for decision making. The algorithm is validated numerically and an implementation and evaluation in a named data networking scenario is given.

The third contribution is a novel method that exploits correlations in decision-making problems. Underlying model parameters can be inferred very data-efficiently, by building a Bayesian model for correlated count data from Markov decision processes. To overcome intractabilities arising in exact Bayesian inference, a tractable variational inference algorithm is presented exploiting an augmentation scheme. The method is extensively evaluated in various decision-making scenarios, such as, reinforcement learning in a queueing system.

The final contribution is concerned with simultaneous state inference and decision-making in continuous-time partially observed environments. A new model for discrete state and action space systems is presented and the corresponding equations for exact Bayesian inference are discussed. The optimality conditions for decision-making are derived. Two tractable numerical schemes are presented, which exploit function approximators to learn the solution in the belief space. Applicability of the method is shown on several examples, including a scheduling algorithm under partial observability.

Alternative Abstract:
Alternative AbstractLanguage

Diese Dissertation befasst sich mit der mathematischen Modellierung von dynamischen Systemen unter Unsicherheit, der Bayes’schen Inferenz und dem Lernen von unbekannten Größen, wie dem Zustand des Systems und dessen Parametern sowie der Berechnung optimaler Entscheidungen innerhalb dieser Modelle. Probabilistische dynamische Modelle erzielen erhebliche Leistungsgewinne bei dem Prozess der Entscheidungsfindung (engl.: decision-making). Ihre Fähigkeit den Systemzustand in Abhängigkeit der Entscheidungen zu prädizieren ermöglicht effizientes Lernen mit kleinen Datenmengen und somit werden geführte optimale Entscheidungen ermöglicht. Mehrere probabilistische Modelle für dynamische Systeme im Zustandsraum unter zeitdiskreten und zeitkontinuierlichen Annahmen werden vorgestellt. Sie bieten die Grundlage für die Berechnung der Bayes’schen Einschätzung (engl.: belief) und der Berechnung der optimalen Entscheidungen unter Unsicherheit. Numerische Algorithmen werden entwickelt, indem mit der exakten Systembeschreibung begonnen wird und prinzipielle Approximationen vorgenommen werden, um sowohl zu berechenbaren Algorithmen für Inferenz und Lernen, als auch für die Entscheidungsfindung zu gelangen. Die entwickelten Methoden werden anhand von Kommunikationssystemen und anderen Anwendungen demonstriert. Die spezifischen Beiträge zur Modellierung, Inferenz und Entscheidungsfindung gestalten sich inhaltlich wie folgt:

Der erste Beitrag ist eine Inferenzmethode für nicht-stationäre Punktprozessdaten, wie sie zum Beispiel bei Warteschlangen in Kommunikationssystemen üblich sind. Ein hierarchisches Bayes’sches nicht-parametrisches Modell mit einer Gamma-Verteilungsannahme für die Haltezeiten des Prozesses dient als Grundlage. Für die Inferenz wird eine berechenbare Methode auf der Grundlage eines Markov-Ketten-Monte-Carlo-Samplers hergeleitet und anschließend unter der Modellierungsannahme mittels synthetischer Daten und in einem Szenario mit Echtdaten validiert.

Der zweite Beitrag ist ein schneller Algorithmus zur Anpassung von Bitraten beim Videostreaming. Dies wird durch einen neuen Algorithmus für adaptives Bitraten-Videostreaming erreicht, der ein schwachbesetztes Bayes’sches lineares Modell für eine Quality-of-Experience-Metrik verwendet. Der Algorithmus nutzt dabei ein berechenbares Inferenzschema, um relevante Merkmale aus Netzwerkdaten zu extrahieren und baut auf einer Contextual-Bandit-Strategie für die Entscheidungsfindung auf. Neben der numerischen Validierung des Algorithmus erfolgt die Darlegung einer Implementierung und Evaluierung in einem Named-Data-Networking-Szenario.

Der dritte Beitrag ist eine neuartige Methode, die sich Korrelationen in Entscheidungsproblemen zu Nutzen macht. Die zugrundeliegenden Modellparameter können sehr dateneffizient inferiert werden, basierend auf einem Bayes’sches Modell für korrelierte Zähldaten in Markov-Entscheidungsprozessen. Um Intraktabilitäten, die bei der exakten Bayes’schen Inferenz auftreten, zu überwinden, wird ein berechenbarer Variationsinferenz-Algorithmus vorgestellt, der ein Augmentierungsschema nutzt. Die Methode wird ausgiebig in verschiedenen Entscheidungsszenarien evaluiert, wie beispielsweise bei dem Reinforcement-Learning in einem Warteschlangensystem.

Der letzte Beitrag befasst sich mit gleichzeitiger Zustandsinferenz und Entscheidungsfindung in zeitkontinuierlichen, teilobservierbaren Umfeldern. Dabei wird ein neues Modell für diskrete Zustands- und Aktionsraumsysteme vorgestellt, wobei eine Besprechung der entsprechenden Gleichungen für exakte Bayes’sche Inferenz erfolgt. Die Optimalitätsbedingungen für die Entscheidungsfindung werden hergeleitet. Zusätlich werden zwei numerische Verfahren vorgestellt, die Funktionsapproximatoren nutzen, um die Lösung im Belief-Raum zu lernen. Schließlich erflogt die Vorstellung der Anwendbarkeit der Methode anhand mehrerer Beispiele, einschließlich eines Scheduling-Algorithmus unter Teilobservierbarkeit.

German
Status: Publisher's Version
URN: urn:nbn:de:tuda-tuprints-205151
Classification DDC: 000 Generalities, computers, information > 004 Computer science
500 Science and mathematics > 510 Mathematics
600 Technology, medicine, applied sciences > 620 Engineering and machine engineering
Divisions: 18 Department of Electrical Engineering and Information Technology > Institute for Telecommunications > Bioinspired Communication Systems
Date Deposited: 21 Feb 2022 13:14
Last Modified: 29 Jul 2022 10:09
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/20515
PPN: 491492685
Export:
Actions (login required)
View Item View Item