TU Darmstadt / ULB / TUprints

Estimating Sparse Representations from Dictionaries With Uncertainty

Weiß, Christian (2017)
Estimating Sparse Representations from Dictionaries With Uncertainty.
Technische Universität Darmstadt
Ph.D. Thesis, Primary publication

[img]
Preview
Text
cweiss_PhD_thesis.pdf
Copyright Information: CC BY-NC-ND 4.0 International - Creative Commons, Attribution NonCommercial, NoDerivs.

Download (7MB) | Preview
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Estimating Sparse Representations from Dictionaries With Uncertainty
Language: English
Referees: Zoubir, Prof. Dr. Abdelhak M. ; Gini, Prof. Dr. Fulvio
Date: April 2017
Place of Publication: Darmstadt
Date of oral examination: 24 March 2017
Abstract:

In the last two decades, sparse representations have gained increasing attention in a variety of engineering applications. A sparse representation of a signal requires a dictionary of basic elements that describe salient and discriminant features of that signal. When the dictionary is created from a mathematical model, its expressiveness depends on the quality of this model. In this dissertation, the problem of estimating sparse representations in the presence of errors and uncertainty in the dictionary is addressed. In the first part, a statistical framework for sparse regularization is introduced. The second part is concerned with the development of methodologies for estimating sparse representations from highly redundant dictionaries along with unknown dictionary parameters. The presented methods are illustrated using applications in direction finding and fiber-optic sensing. They serve as illustrative examples for investigating the abstract problems in the theory of sparse representations. Estimating a sparse representation often involves the solution of a regularized optimization problem. The presented regularization framework offers a systematic procedure for the determination of a regularization parameter that accounts for the joint effects of model errors and measurement noise. It is determined as an upper bound of the mean-squared error between the corrupted data and the ideal model. Despite proper regularization, the quality and accuracy of the obtained sparse representation remains affected by model errors and is indeed sensitive to changes in the regularization parameter. To alleviate this problem, dictionary calibration is performed. The framework is applied to the problem of direction finding. Redundancy enables the dictionary to describe a broader class of observations but also increases the similarity between different entries, which leads to ambiguous representations. To address the problem of redundancy and additional uncertainty in the dictionary parameters, two strategies are pursued. Firstly, an alternating estimation method for iteratively determining the underlying sparse representation and the dictionary parameters is presented. Also, theoretical bounds for the estimation errors are derived. Secondly, a Bayesian framework for estimating sparse representations and dictionary learning is developed. A hierarchical structure is considered to account for uncertainty in prior assumptions. The considered model for the coefficients of the sparse representation is particularly designed to handle high redundancy in the dictionary. Approximate inference is accomplished using a hybrid Markov Chain Monte Carlo algorithm. The performance and practical applicability of both methodologies is evaluated for a problem in fiber-optic sensing, where a mathematical model for the sensor signal is compiled. This model is used to generate a suitable parametric dictionary.

Alternative Abstract:
Alternative AbstractLanguage

In den letzten zwei Jahrzehnten erhielten spärliche Darstellungen vermehrt Aufmerksamkeit in zahlreichen ingenieurswissenschaftlichen Anwednungen. Für eine spärliche (sparse) Darstellung eines Signals benötigt man ein Wörterbuch (dictionary) aus Basiselementen, welche auffallende und diskriminative Merkmale des Signals beschreiben. Wird das Wörterbuch durch ein analytisches Modell generiert, so hängt seine Aussagekraft von der Qualität dieses Modells ab. In der vorliegenden Dissertation wird das Problem der Schätzung von spärlichen Darstellungen in der Gegenwart von Fehlern und Unsicherheiten bezüglich des Wörterbuchs behandelt. Im ersten Teil wird ein statistisches Rahmenwerk zur spärlichen Regularisierung eingeführt. Der zweite Teil befasst sich mit der Entwicklung von Methodiken zur Schätzung von spärlichen Darstellungen aus hoch-redundanten Wörterbüchern mit unbekannten Wörterbuchparametern. Die vorgestellten Methoden werden mit Hilfe von Anwendungen der Richtungsbestimmung und der faseroptischen Abtastung ausgewertet. Diese dienen als illustrative Beispiele zur Erforschung der abstrakten Probleme in der Theorie der spärlichen Darstellungen. Das Schätzen einer spärlichen Darstellung schließt oftmals die Lösung eines regularisierten Optimierungsproblems mit ein. Das vorgestellte Rahmenwerk zur Regularisierung bietet ein systematisches Verfahren zur Bestimmung eines Regularisierungsparameters, welcher die Verbundseffekte von Modellfehlern und Messrauschen erfasst. Er wird bestimmt durch eine obere Grenze für den mittleren quadratischen Fehler zwischen den fehlerhaften Daten und dem idealen Modell. Trotz angemessener Regularisierung bleibt die Qualität und die Genauigkeit der erhaltenen spärlichen Darstellung durch die Modellfehler beeinträchtigt und ist durchaus empfindlich bezüglich Änderungen des Regularisierungsparameters. Um dieses Problem zu erleichtern wird eine Wörterbuchkalibrierung durchgeführt. Das Rahmenwerk wird für das Problem der Richtungsschätzung angewendet. Redundanz ermöglicht es mit dem Wörterbuch eine breitere Klasse von Beobachtungen zu beschreiben. Jedoch wird dadurch auch die Ähnlichkeit zwischen den Einträgen erhöht, was zu missverständlichen Darstellungen führt. Um das Problem der Redundanz und der zusätzlichen Unsicherheit im Wörterbuch zu behandeln werden zwei Strategien verfolgt. Zunächst wird eine Methode der alternierenden Schätzung zur iterativen Bestimmung der zugrundeliegenden spärlichen Darstellung und der Wörterbuchparameter vorgestellt. Ferner werden theoretische Grenzen für den Schätzfehler hergeleitet. Zweitens wird ein Bayes'sches Rahmenwerk zum Schätzen von spärlicher Darstellungen und zum Lernen von Wörterbüchern entwickelt. Ein hierarchisches Modell wird betrachtet um Unsicherheiten in vorherigen Annahmen zu erfassen. Das betrachtete Modell für die Koeffizienten der spärlichen Darstellung ist speziell für dem Umgang mit Redundanz im Wörterbuch konzipiert. Approximative Inferenz wird unter Verwendung eines hybriden Markov Chain Monte Carlo Algorithmus durchgeführt. Die Leistungsfähigkeit und die praktische Anwendbarkeit beider Methodiken wird für ein Problem aus der faseroptischen Abtastung ausgewertet. Dabei wird ein analytisches Modell für das Sensorsignal zusammengestellt, welches dann genutzt wird um ein geeignetes Wörterbuch zu generieren.

German
URN: urn:nbn:de:tuda-tuprints-61526
Classification DDC: 600 Technology, medicine, applied sciences > 620 Engineering and machine engineering
Divisions: 18 Department of Electrical Engineering and Information Technology > Institute for Telecommunications
18 Department of Electrical Engineering and Information Technology > Institute for Telecommunications > Signal Processing
Exzellenzinitiative > Graduate Schools > Graduate School of Computational Engineering (CE)
Date Deposited: 19 Apr 2017 06:49
Last Modified: 09 Jul 2020 01:36
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/6152
PPN: 402387759
Export:
Actions (login required)
View Item View Item