TU Darmstadt / ULB / TUprints

Robust Estimation and Model Order Selection for Signal Processing

Muma, Michael E. (2014)
Robust Estimation and Model Order Selection for Signal Processing.
Technische Universität
Ph.D. Thesis, Primary publication

[img]
Preview
Text
Doktorarbeit_Muma_print_ef.pdf - Accepted Version
Copyright Information: CC BY-NC-ND 2.5 Generic - Creative Commons, Attribution, NonCommercial, NoDerivs .

Download (4MB) | Preview
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Robust Estimation and Model Order Selection for Signal Processing
Language: English
Referees: Zoubir, Prof. Abdelhak M. ; Koivunen, Prof. Visa ; Konigorski, Prof. Ulrich ; Pesavento, Prof. Marius
Date: March 2014
Place of Publication: Darmstadt
Publisher: Universitäts- und Landesbibliothek Darmstadt
Date of oral examination: 30 January 2014
Abstract:

In this thesis, advanced robust estimation methodologies for signal processing are developed and analyzed. The developed methodologies solve problems concerning multi-sensor data, robust model selection as well as robustness for dependent data. The work has been applied to solve practical signal processing problems in different areas of biomedical and array signal processing.

In particular, for univariate independent data, a robust criterion is presented to select the model order with an application to corneal-height data modeling. The proposed criterion overcomes some limitations of existing robust criteria. For real-world data, it selects the radial model order of the Zernike polynomial of the corneal topography map in accordance with clinical expectations, even if the measurement conditions for the videokeratoscopy, which is the state-of-the-art method to collect corneal-height data, are poor.

For multi-sensor data, robust model order selection selection criteria are proposed and applied to the problem of estimating the number of sources impinging onto a sensor array. The developed criteria are based on a robust and efficient estimator of the covariance of the r-mode unfoldings of a complex valued data tensor. Both in the case of Gaussian noise and for a brief sensor failure, the proposed robust multi-dimensional schemes outperform their matrix computation based counterparts.

In the context of robustness for multi-sensor data, we next investigate the problem of estimating the complex-valued amplitude of sinusoidal signals in a completely unknown heavy-tailed symmetric spatially and temporally independent and identically distributed (i.i.d.) sensor noise environment. A selection of non-robust and robust estimators are compared to a proposed semi-parametric robust estimator.

A third research focus in the area of multi-sensor data is that of analyzing the robustness of spatial time-frequency distribution (STFD) estimators. We provide a robustness analysis framework that is based on the influence function. The influence function is a robustness measure that describes the bias impact of an infinitesimal contamination at an arbitrary point on the estimator, standardized by the fraction of contamination. In addition to the asymptotic analysis, we also give a definition of the finite sample counterpart of the influence function. Simulation results for the finite sample influence function confirm the analytical results and show the insensitivity to small departures in the distributional assumptions for some recently proposed robust STFD estimators.

A large part of this thesis concerns the topic of obtaining and analyzing robust estimators in the dependent data setup. First, some practical issues concerning the detection, and robust estimation in presence of patient motion induced artifacts in biomedical measurements are addressed. In particular, we provide an artifact-cleaning algorithm for data collected with an electrocardiogram (ECG). This is especially important for the monitoring of patients with portable ECG recording devices, since these devices suffer severely from patient motion induced artifacts. A second real-world problem addressed in this doctoral project is that of forecasting the intracranial pressure (ICP) levels for patients who suffered a traumatic brain injury. This enables active and early interventions for more effective control of ICP levels. We propose a methodology which uses combined artifact detection and robust estimation after a data transformation into the empirical mode domain.

Motivated by plethora of practical applications, we then focus on deriving and analyzing sophisticated robust estimation and model selection techniques for autoregressive moving-average (ARMA) models. A fast algorithm as well as a detailed statistical and robustness analysis of a novel robust and efficient estimator is given. For the proposed estimator, which is termed the bounded influence propagation (BIP) τ-estimator, we compute a complete statistical robustness analysis, which includes conditions for the consistency, as well as a proof of qualitative and quantitative robustness. The robustness is measured by means of the influence function, the maximum bias curve and the breakdown point. The fast algorithm of the proposed estimator is based on first computing a robust initial estimate of an autoregressive (AR) approximation from which the ARMA model parameters are derived. In this way, the ARMA model parameters are derived from the long AR approximation without further use of the outlier-contaminated observations. The estimator is very suitable and attractive for ARMA model selection purposes, since the computational cost of estimating all the candidate ARMA models approximately reduces to that of computing one long AR model. In the area of model selection for ARMA models, we propose and compare different robust model order selection criteria that are based on the BIP τ-estimator.

Alternative Abstract:
Alternative AbstractLanguage

Die vorliegende Dissertation entwickelt und analysiert fortgeschrittene robuste Methoden für die Signalverarbeitung. Behandelte Probleme sind aus den Bereichen der Sensorgruppensignalverarbeitung, der robusten Modellordnungsschätzung, sowie der Robustheit für abhängige Daten. Die entwickelten Methoden wurden auf praktisch relevante Problemstellungen aus verschiedenen Gebieten der biomedizinischen Signalverarbeitung und der Sensorgruppensignalverarbeitung angewandt.

Insbesondere wurde für univariate unabhängige Daten ein robustes Modellordnungsschätzungskriterium entwickelt und für die Modellierung von Hornhautoberflächen Daten verwendet. Das vorgeschlagene Kriterium erweitert bestehende robuste Kriterien. Für echte gemessene Daten wählt das entwickelte Kriterium auch dann die Modellordnung in Übereinstimmung mit klinischen Erwartungen, wenn die Messbedingungen der Videokeratoskopie, welches die heute gängige Messmethode ist, schlecht sind.

Für die Sensorgruppensignalverarbeitung haben wir ein robustes Modellordnungsschätzungskriterium entwickelt und auf das Problem der Quellenschätzung angewandt. Das entwickelte Kriterium verwendet einen robusten und gleichzeitig effizienten Schätzer der Kovarianzmatrix der r-mode Auffaltungen des komplexwertigen Datentensors. Sowohl für Gaußverteiltes Sensorrauschen als auch für impulsives Rauschen, verursacht z. B. durch kurzzeitige Sensorfehler, ist die Leistung der vorgeschlagenen Tensor-basierten Modellordnungsschätzungkriterien besser als die der korrespondierenden Matrix-basierten Verfahren.

Im Kontext der robusten Verfahren der Sensorgruppensignalverarbeitung haben wir als nächstes das Problem der Schätzung der komplexwertigen Amplituden von Sinussignalen in einer komplett unbekannten, impulsiven, räumlich und zeitlich unabhängig verteilten Rauschumgebung untersucht. Eine Auswahl aus nichtrobusten und robusten Schätzern wurde mit einem von uns vorgeschlagenen robusten semi-parametrischen Schätzer verglichen.

Eine dritte Forschungsfrage, die uns im Bereich der Signalverarbeitung für Antennengruppen beschäftigte, ist die Robustheitsanalyse von Raum-Zeit-Frequenz-Verteilungsschätzern. Zu diesem Zweck haben wir eine Robustheitsanalyse mittels der Eiflussfunktion (influence function) durchgeführt. Die Einflussfunktion ist ein Robustheitsmaß, das den Einfluss einer infinitesimalen Kontamination auf den Bias eines Schätzers, normiert auf die Fraktion der Kontamination, beschreibt. Zusätzlich zur analytischen asymptotischen Analyse haben wir eine praktisch implementierbare Einflussfunktion für begrenzte Datenlängen definiert. Simulationsergebnisse für endliche Datenlängen bestätigen die analytischen Ergebnisse und zeigen die Unempfindlichkeit kürzlich vorgeschlagener robuster Raum-Zeit-Frequenz-Verteilungsschätzer gegenüber geringen Verletzungen getroffener statistischer Annahmen.

Ein Schwerpunkt dieser Dissertation es, robuste Schätzer für abhängige Daten zu entwickeln und zu analysieren. Zuerst behandeln wir einige praktische Beispiele aus dem biomedizinischen Bereich, in denen Messartefakte mittels kombinierter robuster Schätzung und Datentransformationen erkannt und deren Effekte unterdrückt werden. Insbesondere schlagen wir einen Algorithmus zur Artefaktbereinigung von elektrokardiographischen (EKG) Messungen vor. Dies ist besonders wichtig für die Überwachung von Patienten mit mobilen EKG-Messgeräten, die aufgrund der Bewegung der Patienten von Artefakten besonders betroffen sind. Ein zweites biomedizinisches Problem, das wir in dieser Dissertation untersucht haben, ist die Vorhersage von Hirndrucksignalen für Patienten mit Schädel-Hirn-Trauma. Dies ermöglicht eine aktive und rechtzeitige Intervention zu einer effektiveren Kontrolle des Hirndrucks. Wir stellen hierzu eine Methode vor, die Artefaktbereinigung und eine Transformation in die Empirical-Mode-Domäne kombiniert.

Motiviert durch die Vielzahl an praktischen Anwendungen fokussieren wir uns dann auf die Herleitung und Analyse fortgeschrittener robuster Parameterschätzer und Modellordnungsschätzer für Autoregressive Moving-Average (ARMA) Modelle. Wir stellen für einen neu vorgeschlagenen Parameterschätzer einen schnellen Algorithmus vor und führen eine komplette statistische Robustheitsanalyse durch. Für diesen Schätzer, den wir den Bounded-Influence-Propagation (BIP) τ-Schätzer nennen, geben wir die statistischen Konvergenzbedingungen, sowie einen Beweis der quantitativen und qualitativen Robustheit. Die Robustheit wird gemessen durch die Einflussfunktion, die Maximal-Bias-Kurve (maximum bias curve) und den Ausfallpunkt (breakdown point) des Schätzers. Der schnelle Algorithmus des vorgeschlagenen Schätzers basiert auf einer Initialschätzung eines approximativen langen autoregressiven Modells, von dem die ARMA Parameter abgeleitet werden. Auf diese Weise kann ein weiteres Verwenden der ausreißerkontaminierten Daten vermieden werden. Der BIP τ-Schätzer ist sehr geeignet und von der Rechenzeit her attraktiv für die ARMA Modellordnungsschätzung, da die Rechenzeit für alle ARMA Kandidatenmodelle ungefähr der Rechenzeit entspricht, die das approximative autoregressive Modell benötigt. Im Bereich der robusten ARMA Modellordnungsschätzung schlagen wir verschiedene Kriterien basierend auf dem BIP τ-Schätzer vor und vergleichen diese Kriterien mit existierenden Ansätzen.

German
Uncontrolled Keywords: robustness, dependent data, multi-sensor data, influence function, breakdown point, maximum bias curve, estimation, signal processing, robust estimation, robust model order selection, autoregressive moving-average (ARMA), videokeratoscopy, artifacts, corneal-height data, forecasting, spatial time-frequency distribution, bounded influence propagation (BIP) τ-estimator, electrocardiogram, intracranial pressure,
URN: urn:nbn:de:tuda-tuprints-38673
Classification DDC: 500 Science and mathematics > 500 Science
600 Technology, medicine, applied sciences > 620 Engineering and machine engineering
Divisions: 18 Department of Electrical Engineering and Information Technology
18 Department of Electrical Engineering and Information Technology > Institute for Telecommunications > Signal Processing
Date Deposited: 28 Mar 2014 12:36
Last Modified: 09 Jul 2020 00:38
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/3867
PPN: 386744297
Export:
Actions (login required)
View Item View Item