TU Darmstadt / ULB / TUprints

Robust Adaptation and Learning Over Networks

Al-Sayed, Sara (2016)
Robust Adaptation and Learning Over Networks.
Technische Universität Darmstadt
Ph.D. Thesis, Primary publication

[img]
Preview
Text
Dissertation_Sara_genehmigte.pdf
Copyright Information: CC BY 4.0 International - Creative Commons, Attribution.

Download (2MB) | Preview
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Robust Adaptation and Learning Over Networks
Language: English
Referees: Zoubir, Prof. Abdelhak M. ; Sayed, Prof. Ali H.
Date: 2 June 2016
Place of Publication: Darmstadt
Date of oral examination: 28 April 2016
Abstract:

This doctoral dissertation centers on robust adaptive networks. Robust adaptation strategies are devised to solve typical network inference tasks such as estimation and detection in a decentralized manner in the presence of impulsive contamination. Typical in wireless communication environments, an impulsive noise process can be described as one whose realizations contain sparse, random samples of amplitude much higher than nominally accounted for. An attractive feature that these robust adaptive strategies enjoy is that neither their development nor operation hinges on the availability of exact knowledge of the noise distribution: The robust adaptive strategies are capable of learning it on-the-fly and adapting their parameters accordingly. Forgoing data fusion centers, the network agents employing these strategies rely solely on local interactions and in-network processing to perform inference tasks, which renders networks more reliable, resilient to node and link failure, scalable, and resource efficient. Distributed cooperative processing finds applications in many areas including wireless sensor networks in smart-home, environmental, and industrial monitoring; healthcare; and military surveillance.

Since adaptive systems based on the mean-square-error criterion see their performance degrade in the presence of non-Gaussian noise, the robust adaptive strategies developed in this dissertation harness nonlinear data processing and robust statistics instead to mitigate the detrimental effects of impulsive noise. To this end, a robust adaptive filtering algorithm is developed that employs an adaptive error nonlinearity. The error nonlinearity is chosen to be a convex combination of preselected basis functions where the combination coefficients are adapted jointly with the estimate of the parameter of interest such that the mean-square-error relative to the optimal error nonlinearity is minimized in each iteration.

Then, a robust diffusion adaptation algorithm of the adapt-then-combine variety is developed as an extension of its stand-alone counterpart for distributed estimation over networks where the measurements may be corrupted by impulsive noise. Each node in the network runs a combination of its neighbors’ estimates through one iteration of a local robust adaptive filter update to ameliorate the effects of contamination, leading to better overall network performance matching that of a centralized strategy at steady-state.

Finally, the robust diffusion adaptation algorithm is extended further to solve the problem of distributed detection over adaptive networks where the measurements may be corrupted by impulsive noise. The estimates generated by the robust algorithm are used as basis for the design of robust local detectors, where the form of the test- statistics and the rule for the computation of the detection thresholds are motivated by the analysis of the algorithm dynamics. Each node in the network cooperates with its neighbors, utilizing their estimates, to update its local detector. Effectively, information pertaining to the event of interest percolates across the network, leading to enhanced detection performance.

The transient and steady-state behavior of the developed algorithms are analyzed in the mean and mean-square sense using the energy conservation framework. The performance of the algorithm is also examined in the context of distributed detection. Performance is validated extensively through numerical simulations in an impulsive noise scenario, revealing the robustness of the proposed strategies in comparison with state-of-the-art algorithms as well as good agreement between theory and practice.

Alternative Abstract:
Alternative AbstractLanguage

Im Zentrum dieser Dissertation stehen robuste adaptive Netzwerke. Es werden robuste Adaptionsstrategien entwickelt zur Lösung typischer Netzwerk-Inferenzprobleme, wie verteilte Schätzung und Detektion unter Impulsrauschen. Wie im Bereich der drahtlosen Kommunikation üblich, kann Impulsrauschen durch einen stochastischen Prozess beschrieben werden, dessen Realisierungen seltene, zufällige Samples enthalten, deren Amplitude deutlich größer ist, als unter nominalen Bedingungen zu erwarten wäre. Eine attraktive Eigenschaft derartiger robuster adaptiver Verfahren ist, dass weder für ihren Entwurf noch für ihren Betrieb eine exakte Kenntnis der Rauschverteilung nötig ist: Die robusten adaptiven Verfahren sind in der Lage letztere im laufenden Betrieb zu erlernen und ihre Parameter entsprechend anzupassen. Da die Verfahren nicht auf dem Einsatz einer zentralen Einheit (fusion center), sondern lediglich auf lokaler Interaktion der Knoten und einer verteilten Verarbeitung der Daten beruhen, erhöhen sie die Zuverlässigkeit des Netzwerks sowie dessen Ausfallsicherheit bei Knoten- und Verbindungsfehlern, Skalierbarkeit und Effizienz im Umgang mit Ressourcen. Verteilte, kooperative Datenverarbeitung findet Anwendung in vielen Bereichen, darunter drahtlose Sensornetzwerke zur Beobachtung von smart-homes, zur Umweltüberwachung, Qualitätssicherung und militärischen Aufklärung, sowie im Gesundheitswesen.

Da adaptive Systeme, die auf dem Prinzip der kleinsten mittleren quadratischen Abweichung beruhen, unter nicht gaußverteiltem Rauschen eine stark verminderte Leistung aufweisen, nutzen die in dieser Arbeit entwickelten robusten adaptiven Verfahren stattdessen nichtlineare Techniken der Datenverarbeitung und robuste Statistiken um die schädlichen Effekte des Impulsrauschens abzuschwächen. Zu diesem Zweck wird ein robuster adaptiver Filteralgorithmus entworfen, der eine adaptive, nichtlineare Fehlerkennlinie verwendet. Letztere wird dabei als konvexe Kombination zuvor festgelegter Basisfunktionen gewählt, wobei die Kombinationsgewichte zusammen mit der Schätzung der gesuchten Parameter so angepasst werden, dass in jeder Iteration die mittlere quadratische Abweichung von der optimalen Fehler-Nichtlinearität minimiert wird.

Anschließend wird ein robuster adaptiver Diffusionsalgorithmus vom Typ "adapt-then-combine'' entwickelt, der eine Erweiterung seines allein operierenden Gegenstücks darstellt und sich zur Lösung von Schätzproblemen in Netzwerken mit von Impulsrauschen behafteten Beobachtungen eignet. Jeder Knoten des Netzwerks lässt dabei eine Kombination der Schätzungen seiner Nachbarn eine Iteration eines lokalen robusten adaptiven Filters durchlaufen, um so die Effekte der Datenverunreinigung abzuschwächen. Dies führt zu einer besseren Gesamtleistung, die im stationären Zustand der von zentralisierten Systemen entspricht. Schließlich wird der robuste Diffusionsalgorithmus auf die Lösung verteilter Detektionsprobleme in Netzwerken mit Impulsrauschen erweitert. Die von dem robusten Algorithmus generierten Schätzungen werden dabei als Basis für den Entwurf robuster lokaler Detektoren verwendet, wobei die Form der Teststatistik und die Vorschriften zur Berechnung der Schwellenwerte durch eine Analyse der Dynamik des Algorithmus motiviert sind. Jeder Knoten im Netzwerk kooperiert mit seinen Nachbarn und nutzt deren Schätzungen zur Aktualisierung seines lokalen Detektors. Auf diese Weise verteilen sich die Informationen über das Ereignis von Interesse im Netzwerk, was zu einer höheren Detektionsleistung führt.

Mit Hilfe eines auf dem Prinzip der Energieerhaltung aufbauenden Verfahrens (energy conservation framework) wird das Verhalten der entwickelten Algorithmen im transienten und stationären Zustand analysiert. Zudem wird die Leistung des Algorithmus im Kontext der verteilten Detektion untersucht. Umfangreiche numerische Simulationen von Szenarien mit Impulsrauschen zeigen sowohl die Robustheit der vorgeschlagenen Verfahren im Vergleich zu aktuellen Algorithmen, als auch eine gute Übereinstimmung von Theorie und Praxis.

German
URN: urn:nbn:de:tuda-tuprints-54930
Classification DDC: 600 Technology, medicine, applied sciences > 620 Engineering and machine engineering
Divisions: 18 Department of Electrical Engineering and Information Technology > Institute for Telecommunications > Signal Processing
Date Deposited: 13 Jun 2016 11:56
Last Modified: 09 Jul 2020 01:18
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/5493
PPN: 381542343
Export:
Actions (login required)
View Item View Item