TU Darmstadt / ULB / TUprints

Efficient and High Performing Biometrics: Towards Enabling Recognition in Embedded Domains

Boutros, Fadi (2022)
Efficient and High Performing Biometrics: Towards Enabling Recognition in Embedded Domains.
Technische Universität Darmstadt
doi: 10.26083/tuprints-00021571
Ph.D. Thesis, Primary publication, Publisher's Version

[img] Text
20_4_2022_Thesis_Fadi_Boutros.pdf
Copyright Information: CC BY-SA 4.0 International - Creative Commons, Attribution ShareAlike.

Download (15MB)
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Efficient and High Performing Biometrics: Towards Enabling Recognition in Embedded Domains
Language: English
Referees: Kuijper, Prof. Dr. Arja ; Fellner, Prof. Dr. Dieter W. ; Raja, Prof. Dr. Kiran
Date: 2022
Place of Publication: Darmstadt
Collation: xvi, 219 Seiten
Date of oral examination: 14 June 2022
DOI: 10.26083/tuprints-00021571
Abstract:

The growing need for reliable and accurate recognition solutions along with the recent innovations in deep learning methodologies has reshaped the research landscape of biometric recognition. Developing efficient biometric solutions is essential to minimize the required computational costs, especially when deployed on embedded and low-end devices. This drives the main contributions of this work, aiming at enabling wide application range of biometric technologies.

Towards enabling wider implementation of face recognition in use cases that are extremely limited by computational complexity constraints, this thesis presents a set of efficient models for accurate face verification, namely MixFaceNets. With a focus on automated network architecture design, this thesis is the first to utilize neural architecture search to successfully develop a family of lightweight face-specific architectures, namely PocketNets. Additionally, this thesis proposes a novel training paradigm based on knowledge distillation (KD), the multi-step KD, to enhance the verification performance of compact models. Towards enhancing face recognition accuracy, this thesis presents a novel margin-penalty softmax loss, ElasticFace, that relaxes the restriction of having a single fixed penalty margin.

Occluded faces by facial masks during the recent COVID-19 pandemic presents an emerging challenge for face recognition. This thesis presents a solution that mitigates the effects of wearing a mask and improves masked face recognition performance. This solution operates on top of existing face recognition models and thus avoids the high cost of retraining existing face recognition models or deploying a separate solution for masked face recognition.

Aiming at introducing biometric recognition to novel embedded domains, this thesis is the first to propose leveraging the existing hardware of head-mounted displays for identity verification of the users of virtual and augmented reality applications. This is additionally supported by proposing a compact ocular segmentation solution as a part of an iris and periocular recognition pipeline. Furthermore, an identity-preserving synthetic ocular image generation approach is designed to mitigate potential privacy concerns related to the accessibility to real biometric data and facilitate the further development of biometric recognition in new domains.

Alternative Abstract:
Alternative AbstractLanguage

Der wachsende Bedarf an verlässlichen und genauen Erkennungsmethoden zusammen mit den kürzlichen Fortschritten im Bereich des Deep Learning haben den Forschungsbereich der biometrischen Erkennung grundlegend verändert. Die Entwicklung von effizienten biometrischen Lösungen, die den benötigten Rechenaufwand minimieren ist wichtig, vor allem wenn die biometrischen Methoden auf eingebetteten Systemen oder Low-End-Geräten eingesetzt werden. Hintergrund dieser Arbeit ist daher, einen breiten Anwendungsbereich für biometrische Technologien zu erschließen.

Um eine breitere Anwendung von Gesichtserkennung in Szenarien mit starker Limitierung bezüglich des Rechenaufwands zu ermöglichen, präsentiert diese Thesis eine Reihe von effizienten Gesichtserkennungsmodellen namens MixFaceNets. Mit Fokus auf automatisiertem Netzwerkarchitektur-Design ist diese Thesis die erste, welche Neural Architecture Search einsetzt, um eine Reihe von kompakten Netzwerkarchitekturen, PocketNets, für die Gesichtserkennung zu entwickeln. Des Weiteren präsentiert diese Thesis ein neues auf Knowledge Distillation aufbauendes Trainingsparadigma namens multi-step KD, welches die Verifizierungsperformanz von kompakten Modellen verbessert. Um die Gesichtserkennungsgenauigkeit zu erhöhen, präsentiert diese Thesis zudem eine neuartige margin-penalty softmax loss Funktion, ElasticFace, welche die Einschränkung bezüglich einer festen penalty margin aufhebt.

Die Verdeckung von Teilen des Gesichts durch Gesichtsmasken während der jüngsten COVID-19 Pandemie stellt eine neue Herausforderung für Gesichtserkennungssysteme dar. Diese Thesis präsentiert einen Ansatz, welcher die Effekte der Maske auf die Erkennungsperformanz abschwächt und so die Performanz verbessert. Der vorgestellte Lösungsansatz setzt auf existierende Gesichtserkennungsmodelle auf und vermeidet so zusätzlichen Rechenaufwand aufgrund des erneuten Trainierens oder der Umsetzung eines separaten Lösungskonzepts für maskierte Gesichter.

Mit dem Ziel, biometrische Erkennung in neue eingebettete Domänen einzuführen, wird in dieser Thesis erstmals vorgeschlagen, Head-Mounted Displays für die Identitätsverifizierung von Benutzern von Virtual und Augmented Reality Anwendungen zu benutzen. Hierfür wird zudem eine kompakte Lösung zur Segmentierung der Augen als Teil der Erkennungspipeline vorgeschlagen. Darüber hinaus wird ein identitätserhaltender Ansatz zur Erzeugung synthetischer Bilder von Augen entwickelt, um potenzielle Datenschutzbedenken im Zusammenhang mit dem Zugang zu echten biometrischen Daten zu entkräften und die Weiterentwicklung der biometrischen Erkennung in neuen Bereichen zu erleichtern.

German
Status: Publisher's Version
URN: urn:nbn:de:tuda-tuprints-215713
Classification DDC: 000 Generalities, computers, information > 004 Computer science
Divisions: 20 Department of Computer Science > Interactive Graphics Systems
Date Deposited: 15 Jul 2022 09:12
Last Modified: 08 Aug 2022 12:40
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/21571
PPN: 497909480
Export:
Actions (login required)
View Item View Item