TU Darmstadt / ULB / TUprints

On Modelling the Human Pupil Light Response and Developing a Deep Learning-Driven Spectral Optimisation Framework to Simulate the Metameric Limits of the Melanopic Stimulus Space

Zandi, Babak (2022)
On Modelling the Human Pupil Light Response and Developing a Deep Learning-Driven Spectral Optimisation Framework to Simulate the Metameric Limits of the Melanopic Stimulus Space.
Technische Universität Darmstadt
doi: 10.26083/tuprints-00021771
Ph.D. Thesis, Primary publication, Publisher's Version

[img] Text
Copyright Information: CC BY-SA 4.0 International - Creative Commons, Attribution ShareAlike.

Download (218MB)
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: On Modelling the Human Pupil Light Response and Developing a Deep Learning-Driven Spectral Optimisation Framework to Simulate the Metameric Limits of the Melanopic Stimulus Space
Language: English
Referees: Khanh, Prof. Dr. Tran Quoc ; Dörsam, Prof. Dr. Edgar
Date: 2022
Place of Publication: Darmstadt
Collation: xix, 189 Seiten
Date of oral examination: 12 July 2022
DOI: 10.26083/tuprints-00021771

The human pupil diameter is of interest in lighting-related research due to its role in regulating the retinal irradiance and its impact on the visual acuity. In the field of cognitive psychology, transient pupil diameter changes could be used to assess physiological body states, such as the cognitive workload, sleepiness or arousal. Technical concepts are also being explored in medical diagnostics, aiming to leverage temporal pupil size changes as a non-invasive biomarker, e.g., in pain monitoring to regulate the administration of anaesthetics or the early detection of neurodegenerative diseases such as Alzheimer’s. Until the turn of the millennium, it was widely assumed that the pupillary light reflex is controlled by the same type of photoreceptors responsible for visual processing. However, recent studies revealed that the afferent pupil control pathway is affected by an interaction of intrinsically photosensitive retinal ganglion cells (ipRGCs) and photoreceptors in the outer retina (cones and rods). Thus, the spectral dependence of the pupil cannot be described by the luminous efficiency function V(λ) alone. Although the last two decades of neurophysiological research revealed new insights into how the pupil control works, empirical pupil models remained largely unchanged. Hence, they are time-invariant and can only predict the pupil diameter as a function of a V(λ)-weighted quantity. In fact, after more than 100 years of pupil light response research, still no unified model exists that could predict the temporal pupil diameter as a function of distinct light spectra. Therefore, one main objective of this work is to develop an approach to model the time- and spectral-dependent behaviour of the afferent pupil control pathway, allowing temporal pupil diameter predictions as a function of photometric quantities in the future. In this work, an end-to-end measurement setup consisting of a temperature-controlled 15-channel LED luminaire for generating light spectra and a pupillometry system for empirically collecting human pupil size data was developed for investigating the pupil’s light response. In addition, a novel spectral optimisation method is presented, useful to control multi-channel LED luminaires and to engineer arbitrary polychromatic spectra from photometric quantities whose optimised spectra could be used in pupil examinations. In terms of computation time, the presented metameric optimisation method is by a factor of ∼32 (113.8 ± SD 74 optimised spectra per second) faster than the genetic algorithm (3.6 ± SD 0.8 optimised spectra per second), a method that is recommended in the literature. A total of 490 000 metameric spectra were optimised for 561 chromaticity coordinates in the CIEu’v’- 1976 colour space along the Planckian locus (2700 K to 7443 K, Duv 0 to ±0.048 in Duv steps of ±0. 003) with the developed spectral optimisation method to determine the extent to which the melanopic illuminance of a light spectrum could be varied while leaving the photopic illuminance (Ev = 250 lx) and chromaticity (∆u′, ∆v′ ≤ 0.001) unchanged. Metameric spectra could be applied, for example, to affect the pupil size or the human’s circadian system in interior lighting systems without altering the visual appearance of the illuminated environment concerning chromaticity and (il)luminance. The larger the melanopic contrast between two metameric spectra, the more a non-visual responses could be varied. Previous works in the literature tended to leverage a lower number of metameric spectra for a limited chromaticity range to analyse the capabilities of metamerism, e.g., a recent study analysed six metameric spectra for three target chromaticity coordinates. Therefore, the built database of optimised metameric spectra and the scale of analysis conducted in this work can be considered the most comprehensive in the science of spectral optimisation. Based on the optimised spectra, it was found that the maximum reachable melanopic Michelson contrast ranges between 0.16 and 0.18 if metameric spectra are considered that feature a colour fidelity index of Rf ≥ 85 and Rf,h1 ≥ 85. For example, with a melanopic Michelson contrast of 0.16, the melanopic illuminances could be varied from 135 lx to 185 lx without altering the photopic illuminance (Ev = 250 lx) or chromaticity coordinate (∆u′, ∆v′ ≤ 0.001) of the metameric light spectra. For each used chromaticity target, the upper and lower limits of the melanopic illuminance were identified while keeping the photopic illuminance steady (Ev = 250 lx). Then, the metameric limits of the melanopic stimulus space were mapped into a colour space, capable of indicating the maximum achievable melanopic contrast at steady photopic illuminance (Ev = 250 lx) for each chromaticity coordinate (∆u′, ∆v′ ≤ 0.001). Such a map might be useful for upcoming spectral optimisation tasks to specifically identify chromaticity locations where the highest melanopic contrasts via metameric spectra could be reached without affecting the visual appearance concerning chromaticity and (il)luminance. In terms of the pupil modelling topic, a literature review was conducted, revealing that eight relevant time-invariant pupil formulas have been proposed from 1926 to 2012, which can predict the equilibrium- state pupil size using a V(λ)-based photometric quantity. Therefore, a benchmarking was performed as a first step to determine the prediction accuracy of three selected luminance-based pupil models (Crawford model, De Groot & Gebhard model, Watson & Yellott model). It was found that for white light spectra with correlated colour temperatures (CCTs) between 2000 K and 10 000 K (L ≈ 100 cd/m2), the pupil models’ prediction errors are within a pre-defined tolerance range of ±0.5 mm when considering the equilibrium-state pupil size. Therefore, with longer light exposures (60 to 300 seconds), it could be possible to empirically describe (approximation) the spectral-dependent sustained pupil size using the luminance. The results indicate that when using the tested white light stimuli with a steady luminance of ∼100 cd/m2, the pupil models’ lack of time dependence might be a more significant source of error than the missing consideration of ipRGCs since the prediction of the short-term pupil light response (one second after light exposure) yields a deviation of 0.71 mm ± SD 0.15 mm (Watson & Yellott model). If chromatic spectra (peak wavelengths: 450nm, 530nm, 610nm, 660nm) at a steady luminance of ∼100 cd/m2 are used to trigger the pupil light response, however, the prediction error of the tested V(λ)-based pupil models could reach about 1.21 mm for the equilibrium-state pupil size. As an alternative to the existing empirical V(λ)-based pupil models, a novel modelling approach using feed-forward neural networks was developed, allowing to predict the temporal pupil size in response to chromatic (L ≈ 100 cd/m2, peak wavelengths: 450 nm, 530 nm, 610 nm, 660 nm) and polychromatic spectra (L ≈ 100 cd/m2, CCTs: 2007 K, 4983 K, 10 138 K) with a mean absolute error below 0.1 mm. The method allows the reconstruction of the pupil’s temporal behaviour as a function of distinct lighting metrics for the first time. However, the prediction space of the introduced modelling approach is currently limited to the measured data, which were collected using a steady luminance of ∼100 cd/m. Further, for validating the modelling approach, the training dataset was used, as the methodological development of a pupil modelling approach was the focus of this work. As a next crucial step, the model’s prediction accuracy needs to be validated more extensively using pupil size data that are not applied during the training of the neural networks. Thus, the proposed deep learning-based modelling approach is, in its current state, not capable nor intended to replace existing V(λ)-based pupil models due to the missing validation and limited prediction space. However, due to the integrated neural networks, it is hypothesised that the prediction space could be further generalised as the amount of pupil size data increases in the future. More data must be obtained empirically to face this topic. Compared to the methodological approach of previously published luminance-based pupil formulas, the proposed deep learning-based pupil modelling method could account for adaptive receptor weighting, reconstruct the entire temporal pupil light response, and perhaps pave the way for a unified model of the afferent pupil control pathway in the future.

Alternative Abstract:
Alternative AbstractLanguage

Der Pupillendurchmesser ist unter anderem aufgrund seiner Funktion bei der Regulierung der retinalen Bestrahlungsstärke und seines Einflusses auf die visuelle Sehschärfe von wesentlichem Interesse in der Lichttechnik. Auf dem Gebiet der kognitiven Psychologie können transiente Pupillendurchmesseränderungen zur Charakterisierung von physiologischen Körperzuständen wie der kognitiven Arbeitsbelastung, der Schläfrigkeit oder Erregung genutzt. Auch in der medizinischen Diagnostik werden technische Konzepte erforscht, um den Pupillendurchmesser als nicht-invasiven Biomarker zu nutzen, wie beispielsweise in der Schmerzüberwachung zur Regelung der Anästhetikagabe oder der Früherkennung von neurodegenerativen Erkrankungen wie Alzheimer. Bis zur Jahrtausendwende wurde angenommen, dass der Pupillenlichtreflex von denselben Photorezeptoren gesteuert wird, die auch für die visuelle Verarbeitung des Sehsystems verantwortlich sind. Mittlerweile belegen Studien, dass der afferente Pupillenkontrollpfad durch eine Interaktion der intrinsischen photosensitiven Ganglienzellen (ipRGCs) und Photorezeptoren der äußeren Netzhaut (Zapfen und Stäbchen) gesteuert wird. Somit kann die spektrale Abhängigkeit der Pupille nicht allein mit der Hellempfindlichkeitskurve V(λ) beschrieben werden. Obwohl die neurophysiologische Grundlagenforschung der letzten zwei Jahrzehnte neue Erkenntnisse zum Pupillenlichtreflex offenbarte, blieben empirische Pupillenmodelle weitestgehend unverändert; sie sind zeitinvariant und können den Pupillendurchmesser nur als Funktion einer V(λ)-gewichteten Größe vorhersagen. Nach mehr als 100 Jahren Pupillenforschung existiert kein vereinheitlichtes Modell, welches es ermöglicht, den zeitlichen Pupillendurchmesser als Funktion von unterschiedlichen Lichtspektren vorherzusagen. Daher ist ein Hauptziel dieser Arbeit, einen Ansatz zur Modellierung des zeit- und spektralabhängigen Pupillenkontrollpfades zu entwickeln, um die Vorhersage des Pupillendurchmessers aus photometrischen Größen zukünftig realisieren zu können. In dieser Arbeit wird zur Untersuchung des Pupillenlichtreflexes eine Messplattform, bestehend aus einer temperaturgeregelten 15-Kanal LED-Leuchte für die Erzeugung von Lichtspektren und ein Pupillometriesystem zur empirischen Erfassung des menschlichen Pupillendurchmessers entwickelt. Zudem wird ein neuartiges spektrales Optimierungsverfahren zur Ansteuerung von Mehrkanal-LED-Leuchten vorgestellt, welches aus photometrischen Kenngrößen polychromatische Spektren generiert, die in Untersuchungen eingesetzt werden können. Hinsichtlich der Berechnungszeit ist das Optimierungsverfahren um den Faktor ∼32 schneller (113.8 ± SD 74 optimierte Spektren pro Sekunde) als der in der Literatur empfohlene genetische Algorithmus (3.6 ± SD 0.8 optimierte Spektren pro Sekunde). Mittels des entwickelten Optimierungsverfahrens werden für 561 Farborte im CIEu’v’-1976 Farbdiagramm entlang des Plankschen Lokus (2700 K bis 7443 K, Duv 0 bis ±0.048 in Duv-Schritten von ±0.003) insgesamt 490 000 metamere Spektren optimiert, um herauszufinden inwieweit die melanopische Beleuchtungsstärke eines Lichtspektrums variiert werden kann, während die photopische Beleuchtungsstärke (Ev = 250 lx) und der Farbort (∆u′, ∆v′ ≤ 0.001) unverändert bleiben. Metamere Spektren können beispielsweise dazu genutzt werden, um in der Innenraumbeleuchtung den Pupillendurchmesser oder das zirkadiane System des Menschen zu beeinflussen, ohne dass Beobachter eine visuelle Änderung der Beleuchtung wahrnehmen. Je größer der melanopische Kontrast zwischen zwei metameren Spektren desto stärker könnte sich die nicht-visuellen Wirkung variieren lassen. Vorherige Simulationen in der Literatur betrachteten eher eine einstellige Anzahl von metameren Spektren für einen begrenzten Farbortbereich. Beispielsweise analysierte eine kürzlich veröffentlichte Studie sechs metamere Spektren für drei Zielfarborte. Daher kann die in dieser Arbeit entwickelte Datenbank von optimierten metameren Spektren und deren Analyse zu einer der umfangreichsten in der Disziplin der spektralen Optimierung bezeichnet werden. Es wurde festgestellt, dass der maximale erreichbare melanopische Michelson-Kontrast zwischen 0.16 und 0.18 liegen kann, wenn metamere Spektren berücksichtigt werden, die eine Farbtreue von Rf ≥ 85 und Rf,h1 ≥ 85 aufweisen. Beispielsweise könnte mit einem melanopischen Michelson-Kontrast von 0.16 die melanopische Beleuchtungsstärke von 135 lx auf 185 lx variiert werden, ohne dass die photopische Beleuchtungsstärke (Ev = 250lx) oder der Farbort (∆u′,∆v′ ≤ 0.001) der Lichtspektren verändert wird. Für jeden verwendeten Zielfarbort wurde das obere und untere Limit der melanopischen Beleuchtungsstärke bei gleichbleibender photopischer Beleuchtungsstärke (Ev = 250 lx) identifiziert. Die metameren Grenzen des melanopischen Stimulusraums wurden kartiert und in ein Farbdiagramm projiziert, welcher für jeden Farbort (∆u′, ∆v′ ≤ 0.001) den maximal erreichbaren melanopischen Kontrast bei gleichbleibender photopischer Beleuchtungsstärke (Ev = 250 lx) angibt. Diese Kartierung könnte für zukünftige spektrale Optimierungsaufgaben genutzt werden, um gezielt Farborte zu identifizieren, in denen die höchsten melanopischen Kontraste zwischen metameren Spektren erreicht werden können, ohne eine visuelle Änderung der Lichtfarbe für den Standardbeobachter hervorzurufen. In Bezug zur Pupillenmodellierung wurde zunächst eine Literaturrecherche durchgeführt die ergab, dass von 1926 bis 2012 acht relevante zeitinvariante Pupillenmodelle vorgeschlagen wurden, welche mittels einer V(λ)-gewichteten photometrischen Kenngröße den Pupillendurchmesser im adaptierten Zustand vorhersagen können. Daher wurde ein Benchmarking durchgeführt, um die Vorhersagegenauigkeit von drei ausgewählten Leuchtdichte-basierten Pupillenmodellen (Crawford Modell, De Groot & Gebhard Modell, Watson & Yellott Modell) zu bestimmen. Es wurde herausgefunden, dass sich für Weißlichtspektren mit einer ähnlichsten Farbtemperatur zwischen 2000K und 10000K (L ≈ 100cd/m2) die Vorhersagefehler innerhalb eines vordefinierten Toleranzbereichs von ±0.5 mm liegen können, wenn der Pupillendurchmesser im adaptierten Zustand betrachtet wird. Daher könnte es insbesondere bei längeren Lichtexpositionen (60 bis 300 Sekunden) möglich sein, die spektralabhängige (adaptierte) Pupillengröße näherungsweise mittels der Leuchtdichte empirisch zu beschreiben. Die ermittelten Ergebnisse deuten darauf hin, dass bei der Verwendung der getesteten Weißlichtspektren die fehlende Zeitabhängigkeit existierender Pupillenmodelle eine größere Fehlerquelle sein könnte als die fehlende Berücksichtigung der ipRGCs, da die Vorhersage des kurzzeitigen Pupillenlichtreflexes (eine Sekunde nach Lichtexposition) einen Fehler von 0.71 mm ± SD 0.15 mm (Watson & Yellott Modell) ergibt. Werden chromatische Spektren zur Modulation des Pupillenlichtreflexes genutzt (Spitzenwellenlängen: 450 nm, 530 nm, 610 nm, 660 nm), so kann der Vorhersagefehler der Leuchtdichte-basierten Pupillenmodelle etwa 1.21 mm für den adaptierten Pupillendurchmesser erreichen. Als Alternative zu den existierenden empirischen Pupillenmodellen, wurde ein neuartiger Modellierungsansatz mit vorwärtsgerichteten neuronalen Netzwerken entwickelt, welcher es ermöglichen kann, die zeitliche Pupillenlichtreaktion von chromatischen (L ≈ 100 cd/m2, Spitzenwellenlängen: 450 nm, 530 nm, 610 nm, 660 nm) und polychromatischen Spektren (L ≈ 100 cd/m2, ähnlichste Farbtemperatur: 2007 K, 4983 K, 10 138 K) mit einem mittleren absoluten Fehler von unter 0.1 mm vorherzusagen. Damit ermöglicht der Ansatz erstmals, das zeitliche Verhalten der Pupille als Funktion von unterschiedlichen Lichtmetriken zu rekonstruieren. Der Vorhersagebereich ist jedoch derzeit auf die gemessenen Daten limitiert. Außerdem wurde zur Validierung des Modellierungsansatzes der Trainingsdatensatz selbst verwendet, da in dieser Arbeit die methodische Entwicklung des Ansatzes im Vordergrund stand. In Zukunft muss die Vorhersagegenauigkeit umfassender und spezifischer mit Daten validiert werden, die beim Training der neuronalen Netzwerke nicht eingesetzt wurden. Durch die integrierten neuronalen Netzwerke könnte es jedoch zukünftig möglich sein, den Vorhersagebereich mit zunehmender Datenbasis weiter zu generalisieren. Im Vergleich zum methodischen Ansatz der bisher veröffentlichten V(λ)-gewichteten Pupillenmodellen könnte der vorgestellte Ansatz die adaptive Rezeptorgewichtung berücksichtigen, den kompletten zeitlichen Pupillenlichtreflex rekonstruieren und womöglich ein Wegbereiter für die vereinheitlichte Modellierung des afferenten Pupillenkontrollpfades sein.

Status: Publisher's Version
URN: urn:nbn:de:tuda-tuprints-217716
Classification DDC: 600 Technology, medicine, applied sciences > 620 Engineering and machine engineering
Divisions: 18 Department of Electrical Engineering and Information Technology > Adaptive Lighting Systems and Visual Processing
Date Deposited: 01 Aug 2022 11:35
Last Modified: 16 Dec 2022 12:49
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/21771
PPN: 499051424
Actions (login required)
View Item View Item