TU Darmstadt / ULB / TUprints

Response Synchrony and Response Patterning of Psychophysiological Parameters in Emotion

Dejá, Marlene (2018):
Response Synchrony and Response Patterning of Psychophysiological Parameters in Emotion.
Darmstadt, Technische Universität,
[Ph.D. Thesis]

Dissertation_tuprints_Deja_2018_final.pdf - Accepted Version
Available under: CC-BY-NC-ND 4.0 International - Creative Commons, Attribution NonCommercial, NoDerivs.

Download (7MB) | Preview
Item Type: Ph.D. Thesis
Title: Response Synchrony and Response Patterning of Psychophysiological Parameters in Emotion
Language: English

An emotional experience is associated with changes in behavior (e.g., facial expression), physiological parameters (e.g., increased heart rate), and subjective experience (e.g., feeling anxious). The different response parameters are said to be changing synchronously during an emotion in order to ensure an optimal reaction to the triggering stimulus (e.g., to flee from a bear; Ekman, 1992; Levenson, 1994). The common simultaneous change over time is referred to as response synchrony (Bulteel et al., 2014). According to the basic emotion approaches, synchrony is regarded as an essential component of emotional experience (Ekman, 1992). In empirical studies, however, the results concerning the synchrony of different response parameters are diverse (Hollenstein & Lanteigne, 2014). The lack of empirical support may be due to the complex multivariate and non-stationary data structure which have a large effect on methods that make over-simplifying assumptions. For instance, previous approaches for quantifying synchrony disregarded the non-stationarity of the data, that is the fluctuation of mean and variance over time, and analyzed data only on an interindividual level (e.g., averaging over several individuals). The possibility to describe synchrony in the course of time or to provide evidence of synchrony in single individuals is thus not given. On the other hand, there are theoretical approaches such as psychological construction approaches that question the necessity of synchrony for an emotional experience (e.g., Barrett, 2006a; Cunningham, Dunfield, & Stillman, 2013). Therefore, one aim of this doctoral thesis was to develop and to apply a new approach to quantify physiological synchrony. Related to the question of the synchronous change of physiological parameters is the question whether individuals or even different emotional states can be correctly classified based on changes in physiological parameters. Here, the focus lies on the change of physiological parameters to a specific pattern depending on the evoked emotion which is described by the term response patterning (Bulteel et al., 2014). The majority of the studies collect data to classify individuals or emotions only on one measurement occasion. Such a procedure neglects the daily variations and intraindividual changes of physiological data at different times and tends to overestimate the accuracy of the classification (R. A. Calvo, Brown, & Scheding, 2009; Picard, Vyzas, & Healey, 2001). For this reason, another aim of this doctoral thesis was the classification of individuals and emotions when data were collected at two different measurement occasions.

This cumulus contains three Manuscripts. The aim of Manuscript A (N = 58) was to develop a new time-frequency-based approach to quantify synchrony of physiological parameters on a latent level. Using the new approach, multivariate and non-stationary time series can be analyzed on an intraindividual level. The quantification of synchrony consists of two steps. In a first step, time-varying bivariate coherences of two physiological signals (e.g., electrocardiogram and electrodermal activity) are calculated. Due to the joint time-frequency-based approach, the non-stationarity of the data is taken into account. In a second step, these bivariate coherences are used in a state-space model as manifest indicator variables to form a latent synchrony variable at time t. The synchrony measure can take values between 0 and 1, where 0 means that the manifest coherences variables are completely uncorrelated and 1 means that they change synchronously. The results showed that the overall physiological synchrony variable was close to 1 in some parts of the film clip which was rated as more funny. Further, a high interindividual variability in the synchrony of physiological parameters was found. Compared to the network approach of Hsieh et al. (2011), the new method is capable of mapping the time course of physiological synchrony and revealing inter- and intraindividual differences. The network approach only returned results that counted for the entire sample under the assumption of stationarity and did not allow for individual variability.

The aim of Manuscript B (N = 42) was the further application of the newly developed approach for the quantification of physiological synchrony. The research question if the synchrony of physiological parameters during the emotional experience of disgust is higher than during a neutral emotional state was addressed. Further, the interindividual variability and the correlation between the subjective intensity level of disgust and the physiological synchrony were investigated. For this, participants were shown neutral and disgusting pictures. The results showed that synchrony was significantly higher shortly after showing a disgusting picture as compared to shortly after showing a neutral picture. At the same time, there were large interindividual differences in the temporal course of synchrony. Further, physiological synchrony started to increase before the actual picture was shown which raises the question, to what extent an orienting response can be responsible for the changes in physiological synchrony. The subjective intensity rating of disgust was measured continuously with a rating dial. It was at a maximum when physiological synchrony had already decreased back to the baseline level. A possible explanation could be motor and cognitive processes which are necessary for turning the rating dial.

The aim of Manuscript C (N = 36) was the classification of individuals and emotions by means of peripheral physiological data. In contrast to many previous studies, data were collected on two measurement occasions with a time interval of six weeks between them. Two well-established methods were applied as classifiers (k-nearest neighbors (KNN) and support vector machines (SVM)) that both take into account the nonlinear separability of the features that were extracted from the data. Pictures and film clips were used to induce fear. Fear could be better differentiated from a neutral state when film clips (77.50% KNN; 81.90% SVM) instead of pictures (64.40% KNN; 66.20% SVM) were used as induction method. Further, initial attempts were made to classify different levels of fear and to compare them with continuous ratings of fear. On a descriptive level, a connection between the classification and the subjective rating could be shown. In addition to the emotion classification task, individuals were classified using features from the electrocardiogram signal. In terms of classifying individuals, the correct classification rate showed a clear decline from 54.53% to 23.16% using the KNN and from 56.70% to 26.93% using the SVM when the training and testing data were from two different measurement occasions. This result demonstrates the high intraindividual variability of physiological data. However, compared to previous results, the classification rates were rather low which could be related to the emotion induction on a rather low intensity level.

In summary, in this doctoral thesis the synchrony of physiological parameters during an emotion is examined. Further, this thesis investigates to what extent physiological changes can be used to distinguish a given emotion from a neutral state. In a general discussion, the results are compared with the prevailing emotion theories. In conclusion, the results of this thesis show that physiological synchrony during an emotion exists with great interindividual differences. The results suggest that future studies on physiological parameters should not be evaluated on an interindividual, aggregated level, but rather consider intraindividual processes.

Alternative Abstract:
Alternative AbstractLanguage

Eine Emotion soll mit Veränderungen im Verhalten (z.B. Gesichtsausdruck), in physiologischen Parametern (z.B. erhöhte Herzfrequenz) und im subjektiven Erleben (z.B. Angst zu empfinden) einhergehen. Die unterschiedlichen Reaktionsparameter sollen sich während einer Emotion synchron verändern, um eine optimale Reaktion gegenüber dem auslösenden Stimulus (z.B. von einem Bären fliehen) zu gewährleisten (e.g., Ekman, 1992; Levenson, 1994). Die gemeinsame, simultane Veränderung über die Zeit wird auch Response Synchronität genannt (Bulteel et al., 2014). Synchronität wird nach den Basic Emotion Theorien als essentieller Bestandteil des emotionalen Erlebens angesehen (Ekman, 1992). In der Empirie sind die Ergebnisse bezüglich Synchronität verschiedener Reaktionsparameter jedoch uneinheitlich (Hollenstein & Lanteigne, 2014). Die mangelnde empirische Bestätigung von Synchronität kann an den komplexen multivariaten und nichtstationären Daten liegen, die einen großen Effekt auf Methoden haben, die die Annahmen über die vorhandene Datenstruktur vereinfachen. Zum Beispiel, bisherige Methoden zur Quantifizierung von Synchronität vernachlässigen die nicht vorhandene Stationarität der Daten, sprich die Schwankungen von Mittelwert und Varianz über die Zeit und analysieren die Daten nur auf einer interindividuellen (d.h. gemittelt über mehrere Personen) Ebene. Die Möglichkeit, Synchronität im Zeitverlauf zu beschreiben oder für einzelne Personen nachzuweisen, ist so nicht gegeben. Auf der anderen Seite gibt es theoretische Ansätze, wie die psychologisch-konstruktivistischen Emotionstheorien, die die Notwendigkeit der Synchronität für ein emotionales Erleben in Frage stellen (e.g., Barrett, 2006a; Cunningham et al., 2013). Ein Ziel dieser Doktorarbeit war daher die Entwicklung und Anwendung einer neuen Methode zur Quantifizierung der Synchronität von physiologischen Parametern. Verwandt mit der Frage der synchronen Veränderung physiologischer Parameter ist die Frage, ob Personen oder auch verschiedene emotionale Zustände aufgrund der Veränderung von physiologischen Parametern korrekt klassifiziert werden können. Dabei liegt der Fokus auf den Veränderungen der physiologischen Parameter zu einem bestimmten Muster, in Abhängigkeit von der hervorgerufenen Emotion. Dies wird auch als Response Muster bezeichnet (Bulteel et al., 2014). Die Mehrzahl der Studien erhebt Daten zur Klassifizierung von Personen oder Emotionen nur an einem Messzeitpunkt. Diese Vorgehensweise vernachlässigt Tagesschwankungen sowie intraindividuelle Veränderungen physiologischer Daten zu unterschiedlichen Zeitpunkten und führt in der Regel zu einer Überschätzung der Klassifikationsrate (R. A. Calvo et al., 2009; Picard et al., 2001). Aus diesem Grund war ein weiteres Ziel dieser Doktorarbeit die Klassifizierung von Personen und Emotionen, wenn Daten zu zwei verschiedenen Messzeitpunkten erhoben wurden.

In diesem Kumulus sind drei Manuskripte enthalten. Ziel von Manuskript A (N = 58) war die Entwicklung einer neuen Zeit-Frequenz basierten Methode auf latenter Ebene zur Quantifizierung von Synchronität physiologischer Parameter. Mit Hilfe der neuen Methode können multivariate und nichtstationäre Zeitreihen auf einem intraindividuellen Level analysiert werden. Die Quantifizierung der Synchronität besteht aus zwei Schritten. Im ersten Schritt werden zeitlich variierende, bivariate Kohärenzen von jeweils zwei physiologischen Signalen (z.B. Elektrokardiogramm und Hautleitfähigkeit) berechnet. Aufgrund des Zeit-Frequenz basierten Ansatzes werden dabei die Nichtstationarität der Daten berücksichtigt. In einem zweiten Schritt werden diese bivariaten Kohärenzen in einem State-Space Modell als manifeste Indikatorvariablen zur Bildung einer latenten Synchronität zum Zeitpunkt t verwendet. Das Synchronitätsmaß kann Werte zwischen 0 und 1 annehmen, wobei 0 bedeutet, dass die manifesten Kohärenz Variablen unkorreliert sind und 1 bedeutet, dass sie sich synchron verändern. Die Ergebnisse zeigten, dass die physiologische Synchronität für den Film, der als "lustiger" bewertet wurde, nahezu 1 war. Ferner, wurde eine hohe interindividuelle Variabilität in der Synchronität physiologischer Parameter gefunden. Im Vergleich zu dem Netzwerkansatz von Hsieh et al. (2011), ist die neue Methode in der Lage den Zeitverlauf von physiologischer Synchronität sowie inter- und intraindividuelle Unterschiede aufzuzeigen. Die Ergebnisse des Netzwerkansatzes galten nur für die gesamte Stichprobe unter der Annahme von Stationarität und bildeten keine individuelle Variabilität ab.

Ziel von Manuskript B (N = 42) war die weitere Anwendung der neu entwickelten Methode zur Quantifizierung physiologischer Synchronität. Dabei sollte die Hypothese geprüft werden, ob die Synchronität physiologischer Parameter während des emotionalen Erlebens von Ekel höher ist als während eines neutralen emotionalen Zustandes. Des Weiteren wurden die interindividuelle Variabilität und der Zusammenhang zwischen der subjektiven Ekelintensität und der physiologischen Synchronität untersucht. Hierfür schauten die Probanden neutrale und eklige Bilder an. Die Ergebnisse zeigten, dass die Synchronität kurz nachdem ein ekliges Bild gezeigt wurde signifikant höher war als kurz nach einem neutralen Bild. Gleichzeitig gab es große interindividuelle Unterschiede im zeitlichen Verlauf. Ferner, fing die physiologische Synchronität an zu steigen, bevor das eigentliche Bild gezeigt wurde. Die subjektive Ekelintensität wurde kontinuierlich mit einem Regler gemessen und war maximal als die physiologische Synchronität bereits wieder auf das Grundniveau gesunken war. Eine mögliche Erklärung könnten motorische und kognitive Prozesse sein, die notwendig sind um den Regler zu drehen.

Ziel von Manuskript C (N = 36) war die Klassifizierung von Personen und Emotionen mit Hilfe von physiologischen Daten. Im Vergleich zu vielen bisherigen Studien wurden anwendungsnah Daten zu zwei verschiedenen Messzeitpunkten mit einem Zeitabstand von sechs Wochen erhoben. Als Klassifizierer wurden zwei etablierte Methoden (k-nearest neighbours (KNN) und support vector machines (SVM)) angewendet, die die nichtlineare Trennbarkeit der Features, die aus den Daten extrahiert wurden, berücksichtigen. Bilder und Filmausschnitte wurden verwendet um Angst zu induzieren. Angst konnte besser von einem neutralen Zustand differenziert werden, wenn Filme (77.50% KNN; 81.90% SVM) anstelle von Bildern (64.40% KNN; 66.20% SVM) als Induktionsmethode verwendet wurden. Des Weiteren wurden erste Versuche unternommen, unterschiedliche Intensitäten von Angst zu klassifizieren und diese mit kontinuierlichen subjektiven Ratings der Angstintensität zu vergleichen. Ein Zusammenhang konnte auf der deskriptiven Ebene gezeigt werden. Zusätzlich zu der Klassifizierung von Emotionen wurden Personen mit Hilfe der Features aus dem Elektrokardiogramm klassifiziert. In Bezug auf die Klassifizierung von Individuen sank die Klassifikationsrate von 54.53% zu 23.16% beim KNN und von 56.70% zu 26.93% beim SVM, wenn die Training- und Testdaten von zwei verschiedenen Messzeitpunkten stammten. Dieses Ergebnis verdeutlich die hohe intraindividuelle Variabilität physiologischer Daten. Dennoch sind die hier berichteten Klassifikationsraten im Vergleich zu bisherigen Studien niedrig. Dies könnte mit der Emotionsinduktion auf einem niedrigen Intensitätsniveau in Zusammenhang stehen.

Zusammenfassend wird in dieser Doktorarbeit die Synchronität von sich verändernden physiologischen Parametern während einer Emotion untersucht. Des Weiteren wird geschaut, inwieweit sich Veränderungen von physiologischen Daten dazu eignen, eine Emotion von einem neutralen Zustand zu unterscheiden. In der allgemeinen Diskussion werden die Ergebnisse in Bezug zu den vorherrschenden Emotionstheorien gesetzt. Im Allgemeinen zeigen die Ergebnisse dieser Arbeit, dass physiologische Synchronität während einer Emotion mit großen interindividuellen Unterschieden existiert. Die Ergebnisse weisen darauf hin zukünftige Studien in Bezug auf physiologische Parameter nicht auf einem interindividuellen, aggregierten Level auszuwerten, sondern intraindividuelle Prozesse zu beachten.

Place of Publication: Darmstadt
Classification DDC: 100 Philosophie und Psychologie > 150 Psychologie
Divisions: 03 Department of Human Sciences > Institute for Psychology > Psychologische und Psychophysiologische Methoden
Date Deposited: 23 Jul 2018 06:45
Last Modified: 09 Jul 2020 02:08
URN: urn:nbn:de:tuda-tuprints-75272
Referees: Ellermeier, Prof. PhD. Wolfgang ; Kelava, Prof. Dr. Augustin ; Muma, Dr. Michael ; Schmitz, Prof. Dr. Bernhard
Date of oral examination: 14 June 2018
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/7527
Actions (login required)
View Item View Item