Effects of Evaluative Conditioning on Early Sensory Processing

The goal of this thesis is to investigate whether valence, the emotional value associated with a perceived item, has an effect on early visual processing, with “early” referring to an initial and immediate stage in the processing chain. A series of experiments were designed, and the results are presented in three related manuscripts containing five experiments with 216 participants in total. For this thesis, iconic memory, the ultra-short representation of incoming stimuli in memory, was of interest initially. As there was only one study to be found that provided evidence of an effect of valence on iconic memory using affective images of positive and negative content as well as of neutral content as a control, this study was repeated with the original and an improved methodology to confirm that the effect of valence was replicable. The pre-registered replication study essentially confirmed the observations of the original study and extended them using a different answering methodology. In both experiments, participants were able to answer more accurately when negative or positive target stimuli were presented compared to when neutral targets were shown. In the first experiment, heightened initial availability in iconic memory for positive and negative targets was present. In addition, information on positive and negative targets was more likely to be selected for transfer to short-term memory than on neutral targets. A slower decay of negative targets in iconic memory was only found for the second half of the first experiment. The results of the second experiment confirmed the valence effect, with participants being more accurate for positive and negative targets than for neutral targets. In the second experiment, a higher likelihood of transfer to short-term memory for positive and negative targets was confirmed compared to neutral targets. However, the stimuli used in the iconic memory experiments have an inherent positive or negative valence and other aspects like visual differences of the stimuli might have caused the differences in response. For example, one negative image was a spider, and a neutral image was a fish. The thin lines of the spider legs combined with the central dot of a body compared to the more rounded shape of the fish might have led to the differences in retrievability rather than valence per se.

Hence, in the subsequent experiment, a method called evaluative conditioning was used to change the valence of neutral stimuli, which were similar in appearance. Evaluative conditioning can be described as the change in the appraisal of a stimulus due to it being paired with another affective stimulus. For example, a set of Mayan hieroglyphs unknown to the observer might be paired with an unpleasant tone. Note that the modality of the to-be-conditioned stimulus (CS; the Mayan hieroglyphs in the example) and the affective unconditioned stimulus (US; the unpleasant tone in the example) need not be the same. In the experiment, the valence of the initially neutral visual line patterns was modified using evaluative conditioning. These stimuli were then presented in an iconic memory test. It turned out that the altered valence due to evaluative conditioning also affected iconic memory, but differently, than inherent valence did in the prior experiments. Instead of participants being generally more accurate for affective targets in the iconic memory test, participants were only more accurate for positively conditioned targets. Accuracy was lower for negatively conditioned targets than for neutral targets. Like in the first experiments, the likelihood of transfer of target information to short-term memory was higher for positive targets than for neutral targets. This was not the case for negative targets. Initial availability did not differ between the targets, nor did decay in iconic memory. Thus, the results of the experiments that were conducted were not identical, but further evidence has been found that inherent and conditioned valence affect iconic memory. In addition, based on the observations made in the conducted experiments, it was concluded that information transfer to short-term memory appears to be the key part affected by valence.

Note, however, that inherent valence has been found to guide attention, and attention can affect iconic memory. Hence, the last experiments reported in this thesis explore whether conditioned valence affects visual attention similarly. Visually similar stimuli were either conditioned to gain negative or positive valence or were in the neutral pairing condition. Afterwards, these CSs were presented as targets in a visual search task with four different difficulty levels. The easiest condition consisted of a smaller set of eight stimuli in the search area and the search type of feature search. Participants only needed one feature to identify the target in the feature search condition. The most difficult condition was the larger set of 16 stimuli in the search area and conjunction search. In the conjunction search condition, at least two features needed to be combined to identify the target in the visual search area. The other two conditions were the other possible combinations of set size and search type. While the results were not as clear-cut as in the three experiments reported on iconic memory, the results provided an indication that valence might affect visual attention. Shorter search times were observed for negatively conditioned stimuli compared to neutral ones in the more difficult condition of 16 stimuli in the search area. Surprisingly, it did not matter which search type condition was present. In contrast to this first observation, an opposite effect was found for positively conditioned stimuli. Participants were slower to find positively conditioned targets than neutral ones in the easier condition, again independent of the search type condition. These observations were made even though the expected evaluative conditioning effects were absent in the explicit CS ratings of the participants. Particularly this last result contributes to the discussion about which theoretical account might be best to explain the evaluative conditioning effect. There are two major theoretical accounts, the associative and the propositional account. The first account states that the valence change is rather automatic and does not need any conscious thought, while the second account sees conscious thought on the CS-US relationship as a key aspect necessary for an evaluative conditioning effect to be observable. Another key difference is in the durability of the evaluative conditioning effect. While the evaluative conditioning effect should not diminish over time in accordance with the associative account, this is not the case according to the propositional account. Time, as well as repeated sole presentations of the CSs, are only two examples of how the evaluative conditioning effect might be reduced and, therefore, not be observable in explicit CS ratings. Hence, the propositional account is able to provide an explanation for why there was no evaluative conditioning effect observable in the explicit CS ratings but a conditioned valence effect in the visual search times. To summarize: All five experiments reported in the three manuscripts in this thesis indicate that valence plays a role in early visual processing. This can be seen in the results of the first two experiments, in which the inherent valence of the stimuli increased accuracy in the iconic memory test. It was further confirmed by the third experiment on iconic memory when valence was induced experimentally via evaluative conditioning. In addition, it was found in the last two experiments reported in this thesis when evaluatively conditioned stimuli were targets in visual search tasks of different difficulty. Even though there were no explicit effects on valence ratings, complex ‘implicit’ effects of conditioned valence on visual search times were observed.

Ziel dieser Arbeit ist es zu untersuchen, ob Valenz, der emotionale Wert eines Reizes, Einfluss auf die frühe visuelle Verarbeitung hat. Mit „früh“ ist hierbei die initiale und unmittelbare Stufe der Verarbeitung gemeint. Insgesamt wurden fünf Experimente mit insgesamt 216 Teilnehmenden durchgeführt, deren Ergebnisse in drei Manuskripten berichtet werden, von denen zwei bereits in Fachzeitschriften veröffentlicht sind. Im ersten Teil steht das ikonische Gedächtnis im Fokus, eine Art Ultrakurzzeitgedächtnis für visuelle Reize. Da bisher lediglich eine einzige Untersuchung Hinweise auf einen Valenzeffekt im ikonischen Gedächtnis erbracht hatte, wurde diese in präregistrierten Experimenten mit den dort verwendeten Bildreizen und sowohl mit der Original-Untersuchungsmethode als auch mit verbesserter Methodik repliziert. Beide Experimente bestätigten im Wesentlichen den ursprünglichen Befund: Versuchspersonen antworteten genauer, wenn die zu erkennenden Reize positiver oder negativer Valenz waren, als wenn sie neutral waren. Im ersten Experiment zeigte sich zudem eine erhöhte initiale Verfügbarkeit positiver und negativer Zielstimuli sowie eine höhere Wahrscheinlichkeit, dass deren Informationen in das Kurzzeitgedächtnis übertragen wurden. Ein verlangsamter Zerfall negativer Zielstimuli im ikonischen Gedächtnis – wie er in der früheren Untersuchung beobachtet worden war – wurde lediglich in der zweiten Hälfte dieses Experiments beobachtet. Auch das zweite Experiment bestätigte den Valenzeffekt, einschließlich einer erhöhten Transferwahrscheinlichkeit von positiven und negativen Stimuli ins Kurzzeitgedächtnis. Da die verwendeten affektiven Bilder sich jedoch auch in ihren visuellen Eigenschaften unterschieden, kann nicht ausgeschlossen werden, dass Unterschiede in der Abrufbarkeit auf visuelle Merkmale und nicht auf die Valenz zurückzuführen sind. So war zum Beispiel ein Bild in der negativen Kategorie eine Spinne und in der neutralen Kategorie ein Fisch. Die dünnen Linien der Spinnenbeine zusammen mit dem zentralen Punkt des Spinnenkörpers im Vergleich zur kompakteren runden Form des Fisches könnten zur leichteren Abrufbarkeit geführt haben, anstatt der Valenz.

Deshalb wurden in den weiteren Experimenten neutrale, visuell ähnliche Stimuli eingesetzt, denen mittels evaluativer Konditionierung überhaupt erst eine Valenz aufgeprägt wurde. Unter evaluative Konditionierung versteht man die Valenzänderung eines neutralen Stimulus (conditioned stimulus, CS), wenn dieser wiederholt mit einem affektiven Stimulus (unconditioned stimulus, US) gepaart wird. So kann zum Beispiel eine dem Betrachtenden unbekannte Maya-Hieroglyphe mit einem unangenehmen Ton präsentiert werden. Dies ist ein Beispiel, welches zeigt, dass der CS (hier die Maya-Hieroglyphe) und der US (hier der unangenehme Ton) nicht derselben Modalität angehören müssen. In einem weiteren Experiment wurde also die Valenz von ursprünglich neutralen Linienzeichnungen durch evaluative Konditionierung verändert. Die so veränderten Stimuli wurden dann in einem ikonischen Gedächtnistest präsentiert. Auch hier zeigte sich ein Einfluss der Valenz, jedoch in veränderter Form: Der Anteil richtiger Antworten war für positiv konditionierte Stimuli erhöht, während diese für negativ konditionierte Stimuli niedriger war als für neutrale. Wie in den ersten beiden Experimenten war die Wahrscheinlichkeit des Transfers der Information von positiven Stimuli ins Kurzzeitgedächtnis höher als für neutrale. Dies war jedoch nicht der Fall für negative Stimuli. Unterschiede in der initialen Verfügbarkeit im ikonischen Gedächtnis und im Zerfall von Information traten nicht auf. Die Ergebnisse aller Experimente sind somit nicht identisch, doch zeigte sich, dass sowohl inhärente wie auch konditionierte Valenz das ikonische Gedächtnis beeinflussen. Der Transfer ins Kurzzeitgedächtnis scheint dabei ein zentraler Mechanismus zu sein.

Da bereits gezeigt wurde, dass inhärente Valenz die visuelle Aufmerksamkeit steuern kann, wurde in zwei weiteren Experimenten untersucht, ob auch konditionierte Valenz die visuelle Aufmerksamkeit beeinflusst. Hierzu wurden visuell ähnliche Stimuli entweder negativ oder positiv konditioniert oder, in der Kontrollbedingung, mit neutralen Bildern gepaart. Die so konditionierten Stimuli wurden anschließend als Zielreize in einer visuellen Suchaufgabe in vier Schwierigkeitsstufen präsentiert. In der leichtesten Bedingung mit acht Stimuli im Suchfeld und einer Merkmalssuche genügte ein Merkmal des Zielreizes, um diesen zu identifizieren. In der schwierigsten Bedingung wurden 16 Stimuli im Suchfeld gezeigt und eine Konjunktionssuche induziert. Für eine Konjunktionssuche müssen mindestens zwei Merkmale kombiniert werden, um einen Zielreiz zu finden. Die zwei weiteren Bedingungen ergaben sich aus den übrigen Kombinationsmöglichkeiten der Anzahl der Stimuli im Suchfeld und der Art der Suche. Die Ergebnisse fielen weniger eindeutig aus als in den ikonischen Gedächtnisexperimenten, deuteten jedoch ebenfalls auf einen Einfluss der Valenz hin. Negative konditionierte Zielreize wurden in der schwierigeren Bedingung mit 16 Stimuli im Suchfeld schneller gefunden als neutrale Zielreize und dies war unabhängig von der Art der Suche. Für positiv konditionierte Reize zeigte sich ein gegenteiliger Effekt: Sie wurden in der leichteren Bedingung mit nur acht Stimuli im Suchfeld langsamer identifiziert als neutrale Reize, ebenfalls unabhängig von der Art der Suche. Dieser Effekt der Valenz auf die Suchzeiten konnte beobachtet werden, obwohl der evaluative Konditionierungseffekt nicht in den expliziten Valenzbewertungen der Reize zu sehen war, es also schien, als sei die Konditionierung nicht gelungen. Diese Beobachtung trägt zur Diskussion über die theoretischen Modelle evaluativer Konditionierung bei. Während der assoziative Ansatz eine automatische Valenzänderung postuliert, ohne dass diese bewusst werden muss, betont der propositionale Ansatz die Rolle bewusster Wahrnehmung der CS-US-Beziehung. Ein weiterer zentraler Unterschied ist die Beständigkeit des Konditionierungseffekts. Nach dem assoziativen Ansatz nimmt die Ausprägung des Effekts nicht ab, während der propositionale Ansatz die Möglichkeit der Abschwächung des Effekts postuliert, welche durch das Vergehen von Zeit oder auch die alleinige Präsentation des konditionierten Reizes (Löschung) hervorgerufen werden kann. Der propositionale Ansatz kann somit erklären, warum wir trotz fehlender expliziter Bewertungsänderungen Effekte in den Suchzeiten sehen. Zusammenfassend zeigen alle fünf Experimente, dass Valenz eine Rolle in der frühen visuellen Verarbeitung spielt. Dies zeigte sich zunächst im ikonischen Gedächtnis, wo sowohl inhärente als auch konditionierte Valenz den Abruf aus dem Gedächtnis beeinflussten. Darüber hinaus konnte in den visuellen Suchaufgaben der Einfluss konditionierter Valenz auf die visuelle Aufmerksamkeit beobachtet werden, welcher von der Schwierigkeit der Aufgabe abhing. Wenn auch keine expliziten Bewertungsänderungen auftraten, waren komplexe „implizite“ Effekte der Valenz in den Suchzeiten erkennbar.