On Reactivity to Immediate Judgments of Learning

Measurement is an indispensable part of our everyday life. We use thermometers to gauge outside temperatures or clocks to keep on time. While many of those everyday measurements do not alter the observed object, this is not true for all types of measurements – a phenomenon commonly referred to as reactivity. Due to the assumption that learners monitor their learning spontaneously either way, research on people’s knowledge and cognition about their learning and memory (metamemory) has long neglected the possibility that assessing metacognitive monitoring might alter learning and memory itself. However, over the last decade, the examination of reactivity of predictions of one’s future memory performance (immediate judgments of learning, JOLs) has become a hot topic in metamemory research. Extensive research now demonstrates that soliciting JOLs can alter memory performance across diverse study and test conditions. Yet, the field faces several challenges pertaining to establishing JOL reactivity as a phenomenon, explaining its underlying mechanisms, and determining its generalization to educational settings. The aim of this dissertation was to systematically address these challenges and thus to advance the field of JOL reactivity research. I established JOL reactivity as a robust empirical phenomenon and identified the moderating variables that delineate its boundary conditions by conducting a comprehensive meta-analysis on reactivity of immediate JOLs to memory performance. Through theory-driven moderator analyses that test the principal theoretical explanations of JOL reactivity (cue-strengthening account, dual-task account, and changed-goal account), the meta-analysis revealed that none of these accounts provides a comprehensive explanation of the phenomenon. To address the resulting need for new theoretical developments, I uncovered changes in learning strategy use as a proximal mechanism underlying negative effects of JOLs and demonstrated that learning strategy instructions targeted at reducing JOL-induced learning strategy changes eliminate these negative effects. Finally, I tested whether JOL reactivity generalizes to educationally relevant study and test conditions. Using the example of general knowledge facts tested in short-answer and multiple-choice tests, this examination revealed no generalization of reactivity effects, thereby questioning the much-discussed educational relevance of JOL reactivity. The three projects in this dissertation aim to advance the understanding of JOL reactivity by establishing reactivity as a robust yet heterogeneous phenomenon that varies in its size and direction (positive or negative), delineating its boundary conditions, uncovering changes in learning strategy use as a mechanism for negative reactivity, and demonstrating that JOL reactivity does not reliably generalize to educationally relevant study and test conditions. This research emphasizes that future theoretical developments must account for the heterogeneity and context dependency of JOL reactivity and that further tests of the educational relevance of JOL reactivity are important directions for future research. Moreover, it demonstrates that reactivity can pose a serious methodological obstacle for metamemory research, requiring researchers to carefully consider reactivity effects when drawing conclusions based on metacognitive judgments. Ultimately, this dissertation illustrates that Heisenberg’s (1958, p. 58) insight – that “what we observe is not nature itself but nature exposed to our method of questioning” – applies as profoundly to the study of metamemory as it does to quantum mechanics.

Messungen sind ein unverzichtbarer Bestandteil unseres Alltags. Wir verwenden Thermometer, um die Außentemperatur zu messen, oder Uhren, um pünktlich zu sein. Während viele dieser alltäglichen Messungen das beobachtete Objekt nicht verändern, gilt dies nicht für alle Arten von Messungen – ein Phänomen, das allgemein als Reaktivität bezeichnet wird. Aufgrund der Annahme, dass Lernende ihr Lernen so oder so spontan überwachen, hat die Forschung zum Wissen und zur Überwachung von Menschen über ihr eigenes Lernen und Gedächtnis (Metagedächtnis) lange Zeit vernachlässigt, dass die Erfassung metakognitiver Überwachung das Lernen und Gedächtnis selbst verändern könnte. Jedoch beschäftigen sich Forschende seit zehn Jahren zunehmend mehr mit der Untersuchung der Reaktivität der Erfassung von Vorhersagen über die zukünftige Gedächtnisleistung der eigenen Person (judgments of learning, JOLs). Zahlreiche Untersuchungen zeigen inzwischen, dass die Erfassung von JOLs die Gedächtnisleistung unter verschiedenen Lern- und Testbedingungen verändern kann (JOL-Reaktivität). Dennoch steht das Forschungsgebiet zu JOL-Reaktivität aktuell vor mehreren Herausforderungen, was die Etablierung von JOL-Reaktivität als Phänomen, die Erklärung ihrer zugrunde liegenden Mechanismen und die Bestimmung ihrer Generalisierbarkeit auf Lernen in Bildungskontexten betrifft. Das Ziel dieser Dissertation ist es, diese Herausforderungen systematisch zu adressieren und damit die Forschung im Bereich der JOL-Reaktivität voranzubringen. Im Rahmen der Dissertation wird JOL-Reaktivität als robustes empirisches Phänomen etabliert und moderierenden Variablen und Randbedingungen identifiziert, indem eine umfassende Metaanalyse zu Reaktivität von JOLs auf die Gedächtnisleistung durchgeführt wurde. Durch theoriegeleitete Moderatoranalysen, die die wichtigsten theoretischen Erklärungen für die JOL-Reaktivität (Cue-Strengthening-Ansatz, Dual-Task-Ansatz und Changed-Goal-Ansatz) testen, zeigt die Metaanalyse dabei, dass keine dieser Erklärungen eine umfassende Erklärung für das Phänomen liefert. Um dem daraus resultierenden Bedarf an neuen theoretischen Entwicklungen gerecht zu werden, identifiziert die Dissertation Veränderungen in der Verwendung von Lernstrategien als proximalen Mechanismus für negative Reaktivität, und zeigt, dass Lernstrategieinstruktionen zur Reduktion JOL-induzierter Veränderungen in Lernstrategien diese negativen Reaktivitätseffekte eliminiert. Abschließend untersucht die Dissertation, ob sich JOL-Reaktivität auf bildungsrelevante Lern- und Testbedingungen verallgemeinern lässt. Anhand einer exemplarischen Betrachtung von Allgemeinwissensfakten und Kurzantwort- und Multiple-Choice-Tests, ergab diese Untersuchung keine Verallgemeinerung der Reaktivitätseffekte, wodurch die viel diskutierte bildungsrelevante Bedeutung der JOL-Reaktivität in Frage gestellt wird. Die drei Projekte dieser Dissertation zielen darauf ab, das Verständnis von JOL-Reaktivität zu verbessern, indem sie Reaktivität als ein robustes, aber heterogenes Phänomen etablieren, das in seiner Größe und Richtung (positiv oder negativ) variiert, ihre Randbedingungen etablieren, Veränderungen in der Verwendung von Lernstrategien als Mechanismus für negative Reaktivität aufdecken und zeigen, dass JOL-Reaktivität nicht zuverlässig auf bildungsrelevante Studien- und Testbedingungen verallgemeinert werden kann. Diese Forschung betont, dass zukünftige theoretische Entwicklungen die Heterogenität und Kontextabhängigkeit der JOL-Reaktivität berücksichtigen müssen und dass weitere Tests der Bildungsrelevanz von JOL-Reaktivität wichtige Richtungen für die zukünftige Forschung sind. Darüber hinaus veranschaulicht sie, dass Reaktivität ein ernsthaftes methodisches Hindernis für Forschung zu Metagedächtnis darstellen kann, weshalb Forscher Reaktivitätseffekte berücksichtigen sollten, wenn sie Schlussfolgerungen auf der Grundlage metakognitiver Urteile ziehen. Letztendlich zeigt diese Dissertation, dass Heisenbergs (1958, S. 58) Erkenntnis „what we observe is not nature itself but nature exposed to our method of questioning“ für die Erforschung von Metagedächtnis ebenso zutrifft wie für Quantenmechanik.