Inverse normative modeling of continuous perception and action

Normative models based on probability theory and decision theory are popular in many areas of cognitive science. One reason for this popularity is that they frame behavior as the result of rational decisions based on beliefs and goals and thereby supply explanations similar to our everyday intuitive understanding of behavior. Another reason is that by analyzing the optimal solution to a task, they constrain the space of hypotheses for possible process models and algorithmic-level explanations.

In perception research, normative models are especially prolific and have belonged to its standard toolkit for decades in the form of ideal observers and signal detection theory. More recently, Bayesian models of perception have given normative accounts for perceptual decisions across various tasks. Mathematically, Bayesian models represent beliefs as probability distributions, which constitute an internal model, and goals as cost functions. Behavior is modeled as the action that minimizes the expected cost under the current belief, given the internal model and sensory observations.

If the probability distributions in the internal model match the statistics of the actual generative model of the world, and the cost function matches the external reward structure of the actual task being performed, the behavior of a Bayesian model constitutes a theoretical optimum. However, there are many reasons why people might have internal models that differ from the statistics of an experiment or cost functions that differ from the task assigned to them by a researcher while still acting rationally. If we would like to understand their behavior with normative models in terms of beliefs and goals, we cannot simply assume their internal model and cost function a priori but must infer them from behavior. This approach can be called inverse normative modeling.

However, inverse normative modeling has so far largely been limited to relatively simple tasks with static stimuli and discrete choices. The reason for this limitation is that such tasks allow tractable computation of the probabilistic inference and decision-making problems implied by the normative model. If solving these problems already requires computationally intensive numerical methods, inferring the model's parameters from behavioral data would be prohibitively expensive. For this reason, methods that extend inverse normative modeling to more naturalistic tasks with continuous behavior and a sequential structure are a significant and necessary advancement. Developing such methods is the central contribution of this thesis.

First, we introduce a new method for approximating Bayesian models for tasks with continuous actions using neural networks. This approach allows us to efficiently compute optimal actions for combinations of cost functions and probability distributions that do not admit analytically tractable solutions. Using the trained neural network as a stand-in for the Bayesian model enables efficient Bayesian inference of the model’s parameters given observed behavior. We show on simulated data that the inferred posterior distributions are in close alignment with those obtained using analytical solutions where they exist. Once we turn to more complex cost functions, unidentifiability issues can arise, as it is not always possible to determine whether biases in behavior were due to prior beliefs or costs. With the new method, we show how to disentangle these different factors.

Second, we apply inverse normative modeling to continuous psychophysics, a recent methodological proposal in vision science that replaces the rigid structure of classical psychophysics experiments, which consist of independent trials and binary decisions, with a more naturalistic continuous tracking task. Formalizing the task in the normative framework of optimal feedback control incorporates not only perceptual uncertainty but also motor variability, behavioral costs, and subjective internal models. To infer these factors from observed behavior, we introduce a probabilistic method for inverse optimal control. Using this method, we not only recover perceptual uncertainty parameters in alignment with classical psychophysics but also test the additional motor and cognitive processes using principled model comparison, providing a robust validation of the new method.

Third, we extend the inverse optimal control algorithm to account for a broader range of behaviors. While optimal feedback control with signal-dependent noise is one of the most influential modeling approaches for sensorimotor control, there has been no method for fitting such models to behavioral data. Integrating signal-dependent noise enables the application of inverse optimal control to behaviors like saccadic eye movements and manual reaching tasks. We further extend the algorithm to non-linear dynamics and non-quadratic costs, which broadens the domain of applications to more detailed biomechanical models and enables the investigation of information-seeking behavior.

Finally, we investigate the relationship between descriptive and normative models. In the context of interception tasks, in which people walk towards moving targets, the dominant approach has been to model the behavior using so-called online control strategies, which explain behavior without assuming internal models or goals. We show that both a model-based optimal control model of an interception task and an online control strategy equivalently capture average trajectories. However, when realistic levels of perceptual uncertainty, motor variability, and sensorimotor delays are included, the performance of online control without an internal model quickly deteriorates. Based on this analysis, we caution against inferring the absence of internal models simply from observing behavior in agreement with a model-free strategy. We also emphasize the importance of incorporating what is known about the sensorimotor system in models.

In summary, this thesis provides a new set of tools for analyzing behavior with continuous actions under perceptual uncertainty, which opens the possibility of fitting normative models to behavior in more naturalistic tasks. We discuss how the posited components of the models developed in this thesis could be validated using other measurements. We suggest potential avenues for extending the approach and connecting it to theories about neural implementations of Bayesian inference and decision-making.

Normative Modelle, die auf Wahrscheinlichkeitstheorie und Entscheidungstheorie basieren, sind in vielen Bereichen der Kognitionswissenschaft beliebt. Ein Grund für diese Beliebtheit ist, dass sie Verhalten als das Ergebnis rationaler Entscheidungen auf der Grundlage von Überzeugungen und Zielen darstellen und damit Erklärungen liefern, die unserem alltäglichen intuitiven Verständnis von Verhalten ähneln. Ein weiterer Grund ist, dass sie durch die Analyse der optimalen Lösung einer Aufgabe den Raum der Hypothesen für mögliche Prozessmodelle und Erklärungen auf algorithmischer Ebene einschränken.

In der Wahrnehmungsforschung sind normative Modelle besonders weit verbreitet und gehören in Form von idealen Beobachtern und der Signalentdeckungstheorie seit Jahrzehnten zum Standardinstrumentarium. In jüngerer Zeit haben Bayes'sche Wahrnehmungsmodelle normative Erklärungen für Wahrnehmungsentscheidungen bei verschiedenen Aufgaben geliefert. Mathematisch gesehen stellen Bayes'sche Modelle Überzeugungen als Wahrscheinlichkeitsverteilungen dar, die ein internes Modell bilden, und Ziele als Kostenfunktionen. Das Verhalten wird als die Aktion modelliert, die die erwarteten Kosten unter der aktuellen Überzeugung minimiert, unter Annahme eines internen Modells und angesichts sensorischer Beobachtungen.

Wenn die Wahrscheinlichkeitsverteilungen des internen Modells mit den Statistiken des tatsächlichen generativen Modells der Welt übereinstimmen und die Kostenfunktion mit der externen Belohnungsstruktur der tatsächlich ausgeführten Aufgabe übereinstimmt, stellt das Verhalten eines Bayes'schen Modells ein theoretisches Optimum dar. Es gibt jedoch viele Gründe, warum Menschen interne Modelle haben können, die von den Statistiken eines Experiments abweichen, oder Kostenfunktionen, die sich von der Aufgabe unterscheiden, die ihnen von eine:r Forscher:in zugewiesen wurde, und trotzdem rational handeln. Wenn wir ihr Verhalten mit normativen Modellen im Sinne von Überzeugungen und Zielen verstehen wollen, können wir ihr internes Modell und ihre Kostenfunktion nicht einfach a priori annehmen, sondern müssen sie aus dem Verhalten ableiten. Dieser Ansatz kann als inverse normative Modellierung bezeichnet werden.

Allerdings ist die inverse normative Modellierung bisher weitgehend auf relativ einfache Aufgaben mit statischen Stimuli und diskreten Entscheidungen beschränkt gewesen. Der Grund für diese Einschränkung ist, dass solche Aufgaben eine effiziente Berechnung der probabilistischen Inferenz- und Entscheidungsprobleme ermöglichen, die das normative Modell impliziert. Wenn die Lösung dieser Probleme bereits rechenintensive numerische Methoden erfordert, wäre das Schätzen der Modellparameter aus Verhaltensdaten prohibitiv teuer. Aus diesem Grund sind Methoden, die die inverse normative Modellierung auf naturalistischere Aufgaben mit kontinuierlichem Verhalten und einer sequenziellen Struktur ausweiten, ein wichtiger und notwendiger Fortschritt. Die Entwicklung solcher Methoden ist der zentrale Beitrag dieser Arbeit.

Zunächst stellen wir eine neue Methode vor, bei der Bayes'sche Modelle für Aufgaben mit kontinuierlichen Aktionen durch neuronaler Netze approximiert werden. Mit diesem Ansatz können wir effizient optimale Aktionen für Kombinationen von Kostenfunktionen und Wahrscheinlichkeitsverteilungen berechnen, die keine analytischen Lösungen zulassen. Die Verwendung des trainierten neuronalen Netzes als Ersatz für das Bayes'sche Modell ermöglicht effiziente Bayes'sche Inferenz der Parameter des Modells aus beobachtetem Verhalten. Anhand von simulierten Daten zeigen wir, dass die inferierten Posteriorverteilungen mit denen unter verwendung analytischer Lösungen inferierten übereinstimmen, sofern solche existieren. Sobald wir uns komplexeren Kostenfunktionen zuwenden, kann es zu Problemen mit der Nichtidentifizierbarkeit kommen, da es nicht immer möglich ist, festzustellen, ob Tendenzen im Verhalten auf vorherige Überzeugungen oder Kosten zurückzuführen sind. Mit der neuen Methode zeigen wir, wie diese verschiedenen Faktoren voneinander entflochten werden können.

Zweitens wenden wir die inverse normative Modellierung auf kontinuierliche Psychophysik an, einen neueren methodischen Vorschlag in der visuellen Wahrnehmungsforschung, der die starre Struktur klassischer Psychophysikexperimente, die aus unabhängigen Versuchen und binären Entscheidungen bestehen, durch eine naturalistischere kontinuierliche Verfolgungsaufgabe ersetzt. Bei der Formalisierung der Aufgabe im normativen Rahmen der optimalen Rückkopplungssteuerung werden nicht nur Wahrnehmungsunsicherheiten, sondern auch motorische Variabilität, Verhaltenskosten und subjektive interne Modelle berücksichtigt. Um diese Faktoren aus dem beobachteten Verhalten zu schätzen, führen wir eine probabilistische Methode zur inversen optimalen Steuerung ein. Mit dieser Methode können wir nicht nur Parameter der Wahrnehmungsunsicherheit in Übereinstimmung mit klassischer Psychophysik erhalten, sondern auch die zusätzlichen motorischen und kognitiven Prozesse mithilfe eines Modellvergleichs testen, was eine robuste Validierung der neuen Methode darstellt.

Drittens erweitern wir den Algorithmus zur inversen optimalen Steuerung, um ein breiteres Spektrum von Verhaltensweisen zu berücksichtigen. Während die optimale Rückkopplungssteuerung mit signalabhängigem Rauschen einer der einflussreichsten Modellierungsansätze für die sensomotorische Steuerung ist, gab es bisher keine Methode zur Anpassung solcher Modelle an Verhaltensdaten. Die Integration von signalabhängigem Rauschen ermöglicht die Anwendung der inversen optimalen Steuerung auf Verhaltensweisen wie sakkadische Augenbewegungen und manuelle Greifaufgaben. Wir erweitern den Algorithmus auf nicht-lineare Dynamik und nicht-quadratische Kosten, was den Anwendungsbereich auf detailliertere biomechanische Modelle ausweitet und die Untersuchung informationssuchenden Verhaltens ermöglicht.

Schließlich untersuchen wir die Beziehung zwischen deskriptiven und normativen Modellen. Im Kontext von Aufgaben, bei denen sich Personen auf bewegliche Ziele zubewegen, war der vorherrschende Ansatz bisher die Modellierung des Verhaltens mittels sogenannter Online-Steuerungsstrategien, die das Verhalten erklären, ohne von internen Modellen oder Zielen auszugehen. Wir zeigen, dass sowohl ein modellbasiertes optimales Steuerungsmodell einer Abhöraufgabe als auch eine Online-Steuerungsstrategie durchschnittliche Trajektorien identisch beschreiben. Wenn jedoch realistische Werte für Wahrnehmungsunsicherheit, motorische Variabilität und sensomotorische Verzögerungen einbezogen werden, verschlechtert sich die Leistung der Online-Steuerung ohne internes Modell schnell. Auf der Grundlage dieser Analyse warnen wir davor, allein aus der Beobachtung von Verhalten, das mit einer modellfreien Strategie übereinstimmt, auf das Fehlen interner Modelle zu schließen. Wir betonen auch, wie wichtig es ist, das, was über das sensomotorische System bekannt ist, in die Modelle einzubeziehen.

Zusammenfassend lässt sich sagen, dass diese Arbeit ein neues Instrumentarium zur Analyse von Verhalten mit kontinuierlichen Handlungen unter Wahrnehmungsunsicherheit bereitstellt, das die Möglichkeit eröffnet, normative Modelle an das Verhalten in naturalistischeren Aufgaben anzupassen. Wir erörtern, wie die postulierten Komponenten der in dieser Arbeit entwickelten Modelle anhand anderer Messungen validiert werden könnten. Wir schlagen mögliche Wege vor, um den Ansatz zu erweitern und ihn mit Theorien über neuronale Implementierungen von Bayes'scher Inferenz und Entscheidungsfindung zu verbinden.