TU Darmstadt / ULB / TUprints

Interacting with an uncertain physical world: probabilistic models of human perception and action

Neupärtl, Nils (2022)
Interacting with an uncertain physical world: probabilistic models of human perception and action.
Technische Universität Darmstadt
doi: 10.26083/tuprints-00021765
Ph.D. Thesis, Primary publication, Publisher's Version

[img] Text
Dissertation_Nils Neupärtl_Interacting with an uncertain physical world probabilistic models of human perception and action.pdf
Copyright Information: CC BY-SA 4.0 International - Creative Commons, Attribution ShareAlike.

Download (32MB)
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Interacting with an uncertain physical world: probabilistic models of human perception and action
Language: English
Referees: Rothkopf, Prof. PhD Constantin A. ; Fiehler, Prof. Dr. Katja
Date: 2022
Place of Publication: Darmstadt
Collation: 127 Seiten
Date of oral examination: 13 April 2022
DOI: 10.26083/tuprints-00021765

Humans interact with their environment and its physical laws with ease and thereby demonstrate the ability to predict how dynamical situations unfold. Having an appropriate internal model is indispensable to do so, however, it is unclear how our brain can encompass this wealth of information and complexity of environmental states and dynamics. For instance, dropping trash into a bin while passing by is an effortless, almost unconscious process and yet a significant share of people show tremendous misconceptions when being asked about the exact same dynamics in physical reasoning tasks. This is also true for similar tasks when people are asked to make judgments about other dynamical scenes like swinging pendula or moving objects after curved trajectories. But how can this discrepancy between routine acting and deficient reasoning be explained?

An early attempt to explain this discrepancy, especially the non-rational human deviations from optimal behavior, is the reliance on rules of thumbs, often called heuristics. Based on the idea that people’s internal models are likely not able to reflect the environmental complexity and thus need to rely on helpful, yet error-prone approximations of processes and dynamics, heuristics try to reveal the underlying mechanism for specific biases. However, these heuristics usually need to be individually adapted to the problem at hand and do not yield a general explanation beyond the specific task. In contrast, probabilistic models of bounded rationality have been able to quantify and explain these deviations as a consequence of human uncertainties, a priori assumptions about their environment, and internal costs such as effort. With this thesis we want to contribute to the understanding of this seeming discrepancy and reconcile these two phenomena of humans being well tuned to daily interactions and deficient in their reasoning about it using diverse tasks in controlled environments as well as computational models and algorithms describing deviations based on individual constraints.

First, we take a look at distance estimations in a judgment and a continuous action control task and the resulting deviations from optimal responses. With respect to physiological constraints, as perceptual uncertainty and action variability, and biased a priori beliefs about the size of familiar objects we describe individual deviations using probabilistic models and yet show the individual’s consistency across tasks and beliefs. Since in both tasks people were constrained on viewing two-dimensional projections of distant objects and thus could only access the visual angle or apparent size they had to rely on assumptions about object sizes to infer a potential distance. The fact that the observed objects being of constant and familiar size and people likely having inaccurate and noisy beliefs can partially explain deviations in distance judgments and estimations. Size beliefs were inferred using different estimation techniques and the identified biases agreed across both techniques and were largely consistent with behavior in both distance tasks. Overall, we are showing that deviations in tasks about distance perception can be explained to a certain extent with consistent biases in human prior beliefs. Thus, we are providing evidence for human near-optimal behavior given constraints and the adequacy of probabilistic models with individual size prior for distance perception in two dimensions.

In a second experiment we extended the experimental paradigm to test human prior beliefs and internal models under conditions of varying feedback with a continuous action control task. We investigated people’s belief about the non-linear dynamics of sliding objects on a surface under the effect of friction with and without visual feedback as well as their ability to transfer relevant information about mass, gained by watching collisions, to this continuous action control task. Comparison of models based on either a linear approximation or on the actual relationship described by Newtonian physics revealed that people’s behavior could indeed be best described by the model prescribed by Newtonian physics, especially while feedback was available. However, even without ever having seen the object’s trajectory in the feedback deprived phase people were able to accurately transfer their gained knowledge and perform extraordinary well. Not only the high Bayes factors favoring the noisy Newton model and the fact that it describes behavior well, but also the fact, that only the sheer existence of an appropriate internal model for both, sliding with and collisions without friction, can explain people correctly transferring the information to the action control task, thus strongly support the near-optimal probabilistic view on people’s behavior. In summary, the results of the second experiment further highlight the superiority of probabilistic models with resource and physiological constraints over heuristics as fixed rules in explaining human behavior and apparent deviations from optimal responses.

Subsequently, we present an algorithm for the evaluation of individual cost functions to unravel an additional cause for human deviations from optimal behavior. So far only the puck sliding model considered subjective cost functions. There, the three common cost functions 0-1, hinge and squared loss were tested for by implicitly implementing different shifts of the action distribution. But here, we allowed individual parameterization of cost functions and the inclusion of effort specific costs, scaling with the magnitude of the action itself. Since action selection is finally shaped by cost functions considering these on an individual basis can be crucial to explain behavior. Using generated data we demonstrate the algorithm’s capability to recover these parameters and to predict the varying influence of perceptual uncertainty and action variability on responses in production and reproduction tasks. When used on data of human behavior in diverse continuous action control tasks we were able to explain pervasively observed undershoots as interaction of asymmetric cost functions and action variability as well as identifying similarities between specific tasks. Thereby, we provide further evidence in favor of explanations for human behavior in terms of probabilistic model of decision making.

Finally, we transferred the puck sliding experiment to a VR setup enabling a naturalistic interaction with the task. Here, the assumption was that holding an actual physical puck and being able to accelerate it with a natural arm movement should facilitate the recruitment of an appropriate internal model, which is in accordance with the literature on embodied cognition. We compared data from this naturalistic task design with the previously conducted experiment on a keyboard and found that indeed individuals’ behavior was significantly better described by a noisy Newton model than the next best linear approximation. This was particularly interesting since participants did not receive any feedback about the objects’ trajectories and final positions. Thus the internal models governing the responses had to be a priori learned and accurately reflect the non-linearity of the environmental dynamics. These results eventually demonstrate the relevance of naturalistic interactions to investigate human behavior and again the capability of probabilistic models to describe it.

In summary, we present several experimental designs, probabilistic models and algorithms in order to investigate people’s internal beliefs about functional relationships and dynamics of their environment. By running these experiments in controlled setups on screens and in VR we were able to constrain available information and to identify relevant features supporting people in the recruitment of appropriate internal models. Our results emphasize: first, that naturalistic interaction facilitates the recruitment of realistic models in accordance with both the idea of near-optimal resource constrained models and embodied cognition. Second, people’s behavior can be biased but lawfully consistent and thus pointing out the importance and generality of prior beliefs in modeling. And third, that individual cost functions incorporating an effort related term can help to quantify and explain suboptimal behavior. These results help to disentangle the mechanism behind the transition between deficient reasoning and accurate routine behavior in humans. Future research will uncover how the brain can achieve this level of performance, represent the enormous abundance of information and interlink domains of knowledge.

Alternative Abstract:
Alternative AbstractLanguage

Wir Menschen interagieren mit unserer Umwelt spielerisch leicht, was so nicht möglich wäre ohne die Fähigkeit dynamische Prozesse einschätzen zu können. Es ist unbestreitbar, dass hierzu die Existenz von passenden internen Modellen von Nöten ist, jedoch ist es unklar wie unser Gehirn es schafft mit der Komplexität und Datenfülle unserer Umwelt umzugehen. So bereitet es uns überhaupt keine Mühe etwas im Vorbeigehen in einen Papierkorb fallen zu lassen, ohne dabei auch nur ansatzweise in Verlegenheit zu geraten lange über die zugrundeliegenden Dynamiken nachdenken zu müssen, doch zeitgleich geben Versuchspersonen, die nach diskreten Schlussfolgerungen über genau diesen physikalischen Prozess befragt werden, teilweise abstrus falsche Antworten. Gleichsam grobe Fehleinschätzungen von Versuchspersonen konnten unter anderem in Experimenten mit schwingenden Pendeln und Objekten nach dem Verlassen einer erzwungenen Kreisbahn festgestellt werden. Doch wie kann diese Diskrepanz zwischen adäquatem Handeln im Alltag und groben Fehleinschätzungen in Experimenten erklärt werden?

Eine Erklärung für diese Abweichungen vom Idealverhalten wurde schon vor Jahrzehnten darin gesucht, dass sich Menschen eher auf Faustregeln bzw. Heuristiken verlassen. Dabei ist die Grundidee, dass davon auszugehen ist, dass interne Modelle im menschlichen Gehirn nicht in der Lage sind die Komplexität ihrer Umwelt abzubilden und deshalb auf fehleranfällige Vereinfachungen der zugrundeliegenden Abläufe angewiesen sind. Diese Heuristiken sind aber meist spezifisch auf das Verhalten in einzelnen Experimenten zugeschnitten und liefern dadurch auch selten allgemein gültige Erklärungen. Dem steht der Ansatz gegenüber Abweichungen im menschlichen Verhalten mit probabilistischen Modellen zu erklären, die sowohl menschliche Ungenauigkeiten als auch hilfreiche Vorannahmen berücksichtigen. In der hier vorliegenden Thesis wollen wir uns dieser Widersprüchlichkeit der weitestgehend fehlerfreien Interaktion mit unserer Umwelt und den groben Fehleinschätzungen in Entscheidungsaufgaben annehmen. Dazu werden wir im Folgenden verschiedene Experimente in kontrollierten Umgebungen ebenso wie probabilistische Modelle und Algorithmen zur Erklärung dieser Abweichungen präsentieren.

Zuerst betrachten wir die Abweichungen der Versuchspersonen vom Idealverhalten in zwei Distanz-Einschätzungs-Experimenten, eines mit binären und eines mit kontinuierlichen Antwortmöglichkeiten. Hier beschreiben wir individuelle Abweichungen, deren Beständigkeit über Experimente hinweg und Übereinstimmung mit a priori Größenvorstellungen. Das Ganze erfolgt dabei unter Berücksichtigung von physiologischen Limitierungen, wie eingeschränkter Präzision des Sehsystems und Variabilität in Handlungen, und mitunter auch Verzerrungen durch Vorannahmen, also a priori Vorstellungen. Da Versuchspersonen bei ihren Distanzentscheidungen auf zwei-dimensionale Projektionen auf einem Bildschirm und damit nur auf die scheinbare Größe beschränkt waren, mussten sie auf ihre Annahmen über Objektgrößen zurückgreifen, um überhaupt mögliche Entfernungen schätzen zu können. Durch die Verwendung von gewohnten Objekten konstanter Größe und der Tatsache, dass Menschen variable und mitunter verzerrte Größenvorstellungen über diese bekannten Objekte haben, können diese zur Erklärung der Abweichungen bei den Distanzeinschätzungen beitragen. Mithilfe zweier Inferenz Methoden wurden individuelle Größenvorstellungen bestimmt. Die so festgestellten Annahmen mitsamt der möglichen Verzerrungen waren über beide Methoden hinweg konsistent und im Einklang mit den Abweichungen bei den Distanzschätzungen. So zeigen wir, dass Abweichungen bzw. Fehleinschätzungen bei Distanzeinschätzungen in der Tat Hand in Hand mit falschen Vorstellungen über Größen und natürlicherer Variabilität in Wahrnehmungs- und Entscheidungsprozessen geht. Damit unterstützen unsere Resultate die Sicht auf menschliches Verhalten als grundsätzlich auf akkuraten Vorstellungen über die Umwelt beruhendes probabilistisches System, das optimale Entscheidungen fällt gegeben seiner Einschränkungen.

In einem weiteren Experiment zur Untersuchung von a priori Vorstellungen erweitern wir das experimentelle Design zu einer kontinuierlichen Interaktionsaufgabe unter zusätzlicher Manipulation von visuellem Feedback. Im Fokus stehen dabei die a priori Vorstellung der Versuchspersonen über die non-lineare Dynamik von unter Reibungseinwirkung schlitternden Objekten und ihre Fähigkeit, Information aus dem reinen Betrachten von Objektkollisionen auf diese kontinuierliche Interaktionsaufgabe zu übertragen. Der Vergleich von heuristisch motivierten Modellen mit realistischen, auf Newton’scher Physik basierender Modellen hat ergeben, dass das Verhalten am Besten mit realistischen statt approximativen Modellen zu beschreiben ist. Das gilt vor allem für Verhalten während visuelles Feedback vorhanden war, aber auch in anschließenden Phasen ohne Feedback. Nach dem Erlernen der Aufgabe und dem Betrachten von Objektkollisionen waren Versuchspersonen in der Lage ein Objekt im Mittel nahezu zielgenau über verschiedene Distanzen schlittern zu lassen ohne jemals zu erfahren wo dieses zum Stehen gekommen ist oder wie schnell es sich überhaupt bewegen lässt. Nicht nur sprechen die hohen Bayes Faktoren zu Gunsten der Newton’schen Modelle klar für die Sichtweise, dass interne Modelle realistischer und probabilistischer Natur sind, sondern auch die schiere Notwendigkeit dieser realistischen Modelle, um überhaupt die Information so korrekt zu erfassen und auf die Interaktion übertragen zu können. Zusammenfassend unterstreichen die Ergebnisse des zweiten Experiments noch einmal zusätzlich die höhere Passfähigkeit der probabilistischen Modelle mit realistischen Dynamiken um Abweichungen vom Idealverhalten bei Menschen zu erklären sowie ihr Nutzen bei der Beschreibung von Aufgabentransfer.

Darauffolgend gehen wir mithilfe eines neu entwickelten Algorithmus individuellen Kostenfunktionen als zusätzliche Ursache für menschliche Abweichungen vom Idealverhalten auf den Grund. Bis hierhin wurden im Modell, das das Verhalten der Versuchspersonen beim Schlittern von Objekten erklärt, nur die drei Kostenfunktionen 0-1, hinge und squared loss implizit durch eine Verschiebung der Verteilung, die die messbaren Antworten beschreibt, berücksichtigt. Bei diesem Algorithmus jedoch ermöglichen wir individualisierte Kostenfunktionen und die Integration von Kosten für den Aufwand der Aktion selbst, wie z.B. die subjektive Anstrengung. Dabei entsteht ein ganzer Parameterraum möglicher Kostenfunktionen. Da die letztendliche Wahl einer Aktion maßgeblich von den subjektiv erwarteten Kosten beeinflusst wird ist die Berücksichtigung von individuellen Kostenfunktionen entscheidend für die Erklärung menschlichen Verhaltens. Die Fähigkeit, Kostenfunktionen und auch Variabilitätsparameter aus menschlichen Antworten bei kontinuierlichen Schätzaufgaben zu inferieren, haben wir mithilfe generativer Modelle erfolgreich getestet. Angewandt auf reale Daten aus solchen kontinuierlichen Schätzaufgaben konnten wir auch die allgegenwärtige Unterschätzung von Werten durch das Zusammenspiel von individuellen, asymmetrischen Kostenfunktionen mit natürlicher Variabilität erklären und darüberhinaus noch Ähnlichkeiten zwischen einzelnen Aufgaben aufzeigen. Dadurch konnten wir weitere Evidenz für die Eignung probabilistischer Modelle zur Beschreibung menschlichen Verhaltens und Abweichungen sammeln.

Abschließend haben wir das bereits beschriebene Experiment des Objekt-Schlitterns in die virtuelle Realität übertragen, um dabei eine möglichst natürliche Interaktion zu ermöglichen. Hierbei sind wir von der Annahme ausgegangen, dass sowohl das haptische Greifen des echten Objektes als auch die natürliche Armbewegung, um es schlittern zu lassen, dazu beitragen, dass Versuchspersonen dieWahl eines passenden internen Modelles leichter fallen und sich in adäquatem Verhalten wiederfinden sollte. Diese Annahme wäre zudem dann im Einklang mit der Literatur um embodied cognition. Im Vergleich zum vorherigen Versuchsaufbau mit Interaktion mittels Tastatur konnte das Verhalten der Versuchspersonen signifikant besser mit dem realistischen Newton’schen Modell beschrieben werden als mit der nächstbesten linearen Approximation. Besonders interessant daran war, dass Versuchspersonen keinerlei Informationen über die Trajektorie der Objekte erhielten, d.h. das Schlittern und der Ort des Stillstandes nie zu sehen waren. Daraus lässt sich schließen, dass das interne Modell, das das Verhalten bestimmte, zuvor gelernt sein musste und korrekt die Non-Linearität der Dynamik widerspiegeln konnte. Hier zeigen unsere Ergebnisse die Relevanz von natürlicher Interaktion in Experimenten zur Untersuchung menschlichen Verhaltens auf und zugleich auch erneut die Eignung probabilistischer und realistischer Modelle dieses zu beschreiben.

Zusammengefasst präsentieren wir verschiedene Experimente, probabilistische Modelle und Algorithmen zur Untersuchung interner Vorstellungen des Menschen über funktionale Zusammenhänge und Dynamiken unserer Umwelt. Dabei identifizieren wir relevante Elemente, die die Wahl geeigneter interner Modelle beim Menschen unterstützen, indem wir Monitor- und VR-basierte Experimente unter der Kontrolle der verfügbaren Informationen durchgeführt haben. Unsere Ergebnisse zeigen dabei, dass erstens, natürliche Interaktionen die Wahl geeigneter interner Modelle fördern. Das steht dabei im Einklang sowohl mit der Idee von embodied cognition als auch der, menschliches Verhalten als nahezu optimal mithilfe von probabilistischen Modellen zu beschreiben. Zweitens, dass menschliches Verhalten selbst mit Verzerrungen konsistent über Aufgaben hinweg bleiben kann und dadurch nicht nur die Bedeutung sondern auch die Allgemeingültigkeit von a priori Vorstellungen bei der Modellierung von Verhalten betont. Drittens, dass individuelle Kostenfunktionen zum Einen auch Kosten für die Aktionen selbst statt nur deren Ergebnis beachten sollten und zum Anderen einen wichtigen Beitrag zum Verständnis des Auftretens von suboptimalen Verhalten leisten. Dabei helfen die Ergebnisse einen besseren Einblick in die Mechanismen des Übergangs von falschen Schlussfolgerungen über physikalische Zusammenhänge in Experimenten und dem routinierten Meistern unseres Alltages zu erlangen. Künftige Untersuchungen könnten dabei noch stärker in Richtung möglicher Erklärungen für die zugrundeliegenden neuronalen Repräsentationen unserer komplexen Umwelt und Vernetzung verschiedener Wissensdomänen gehen, die die Grundlage für diese Leistungen bilden.

Status: Publisher's Version
URN: urn:nbn:de:tuda-tuprints-217653
Classification DDC: 100 Philosophy and psychology > 150 Psychology
Divisions: 03 Department of Human Sciences > Institute for Psychology > Psychology of Information Processing
Date Deposited: 28 Oct 2022 12:46
Last Modified: 02 Nov 2022 07:09
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/21765
PPN: 500916209
Actions (login required)
View Item View Item