When Robots Err: Psychological Pitfalls in Human-Robot Interactions

Nowadays, robots are much more than simple machine tools that assist people in their daily lives. With technological advances, they have taken on a central role in many areas, assisting users in their decisions and actions as social partners. While this can be advantageous when robots function flawlessly, enhancing efficiency and performance for users, it also poses risks when robots make mistakes and these are accepted without hesitance. In this context, human error occurs as a result of overreliance on the robot.
This dissertation addresses the problem of overreliance on faulty robots from a psychological perspective. It aims to uncover psychological mechanisms, based on cognitive biases, and their influencing factors that contribute to this problem and are specific to human-robot interaction (HRI). An overarching conceptual framework was first developed through a literature review in robotics psychology (conceptual research) to identify and structure general psychological processes within HRI. This showed that cognitive biases in particular are a bottleneck for erroneous robot use. Consequently, two empirical research projects, each consisting of two empirical studies, were conducted to investigate the phenomenon of automation bias (AB) (empirical research project 1) and the belief and spread of fake news (empirical research project 2) in the context of HRI. This contributes to gaining insights into the underlying psychological mechanisms of erroneous reliance on faulty robots with individual and collective implications. The first empirical research project uses a laboratory experiment in a company (study 1.1) and an online experiment (study 1.2) and is based on the theoretical foundations of the “Automation Authority and Superiority Theory” and the “Diffusion of Responsibility Theory”. Study 1.1 shows that users are subject to AB in their perception and behavior when dealing with a faulty robot. Users engage in an implicit ability comparison with the robot, in which they perform worse than the robot and, as a result, defer to the robot’s supposed superiority. On this basis, they comply with the faulty robot. AB is also influenced by an interaction between perceived robot competence and task complexity. Study 1.2 shows that when dealing with a faulty robot, users are so strongly influenced by AB in their perception and behavior that their decision-making quality is impaired. Emotional tasks strengthen this effect, while high reliability of the robot weakens it. It is also shown across both studies that AB indirectly reduces satisfaction with the robot, indicating a negative consequence of AB. The second empirical research project consists of an online experiment (Study 2.1) and a laboratory experiment (Study 2.2) and is based on the “Signal Detection Theory” to measure the belief in fake news using the two indicators “sensitivity” and “response bias”. It shows that people are more susceptible to fake news in both online and face-to-face situations when it is delivered by robots. Compared to fake news transmitted by humans, they have a high tendency to carelessly accept news from robots and a reduced ability to identify fake news. Both studies show that this discriminatory ability is reinforced by a triad of cognitive biases due to robot-, user-, and interaction-specific factors. Finally, the study emphasizes that a reduced ability to discriminate increases the spread of fake news, indicating the amplyfying role of the robot as a medium for fake news dissemination. In sum, this dissertation contributes to the research field of robotic psychology by expanding the understanding of the mutual influence between humans and robots from a psychological perspective. Specifically, it derives a coherent theoretical framework of psychological processes that takes into account the specific characteristics of HRI. In addition, this dissertation advances the understanding of the psychological mechanisms of biased HRI – characterized by the erroneous reliance on a faulty robot due to cognitive biases – by extending the phenomena of AB as well as belief and spread of fake news to the domain of HRI and identifying robot-, user-, and context-related influencing factors. This allows for a more holistic view of biased HRI. Finally, practical implications are derived to guide the handling of biased HRI more towards trustful and responsible HRI.

Roboter sind heutzutage weit mehr als einfache maschinelle Tools, die Menschen in ihrem Alltag unterstützen. Durch den voranschreitenden technologischen Fortschritt haben sie in vielen Bereichen eine zentrale Rolle eingenommen, in der sie Nutzer in ihren Entscheidungen und Handlungen als soziale Partner unterstützen. Während dies unter der Voraussetzung der einwandfreien Funktionalität des Roboters vorteilhaft sein kann, da Nutzer so entlastet oder Leistungen gesteigert werden, birgt dies auch Gefahren, wenn der Roboter Fehler macht und diese in Kauf genommen werden. In diesem Kontext tritt menschliches Versagen in Folge eines übermäßigen Verlassens auf den Roboter auf.
Diese Dissertation befasst sich mit der Problematik des übermäßigen Verlassens auf fehlerhafte Roboter aus psychologischer Sicht. Ihr Ziel ist es, psychologische Mechanismen, anhand von kognitiven Verzerrungseffekten, und ihre Einflussfaktoren aufzudecken, die zu dieser Problematik beitragen und spezifisch für die Mensch-RoboterInteraktion (engl. Human-Robot Interaction, HRI) sind. Es wurde zunächst ein übergreifender konzeptioneller Rahmen anhand eines Literaturüberblick zur RobotikPsychologie (konzeptionelle Forschung) erarbeitet, um allgemeine psychologische Prozesse innerhalb der HRI zu identifizieren und zu strukturieren. Daraus ging hervor, dass insbesondere kognitive Verzerrungen ein Nadelöhr für die fälschliche Nutzung von Robotern darstellen. Folglich wurden zwei empirische Forschungsprojekte bestehend aus je zwei empirischen Studien durchgeführt, die sich mit dem Phänomen des Automation Bias (AB) (empirisches Forschungsprojekt 1) und dem Glauben und der Verbreitung von Falschnachrichten (empirisches Forschungsprojekt 2) im Kontext der HRI befassen. Dies erweitert Erkenntnisse über zugrundeliegende psychologische Mechanismen für das fälschliche Verlassen auf fehlerhafte Roboter mit individuellen sowie kollektiven Auswirkungen. Das erste empirische Forschungsprojekt bedient sich eines Laborexperiments in einem Unternehmen (Studie 1.1) sowie eines Online-Experiments (Studie 1.2) und basiert auf der theoretischen Grundlage der „Automation Authority and Superiority Theory“ und „Diffusion of Responsibility Theory“. Studie 1.1 zeigt, dass Nutzer im Umgang mit fehlerhaften Robotern einem AB in ihrer Wahrnehmung und ihrem Verhalten unterliegen. Dabei gehen Nutzer einen impliziten Vergleich der Fähigkeiten mit Robotern ein, bei dem sie schlechter abschneiden als der Roboter und infolgedessen sich der vermeintlichen Roboterüberlegenheit unterordnen. Auf dieser Grundlage wird dem fehlerhaften Roboter schließlich gefolgt. AB wird zudem durch eine Interaktion zwischen wahrgenommener Roboterkompetenz und Aufgabenkomplexität beeinflusst. Studie 1.2 zeigt, dass Nutzer im Umgang mit fehlerhaften Robotern so stark von AB in ihrer Wahrnehmung und in ihrem Verhalten beeinflusst werden, dass ihre Entscheidungsqualität beeinträchtigt wird. Dabei verstärken emotionale Aufgaben diesen Effekt, während eine hohe Zuverlässigkeit des Roboters ihn abschwächt. Es wird zudem über beide Studien hinweg aufgezeigt, dass AB indirekt die Zufriedenheit mit dem Roboter reduziert, was auf eine negative Folge von AB hinweist. Das zweite empirische Forschungsprojekt besteht aus einem Online-Experiment (Studie 2.1) sowie einem Laborexperiment (Studie 2.2) und stützt sich auf der „Signal Detection Theory“, um den Glauben von Falschnachrichten anhand der zwei Indikatoren „Sensitivity“ und „Response Bias“ zu messen. Es zeigt sich, dass Menschen sowohl in Online- als auch in Angesicht-zu-Angesicht-Situationen anfälliger für Falschnachrichten sind, wenn diese von Robotern übermittelt werden. Dabei haben sie im Vergleich zu Falschnachrichten von Menschen die Tendenz Nachrichten von Robotern eher unreflektiert zu akzeptieren und eine reduzierte Fähigkeit Falschnachrichten zu identifizieren. Über beide Studien hinweg wird aufgedeckt, dass diese Diskriminierungsfähigkeit durch eine Triade von kognitiven Verzerrungseffekten aus roboter-, nutzer- und interaktionsspezifischen Faktoren verstärkt wird. Zuletzt hebt die Studie hervor, dass eine herabgesetzte Diskriminierungsfähigkeit die Verbreitung von Falschnachrichten verstärkt und deutet so auf die verstärkende Rolle des Roboters als Medium für Falschnachrichtenverbreitung hin. Zusammengefasst trägt diese Dissertation zur Forschung von Robotik-Psychologie bei, indem das Verständnis für den gegenseitigen Einfluss zwischen Menschen und Robotern aus psychologischer Sicht erweitert wird. Konkret wird ein kohärenter, theoretischer Rahmen psychologischer Prozesse abgeleitet, der die spezifischen Eigenschaften der HRI berücksichtigt. Zudem erweitert die Dissertation auch das Verständnis von psychologischen Mechanismen der verzerrten HRI, indem sie die Phänomene Automation Bias und Glauben von Falschnachrichten auf den Bereich von HRI erweitert und roboter, nutzer-, und kontextbezogene Einflussfaktoren identifiziert. Dies ermöglicht nicht zuletzt eine ganzheitlichere Betrachtung von verzerrten HRI. Schließlich werden auch praktische Implikationen abgeleitet, um den Umgang mit verzerrten HRI mehr in Richtung vertrauensvoller und verantwortungsvoller HRI zu lenken.