TU Darmstadt / ULB / TUprints

Human-AI Interaction – Investigating the Impact on Individuals and Organizations

Peters, Felix (2023)
Human-AI Interaction – Investigating the Impact on Individuals and Organizations.
Technische Universität Darmstadt
doi: 10.26083/tuprints-00023070
Ph.D. Thesis, Primary publication, Publisher's Version

[img] Text
Dissertation_Felix_Peters.pdf
Copyright Information: CC BY-SA 4.0 International - Creative Commons, Attribution ShareAlike.

Download (1MB)
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Human-AI Interaction – Investigating the Impact on Individuals and Organizations
Language: English
Referees: Buxmann, Prof. Dr. Peter ; Stock-Homburg, Prof. Dr. Ruth
Date: 2023
Place of Publication: Darmstadt
Collation: XV, 105 Seiten
Date of oral examination: 1 December 2022
DOI: 10.26083/tuprints-00023070
Abstract:

Artificial intelligence (AI) has become increasingly prevalent in consumer and business applications, equally affecting individuals and organizations. The emergence of AI-enabled systems, i.e., systems harnessing AI capabilities that are powered by machine learning (ML), is primarily driven by three technological trends and innovations: increased use of cloud computing allowing large-scale data collection, the development of specialized hardware, and the availability of software tools for developing AI-enabled systems. However, recent research has mainly focused on technological innovations, largely neglecting the interaction between humans and AI-enabled systems. Compared to previous technologies, AI-enabled systems possess some unique characteristics that make the design of human-AI interaction (HAI) particularly challenging. Examples of such challenges include the probabilistic nature of AIenabled systems due to their dependence on statistical patterns identified in data and their ability to take over predictive tasks previously reserved for humans. Thus, it is widely agreed that existing guidelines for human-computer interaction (HCI) need to be extended to maximize the potential of this groundbreaking technology. This thesis attempts to tackle this research gap by examining both individual-level and organizational-level impacts of increasing HAI.

Regarding the impact of HAI on individuals, two widely discussed issues are how the opacity of complex AI-enabled systems affects the user interaction and how the increasing deployment of AI-enabled systems affects performance on specific tasks. Consequently, papers A and B of this cumulative thesis address these issues.

Paper A addresses the lack of user-centric research in the field of explainable AI (XAI), which is concerned with making AI-enabled systems more transparent for end-users. It is investigated how individuals perceive explainability features of AI-enabled systems, i.e., features which aim to enhance transparency. To answer this research question, an online lab experiment with a subsequent survey is conducted in the context of credit scoring. The contributions of this study are two-fold. First, based on the experiment, it can be observed that individuals positively perceive explainability features and have a significant willingness to pay for them. Second, the theoretical model for explaining the purchase decision shows that increased perceived transparency leads to increased user trust and a more positive evaluation of the AI-enabled system.

Paper B aims to identify task and technology characteristics that determine the fit between an individual's tasks and an AI-enabled system, as this is commonly believed to be the main driver for system utilization and individual performance. Based on a qualitative research approach in the form of expert interviews, AI-specific factors for task and technology characteristics, as well as the task-technology fit, are developed. The resulting theoretical model enables empirical research to investigate the relationship between task-technology fit and individual performance and can also be applied by practitioners to evaluate use cases of AI-enabled system deployment.

While the first part of this thesis discusses individual-level impacts of increasing HAI, the second part is concerned with organizational-level impacts. Papers C and D address how the increasing use of AI-enabled systems within organizations affect organizational justice, i.e., the fairness of decision-making processes, and organizational learning, i.e., the accumulation and dissemination of knowledge.

Paper C addresses the issue of organizational justice, as AI-enabled systems are increasingly supporting decision-making tasks that humans previously conducted on their own. In detail, the study examines the effects of deploying an AI-enabled system in the candidate selection phase of the recruiting process. Through an online lab experiment with recruiters from multinational companies, it is shown that the introduction of so-called CV recommender systems, i.e., systems that identify suitable candidates for a given job, positively influences the procedural justice of the recruiting process. More specifically, the objectivity and consistency of the candidate selection process are strengthened, which constitute two essential components of procedural justice.

Paper D examines how the increasing use of AI-enabled systems influences organizational learning processes. The study derives propositions from conducting a series of agent-based simulations. It is found that AI-enabled systems can take over explorative tasks, which enables organizations to counter the longstanding issue of learning myopia, i.e., the human tendency to favor exploitation over exploration. Moreover, it is shown that the ongoing reconfiguration of deployed AI-enabled systems represents an essential activity for organizations aiming to leverage their full potential. Finally, the results suggest that knowledge created by AI-enabled systems can be particularly beneficial for organizations in turbulent environments.

Alternative Abstract:
Alternative AbstractLanguage

Künstliche Intelligenz (KI) hat sich in Verbraucher- und Geschäftsanwendungen zunehmend durchgesetzt und beeinflusst Einzelpersonen und Organisationen gleichermaßen. Das Aufkommen von KI-basierten Systemen, d. h. von Systemen, die KI-Fähigkeiten nutzen und auf maschinellem Lernen (ML) basieren, wird in erster Linie durch drei wichtige technologische Trends und Innovationen vorangetrieben: die zunehmende Nutzung von Cloud Computing, die eine groß angelegte Datenerfassung ermöglicht, sowie durch die Entwicklung von spezieller Hardware und Software-Tools für die Entwicklung von KI-basierten Systemen. Die jüngste Forschung hat sich jedoch hauptsächlich auf technologische Innovationen konzentriert und die Interaktion zwischen Menschen und KI-basierten Systemen weitgehend vernachlässigt. Im Vergleich zu früheren Technologien weisen KI-basierte Systeme einige einzigartige Merkmale auf, die die Gestaltung der Mensch-KI-Interaktion (HAI) zu einer besonderen Herausforderung machen. Beispiele für solche Herausforderungen sind die probabilistische Natur KI-basierter Systeme aufgrund ihrer Abhängigkeit von statistischen Mustern, die in Daten identifiziert werden, und ihre Fähigkeit, prädiktive Aufgaben zu übernehmen, die bisher dem Menschen vorbehalten waren. Es besteht daher weitgehend Einigkeit darüber, dass die bestehenden Leitlinien für die Mensch-Computer-Interaktion (HCI) erweitert werden müssen, um das Potenzial dieser bahnbrechenden Technologie voll auszuschöpfen. In dieser Arbeit wird versucht, diese Forschungslücke zu schließen, indem sowohl die Auswirkungen auf individueller als auch auf organisatorischer Ebene untersucht werden, die sich aus der Zunahme von HAI ergeben. Was die Auswirkungen von KI auf den Einzelnen betrifft, so werden insbesondere zwei Fragen häufig diskutiert: (1) Wie wirkt sich die Undurchsichtigkeit komplexer KI-basierter Systeme auf die Benutzerinteraktion aus und (2) wie wirkt sich der zunehmende Einsatz von KIbasierten Systemen auf die individuelle Leistung bei der Erfüllung bestimmter Aufgaben aus? Daher befassen sich die Studien A und B dieser kumulativen Dissertation mit diesen Fragen. Studie A befasst sich mit dem Mangel an nutzerzentrierter Forschung auf dem Gebiet der erklärbaren KI, bei der es darum geht, KI-basierte Systeme für Endnutzer transparenter zu machen. Es wird untersucht, wie Individuen Erklärungsfunktionen von KI-basierten Systemen wahrnehmen, d.h. Funktionen, die darauf abzielen, die Transparenz zu erhöhen. Zur Beantwortung dieser Forschungsfrage wird ein Online-Laborexperiment mit anschließender Befragung im Kontext der Kreditwürdigkeitsprüfung durchgeführt. Diese Studie leistet einen zweifachen Beitrag. Erstens lässt sich anhand des Experiments feststellen, dass Individuen Erklärungsfunktionen positiv wahrnehmen und eine signifikante Zahlungsbereitschaft dafür haben. Zweitens zeigt das theoretische Modell zur Erklärung der Kaufentscheidung, dass eine erhöhte wahrgenommene Transparenz zu einem erhöhten Vertrauen der Nutzer und einer positiveren Bewertung des KI-basierten Systems führt. Studie B zielt darauf ab, Aufgaben- und Technologiecharakteristika zu identifizieren, die die Passgenauigkeit zwischen den Aufgaben eines Individuums und einem KI-basierten System bestimmen, da dies gemeinhin als Haupttreiber für die Systemnutzung und die individuelle Leistung angesehen wird. Auf der Grundlage eines qualitativen Forschungsansatzes in Form von Experteninterviews werden KI-spezifische Faktoren für Aufgaben- und Technologiemerkmale sowie den Task-Technology Fit entwickelt. Das daraus resultierende theoretische Modell ermöglicht empirische Forschung, die den Zusammenhang zwischen TaskTechnology-Fit und individueller Leistung untersucht, und kann auch von Praktikern angewendet werden, um potenzielle Anwendungsfälle des Einsatzes KI-basierter Systeme zu evaluieren.

Während der erste Teil dieser Arbeit die Auswirkungen der zunehmenden KI-MenschInteraktion auf individueller Ebene erörtert, befasst sich der zweite Teil mit den Auswirkungen auf organisatorischer Ebene. Die Beiträge C und D befassen sich mit der Frage, wie sich der zunehmende Einsatz KI-basierter Systeme in Organisationen auf die organisatorische Gerechtigkeit, d.h. die Fairness von Entscheidungsprozessen, und das organisatorische Lernen, d.h. die Anhäufung und Verbreitung von Wissen, auswirkt.

Studie C befasst sich mit der Problematik der organisatorischen Gerechtigkeit, die sich aus der Tatsache ergibt, dass KI-basierte Systeme zunehmend Aufgaben übernehmen, die früher von Menschen ausgeführt wurden. Im Einzelnen untersucht die Studie die Auswirkungen des Einsatzes eines KI-basierten Systems in der Phase der Bewerberauswahl im Rekrutierungsprozess. Anhand eines Online-Laborexperiments mit Personalverantwortlichen multinationaler Unternehmen wird gezeigt, dass die Einführung sogenannter CVRecommender-Systeme, d.h. Systeme, die geeignete Kandidaten für eine bestimmte Stelle identifizieren, die Verfahrensgerechtigkeit des Rekrutierungsprozesses positiv beeinflusst. Insbesondere werden die Objektivität und die Konsistenz des Bewerberauswahlprozesses gestärkt, welche zwei wesentliche Komponenten der Verfahrensgerechtigkeit darstellen. Studie D untersucht, wie der zunehmende Einsatz von KI-basierten Systemen organisatorische Lernprozesse beeinflusst. Die Studie leitet Thesen aus der Durchführung einer Reihe von agentenbasierten Simulationen ab. Es wird festgestellt, dass KI-basierte Systeme explorative Aufgaben übernehmen können, was es Organisationen ermöglicht, dem seit langem bestehenden Problem der Lernmyopie entgegenzuwirken, d.h. der menschlichen Tendenz, die Ausschöpfung bestehenden Wissens dem Erkunden neuen Wissens vorzuziehen. Darüber hinaus wird gezeigt, dass die fortlaufende Rekonfiguration von KI-basierten Systemen eine wesentliche Aktivität für Unternehmen darstellt, die deren volles Potenzial ausschöpfen wollen. Schließlich deuten die Ergebnisse darauf hin, dass das von KI-basierten Systemen geschaffene Wissen für Organisationen in turbulenten Umgebungen besonders vorteilhaft sein kann.

German
Status: Publisher's Version
URN: urn:nbn:de:tuda-tuprints-230700
Classification DDC: 000 Generalities, computers, information > 004 Computer science
300 Social sciences > 330 Economics
Divisions: 01 Department of Law and Economics > Betriebswirtschaftliche Fachgebiete > Information Systems
Date Deposited: 27 Jan 2023 13:19
Last Modified: 23 Aug 2023 12:48
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/23070
PPN: 505693151
Export:
Actions (login required)
View Item View Item