TU Darmstadt / ULB / TUprints

Exploring Human and Artificial Intelligence Collaboration and Its Impact on Organizational Performance: A Multi-Level Analysis

Sturm, Timo (2023)
Exploring Human and Artificial Intelligence Collaboration and Its Impact on Organizational Performance: A Multi-Level Analysis.
Technische Universität Darmstadt
doi: 10.26083/tuprints-00023285
Ph.D. Thesis, Primary publication, Publisher's Version

[img] Text
Sturm T. - 2023 - Exploring Human and Artificial Intelligence Collaboration and Its Impact on Organizational Performance - A Multi-Level Analysis.pdf
Copyright Information: CC BY-SA 4.0 International - Creative Commons, Attribution ShareAlike.

Download (3MB)
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Exploring Human and Artificial Intelligence Collaboration and Its Impact on Organizational Performance: A Multi-Level Analysis
Language: English
Referees: Buxmann, Prof. Dr. Peter ; Benlian, Prof. Dr. Alexander
Date: 2023
Place of Publication: Darmstadt
Collation: 98 Seiten in verschiedenen Zählungen
Date of oral examination: 2 February 2023
DOI: 10.26083/tuprints-00023285

To achieve great performance and ensure their long-term survival, organizations must successfully act in and adapt to the reality that surrounds them, which requires organizations to learn effectively. For decades, organizations have relied exclusively on human learning for this purpose. With today’s rise of machine learning (ML) systems as a modern form of artificial intelligence (AI) and their ability to autonomously learn and act, ML systems can now also contribute to this vital process, offering organizations an alternative way to learn. Although organizations are increasingly adopting ML systems within a wide range of processes, we still know surprisingly little about how the learning of humans and ML systems affects each other and how their mutual learning affects organizational performance. Although a significant amount of research has addressed ML, existing research leaves it largely unclear whether and when humans and ML systems act as beneficial complementarities or as mutual impediments within the context of learning. This is problematic, as the (mis)use of ML systems may corrupt an organization’s central process of learning and thus impair the organizational adaptation that is crucial for organizational survival.

To help organizations facilitate useful synergies of humans and ML systems, this dissertation explores humans’ and ML systems’ idiosyncrasies and their bilateral interplay. As research on organizational learning has demonstrated, the key to managing such dynamics is the effective coordination of the ones who learn. The studies that were conducted for this dissertation therefore aim to uncover virtuous and vicious dynamics between humans and ML systems and how these dynamics can be managed to increase organizational performance. To take a holistic perspective, this dissertation explores three central levels of analysis.

The first level of analysis deals with performance impacts on the individual level. Here, the analysis focuses on two essential issues. First, the availability of ML systems as an alternative to humans requires organizations to rethink their problem delegation strategies. Organizations can benefit the most from the relative strengths of humans and ML systems if they are able to delegate problems to those whose expertise and capabilities best fit the problem. This requires organizations to develop an understanding of the problem characteristics that point to problems that are better (or less) suited to being solved by ML systems than by humans. Using a qualitative interview approach, the first study identifies central criteria and procedural artifacts and synthesizes these into a framework for identifying and evaluating problems in ML contexts. The framework provides a theoretical basis to help inform research about delegation decisions between humans and ML systems by unpacking problem nuances that decisively render problems suitable for ML systems. Building on these insights, a subsequent qualitative analysis explores how the dependency between a human and an ML system with respect to the delegated problem affects performance outcomes. The theoretical model that is proposed explains individual performance gains that result from ML systems’ use as a function of the fit between task, data, and technology characteristics. The model highlights how idiosyncrasies of an ML system can affect a human expert’s task execution performance when the expert bases her/his task execution on the ML system’s contributions. This study provides first empirical evidence on controllable levers for managing involved dependencies to increase individual performance.

The second level of analysis focuses on performance impacts on the group level. In contrast to traditional (non-ML) information systems, ML systems’ unique learning ability enables them to contribute independently to team endeavors, joining groups as active members that can affect group dynamics through their own contributions. Thus, in a third study, a digital trace analysis is conducted to explore the dynamics of a real-world case in which a group of human traders and a productively trading reinforcement ML system collaborate during trading. The studied case reveals that bilateral learning between multiple humans and an ML system can increase trading performance, which appears to be the result of an emerging virtuous cycle between the humans and the ML system. The findings demonstrate that the interactions between the humans and the ML system can lead to group performance that outperforms the individual trading of either the humans or the ML system. However, in order to achieve this, organizations must effectively coordinate the knowledge transfer and the roles of the involved humans and the ML system.

The third level of analysis focuses on performance impacts on the organization level. As ML systems increasingly contribute to organizational processes in all areas of the organization, changes in the organization’s fundamental concepts are likely to occur, and these may affect the organization’s overall performance. In a fourth study, a series of agent-based simulations are therefore used to explore the dynamics of organization-wide interactions between humans and ML systems. The results imply that ML systems can help stimulate the pursuit of innovative directions, liberating humans from exploring unorthodox ideas. The results also show that the alignment of human learning and ML is largely beneficial but can, under certain conditions, become detrimental to organizations. The findings emphasize that effective coordination of humans and ML systems that takes environmental conditions into account can determine the positive and negative impacts of ML systems on organization-level performance.

The analyses included in this dissertation highlight that it is precisely the unique differences between humans and ML systems that often seem to make them better complements than substitutes for one another. The secret to unleashing the true potential of ML systems may therefore lie in effectively coordinating the differences between humans and ML systems within their bilateral relationship to produce virtuous cycles of mutual improvement. This dissertation is a first step toward developing theory and guidance on coordinating the dynamics between humans and ML systems, with the aim of helping to rethink collaboration theory in the era of AI.

Alternative Abstract:
Alternative AbstractLanguage

Um hohe Leistungen zu erzielen und ihr langfristiges Überleben zu sichern, müssen Organisationen erfolgreich in der sie umgebenden Realität agieren und sich an diese anpassen, was ein effektives Lernen der Organisationen erfordert. Jahrzehntelang haben sich Organisationen dabei ausschließlich auf das Lernen von Menschen verlassen. Mit dem Aufkommen des maschinellen Lernens (ML) als moderne Form der künstlichen Intelligenz (KI) und ihrer Fähigkeit, autonom zu lernen und zu handeln, können ML-Systeme nun auch zu diesem wichtigen Prozess beitragen und Unternehmen eine alternative Möglichkeit des Lernens bieten. Obwohl Unternehmen zunehmend ML-Systeme in einer Vielzahl von Prozessen einsetzen, wissen wir nur erstaunlich wenig darüber, wie sich das Lernen von Menschen und ML-Systemen gegenseitig beeinflusst und wie ihr gemeinsames Lernen die Unternehmensleistung prägt. Obwohl es bereits viel Forschung zu ML gibt, bleibt weitgehend unklar, ob und wann Menschen und ML-Systeme als nützliche Ergänzungen oder als schädliche Hindernisse beim gemeinsamen Lernen wirken. Dies ist insofern problematisch, als der Einsatz von ML-Systemen den zentralen Prozess des Lernens beeinträchtigen und die für das Überleben von Organisationen entscheidende Anpassung erschweren kann.

Um Organisationen dabei zu helfen, nützliche Synergien zwischen Menschen und ML-Systemen zu ermöglichen, erforscht diese Dissertation die Eigenarten von Menschen und ML-Systemen und deren bilaterales Zusammenspiel. Wie die Forschung zum organisationalen Lernen gezeigt hat, liegt der Schlüssel zur Bewältigung derartiger Dynamiken in der effektiven Koordination der beteiligten Lernenden. Die durchgeführten Studien zielen daher darauf ab, vorteilhafte und schädliche Dynamiken von Menschen und ML-Systemen aufzudecken und zu untersuchen, wie diese Dynamiken koordiniert werden können, um die organisationale Leistung zu steigern. Um eine ganzheitliche Perspektive zu fördern, werden drei zentrale Analyseebenen erforscht.

Die erste Ebene der Analyse befasst sich mit Leistungsauswirkungen auf individueller Ebene. Hier konzentriert sich die Analyse auf zwei wesentliche Aspekte. Zunächst erfordert die Verfügbarkeit von ML-Systemen als Alternative zu Menschen, dass Organisationen ihre Delegationsstrategien überdenken. Unternehmen können am meisten von den Stärken von Menschen und ML-Systemen profitieren, wenn sie in der Lage sind, Probleme an diejenigen zu delegieren, deren Fachwissen und Fähigkeiten am geeignetsten für die Lösung des bestehenden Problems sind. Dies setzt voraus, dass Unternehmen ein Verständnis für Problemcharakteristika entwickeln, die auf Probleme hinweisen, die sich besser (oder schlechter) für die Lösung mittels ML-Systemen anstelle von Menschen eignen. Mithilfe einer qualitativen Interviewstudie werden zentrale Kriterien und Verfahrensartefakte identifiziert und zu einer Rahmenstruktur für die Identifizierung und Bewertung von Problemen in ML-Kontexten zusammengefasst. Die Rahmenstruktur bildet eine theoretische Grundlage für die Erforschung von Delegationsentscheidungen zwischen Menschen und ML-Systemen, indem sie die wesentlichen Merkmale von Problemen herausarbeitet, die diese für die Anwendung von ML-Systemen geeignet erscheinen lassen. Aufbauend auf diesen Erkenntnissen wird in einer weiteren qualitativen Analyse untersucht, wie sich die Abhängigkeit zwischen einem Menschen und einem ML-System bei delegierten Problemen auf die erzielte Leistung auswirkt. Es wird ein theoretisches Modell entwickelt, das individuelle Leistungssteigerungen aufgrund des Einsatzes von ML-Systemen als Funktion der Kompatibilität zwischen Aufgaben-, Daten- und Technologiemerkmalen erklärt. Das Modell verdeutlicht, wie die Eigenarten eines ML-Systems die Leistung eines menschlichen Experten bei der Aufgabenausführung beeinflussen können, wenn sie/er ihre/seine Ausführung auf die Beiträge des ML-Systems stützt. Die Studie liefert erste empirische Evidenz für kontrollierbare Einflussfaktoren, um zentrale Abhängigkeiten zu managen und die individuelle Leistung zu steigern.

Die zweite Ebene der Analyse konzentriert sich auf Leistungsauswirkungen auf Gruppenebene. Im Gegensatz zu konventionellen (Nicht-ML-)Informationssystemen können ML-Systeme aufgrund ihrer einzigartigen Lernfähigkeit eigenständig zu Teamvorhaben beitragen und sich Gruppen als aktive Mitglieder anschließen, die durch ihre eigenen Beiträge die Gruppendynamik beeinflussen können. Um die entstehende Dynamik zu erforschen, wird eine Digital-Trace-Analyse eines realen Falles durchgeführt, in welchem eine Gruppe von menschlichen Händlern und ein produktiv handelndes ML-System beim Wertpapierhandel zusammenarbeiten. Der untersuchte Fall zeigt, dass bilaterales Lernen zwischen mehreren Menschen und einem ML-System die Handelsleistung steigern kann, was aus einem sich entwickelnden positiven Kreislauf zwischen den Menschen und dem ML-System zu resultieren scheint. Die Ergebnisse zeigen, dass die Interaktionen zwischen den Menschen und dem ML-System zu einer Gruppenleistung führen können, die die individuelle Leistung der Menschen oder des ML-Systems übertrifft. Dies setzt jedoch voraus, dass Organisationen den Wissenstransfer und die Rollen der beteiligten Menschen und des ML-Systems effektiv koordinieren können.

Schließlich konzentriert sich die dritte Analyseebene auf Leistungsauswirkungen auf Organisationsebene. Da ML-Systeme in zunehmendem Maße zu organisationalen Prozessen in sämtlichen Bereichen einer Organisation beitragen, ist es wahrscheinlich, dass es zu Veränderungen in den grundlegenden Konzepten der Organisation kommt, was sich wiederum auf die Gesamtleistung der Organisation auswirken kann. Durch eine Reihe agentenbasierter Simulationen werden die Dynamiken der organisationsweiten Interaktionen zwischen Menschen und ML-Systemen erforscht. Die Ergebnisse deuten darauf hin, dass ML-Systeme dazu beitragen können, die Verfolgung innovativer Richtungen anzuregen und Menschen von der Erprobung unkonventioneller Ideen zu entlasten. Darüber hinaus wird gezeigt, dass die Verbindung von menschlichem Lernen und ML weitgehend vorteilhaft ist, aber unter bestimmten Bedingungen auch nachteilig für Organisationen sein kann. Die Ergebnisse zeigen, dass eine effektive Koordination von Menschen und ML-Systemen unter Berücksichtigung der Umweltbedingungen die positiven und negativen Auswirkungen von ML-Systemen auf die Leistung von Organisationen maßgeblich beeinflussen kann.

Die enthaltenen Analysen verdeutlichen, dass es gerade die einzigartigen Unterschiede zwischen Menschen und ML-Systemen sind, die dafür sorgen, dass sie einander oft besser ergänzen als ersetzen. Das Geheimnis zur Entfaltung des wahren Potenzials von ML-Systemen mag daher darin liegen, die Unterschiede zwischen Menschen und ML-Systemen innerhalb ihrer bilateralen Beziehung effektiv zu koordinieren, um positive Kreisläufe der gegenseitigen Verbesserung zu erzeugen. Diese Dissertation ist ein erster Schritt zur Entwicklung einer Theorie und Leitlinie für die Koordinierung der Dynamiken zwischen Menschen und ML-Systemen und soll dazu beitragen, Kollaborationstheorie im Zeitalter der KI neu zu überdenken.

Status: Publisher's Version
URN: urn:nbn:de:tuda-tuprints-232854
Classification DDC: 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
300 Sozialwissenschaften > 330 Wirtschaft
Divisions: 01 Department of Law and Economics > Betriebswirtschaftliche Fachgebiete > Information Systems
Date Deposited: 13 Mar 2023 13:08
Last Modified: 19 Jun 2023 08:42
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/23285
PPN: 506700593
Actions (login required)
View Item View Item