TU Darmstadt / ULB / TUprints

Developing a Pathway for the Adoption of Machine Learning Systems in Organizations: An Analysis of Drivers, Barriers, and Impacts with a Focus on the Healthcare Sector

Pumplun, Luisa (2022)
Developing a Pathway for the Adoption of Machine Learning Systems in Organizations: An Analysis of Drivers, Barriers, and Impacts with a Focus on the Healthcare Sector.
Technische Universität Darmstadt
doi: 10.26083/tuprints-00021772
Ph.D. Thesis, Primary publication, Publisher's Version

[img] Text
Dissertation_Pumplun_Adoption of Machine Learning Systems.pdf.pdf
Copyright Information: CC BY-SA 4.0 International - Creative Commons, Attribution ShareAlike.

Download (5MB)
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Developing a Pathway for the Adoption of Machine Learning Systems in Organizations: An Analysis of Drivers, Barriers, and Impacts with a Focus on the Healthcare Sector
Language: English
Referees: Buxmann, Prof. Dr. Peter ; Benlian, Prof. Dr. Alexander
Date: 2022
Place of Publication: Darmstadt
Collation: XV, 180 Seiten
Date of oral examination: 14 July 2022
DOI: 10.26083/tuprints-00021772
Abstract:

The potential of machine learning (ML) and systems based thereon has grown steadily in recent years. The ability of ML systems to rapidly and systematically identify relationships in large volumes of data, which can be used to analyze new data to make meaningful predictions, enables organizations of all industries to make their processes more effective and efficient. Healthcare in particular may benefit greatly from ML systems in the future, as these systems’ capabilities could help to ensure adequate patient care despite many pressing issues, such as the acute shortage of specialists (e.g., through diagnostic support). However, many organizations are currently still failing to harness the potential of ML systems to their advantage, as implementing these systems is not a trivial task. Rather, the integration of ML systems requires the organization to identify and meet novel, multi-faceted preconditions that are unfamiliar as compared with previous, conventional technologies. This is mainly because ML systems exhibit unique characteristics. In particular, ML systems possess probabilistic properties due to their data-based learning approach, implying that their application can lead to erroneous results and that their functioning is often opaque. Particularly in healthcare, in which patients' lives depend on proper diagnoses and treatment, these characteristics result in ML systems not only being helpful, but – if introduced improperly – can also lead to severe detrimental consequences. Since previous research on the adoption of conventional technologies has not yet considered the characteristic properties of ML systems, the aim of this dissertation is to better understand the complex requirements for the successful adoption of ML systems in organizations in order for them to sustainably realize ML systems’ potential. The three qualitative, two experimental, and one simulation study included in this cumulative dissertation have been published in peer-reviewed journals and conference proceedings and are divided into three distinct parts with different focuses: The first part of this dissertation identifies the drivers of and barriers to the adoption of ML systems in organizations in general, and in healthcare organizations specifically. Drawing on an interview study with 14 experts from a variety of industries, an integrative overview of the factors influencing the adoption of ML systems is provided, structured according to technical, organizational, and environmental aspects. The interviews further reveal several problem areas where ML provider and ML user organizations’ perceptions diverge, which can lead to the flawed design of ML systems and thus delayed integration. In a second qualitative study, specific factors affecting the integration of ML systems in healthcare organizations are derived based on 22 expert interviews with physicians with ML expertise, and with health information technology providers. In a following step, these interviews are used to establish an operationalized maturity model, which allows for the analysis of the status quo in the adoption process of ML systems in healthcare organizations. How the identified requirements for the organizational introduction of ML systems can be fulfilled is subject of the second part of this dissertation. First, the concept of data donation is introduced as a potential mechanism for organizations, particularly in the healthcare sector, to achieve a valid database. More specifically, individuals’ donation behavior along with its antecedents, such as privacy risks and trust, and under different emotional states, is investigated based on an experimental study among 445 Internet users. Next, a design for rendering ML systems more transparent is proposed and evaluated using a questionnaire and an experiment among 223 Internet users. Thereby, the relevance of transparency for building trust among potential users and the resulting willingness to pay for transparent designs is highlighted. A qualitative study is further employed to reveal what motivates potential users, and especially the elderly, to accept health-related ML systems. The third part of this work includes a simulation study that presents the potential impact of adopting ML systems for organizational learning. The results suggest that an organization’s employees can be relieved of some of their learning burden through the application of ML systems, but the systems must be reconfigured appropriately over time. This holds especially true in case of rapid environmental changes, such as those caused by the COVID-19 pandemic. In summary, this dissertation assumes a socio-technical perspective to shed light on the integration of ML systems in organizations. It helps organizations better understand the complex interplay of technical, organizational, human, and environmental factors that are critical to the successful adoption of ML systems, enabling decision makers to target scarce corporate resources more effectively. Moreover, this work enables IS researchers to better grasp the specifics of ML systems, provide required adjustments to theoretical foundations, and sharpen their understanding of the contextual factors involved in the adoption of ML systems in organizations.

Alternative Abstract:
Alternative AbstractLanguage

Das Potenzial des Maschinellen Lernens (ML) und darauf basierender Systeme ist in den letzten Jahren stetig gewachsen. Die Fähigkeit von ML-Systemen, aus großen Mengen an Daten schnell und systematisch Zusammenhänge zu erlernen, die zur Analyse neuer Daten genutzt werden können, um aussagekräftige Vorhersagen zu treffen, ermöglicht es Organisationen aller Branchen, ihre Prozesse effektiver und effizienter zu gestalten. Insbesondere das Gesundheitswesen könnte zukünftig stark von ML-Systemen profitieren, da die Fähigkeiten dieser Systeme dazu beitragen könnten, trotz vieler dringlicher Problemstellungen wie dem akuten Fachkräftemangel eine angemessene Versorgung von Patienten sicherzustellen (z. B. durch Diagnoseunterstützung). Allerdings scheitern viele Organisationen derzeit noch daran, das Potenzial von ML-Systemen für sich zu nutzen, da die Einführung dieser Systeme keine triviale Aufgabe darstellt. Vielmehr erfordert die Integration von ML-Systemen, dass die Organisation neuartige, vielschichtige Anforderungen identifiziert und erfüllt, die von früheren konventionellen Technologien nicht bekannt waren. Dies liegt vorwiegend daran, dass ML-Systeme spezifische Merkmale aufweisen. Insbesondere besitzen ML-Systeme aufgrund ihres datenbasierten Lernansatzes probabilistische Eigenschaften, sodass ihre Anwendung zu fehlerhaften Ergebnissen führen kann und ihre Funktionsweise oftmals intransparent ist. Gerade im Gesundheitswesen, in dem das Leben der Patienten von der korrekten Diagnostik und Behandlung abhängt, führen diese Merkmale dazu, dass ML-Systeme nicht nur hilfreich sind, sondern – falsch eingeführt – auch schwerwiegende negative Konsequenzen nach sich ziehen können. Da die bestehende Forschung zur Einführung konventioneller Technologien die charakteristischen Eigenschaften von ML-Systemen bislang nicht berücksichtigt, ist das Ziel dieser Dissertation, die komplexen Anforderungen an eine erfolgreiche Adoption von ML-Systemen in Organisationen besser zu verstehen, um die Potenziale dieser Systeme nachhaltig heben zu können. Die drei qualitativen, zwei experimentellen und eine Simulationsstudie, die in dieser kumulativen Dissertation enthaltenen sind, wurden in von Fachexperten begutachteten Fachzeitschriften und Konferenzberichten veröffentlicht und gliedern sich in drei verschiedene Teilbereiche: Im ersten Teil dieser Arbeit werden die Triebkräfte und Hemmnisse für die Adoption von ML-Systemen in Organisationen im Allgemeinen und in Gesundheitsorganisationen im Spezifischen identifiziert. Auf Grundlage einer Interviewstudie mit 14 Experten aus unterschiedlichen Branchen wird eine integrative Gesamtübersicht der Einflussfaktoren erstellt, die nach technischen, organisatorischen und umweltbezogenen Aspekten gegliedert ist. Darüber hinaus zeigen die Interviews mehrere Problembereiche auf, in denen die Vorstellungen von Anbieter- und Nutzerorganisationen von ML-Systemen voneinander abweichen, was zu einer fehlerhaften Konzeption von ML-Systemen und somit zu einer verzögerten Einführung führen kann. Zusätzlich werden auf der Grundlage von 22 Experteninterviews mit Ärzten, die über ML-Fachwissen verfügen, und Anbietern von diagnostischen Technologien spezifische Faktoren für das Gesundheitswesen abgeleitet, die die Einführung von ML-Systemen beeinflussen. Diese werden in einem weiteren Schritt herangezogen, um ein operationalisiertes Reifegradmodell zu entwickeln, welches erlaubt, den Status Quo im Einführungsprozess von ML-Systemen in Organisationen des Gesundheitswesens zu analysieren. Wie die Voraussetzungen für die organisationale Adoption von ML-Systemen erfüllt werden können, wird im zweiten Teil dieser Dissertation behandelt. Zunächst wird das Konzept der Datenspende als potenzieller Mechanismus für Organisationen, insbesondere im Gesundheitswesen, vorgestellt, um eine valide Datenbasis zu erhalten. Im Einzelnen werden das Spendenverhalten von Individuen, darauf wirkende Einflussfaktoren wie Datenschutzrisiken und Vertrauen, sowie die Bedeutung verschiedener emotionaler Zustände für die Spende auf der Grundlage einer experimentellen Studie unter 445 Internetnutzern untersucht. Anschließend wird ein Design für eine transparentere Gestaltung von ML-Systemen präsentiert und anhand eines Fragebogens und eines Experiments unter 223 Internetnutzern evaluiert. Hierbei wird hervorgehoben, welche Relevanz die Transparenz für das Vertrauen potenzieller Nutzer hat und welche Zahlungsbereitschaft für transparente Designs daraus entsteht. Mithilfe einer qualitativen Studie wird zudem gezeigt, was potenzielle Nutzer und insbesondere ältere Menschen dazu bewegt, gesundheitsbezogene ML-Systeme zu akzeptieren. Der dritte Teil dieser Arbeit umfasst eine Simulationsstudie, welche die möglichen Auswirkungen einer Adoption von ML-Systemen für das organisationale Lernen darlegt. Die Ergebnisse legen nahe, dass Mitarbeiter einer Organisation durch den Einsatz von ML-Systemen in ihren Lernanstrengungen entlastet werden können, die Systeme aber regelmäßig gewartet werden müssen. Dies gilt insbesondere im Falle von schnellen Umweltveränderungen, wie sie z.B. durch die COVID-19-Pandemie verursacht werden. Zusammengefasst nimmt diese Dissertation eine sozio-technische Perspektive ein, um die Adoption von ML-Systemen in Organisationen zu beleuchten. Sie hilft Organisationen, das komplexe Zusammenspiel aus technischen, organisatorischen und menschlichen Aspekten sowie Umweltfaktoren besser zu verstehen, die für die erfolgreiche Einführung von ML-Systemen ausschlaggebend sind, und somit ihre knappen Ressourcen gezielter einzusetzen. Darüber hinaus ermöglicht diese Arbeit Forschern, die Spezifika von ML-Systemen besser zu erfassen, die erforderlichen Anpassungen der theoretischen Grundlagen vorzunehmen und ihr Verständnis für die kontextuellen Faktoren zu schärfen, die bei der Adoption von ML-Systemen in Organisationen eine Rolle spielen.

German
Status: Publisher's Version
URN: urn:nbn:de:tuda-tuprints-217729
Classification DDC: 000 Generalities, computers, information > 004 Computer science
300 Social sciences > 330 Economics
600 Technology, medicine, applied sciences > 610 Medicine and health
Divisions: 01 Department of Law and Economics > Betriebswirtschaftliche Fachgebiete
01 Department of Law and Economics > Betriebswirtschaftliche Fachgebiete > Information Systems
Date Deposited: 29 Jul 2022 11:14
Last Modified: 16 Dec 2022 13:16
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/21772
PPN: 499051432
Export:
Actions (login required)
View Item View Item