TU Darmstadt / ULB / TUprints

Artificial Intelligence Literacy - Conceptualization, Measurement, Enablement, and Its Impact on Individuals and Organizations

Pinski, Marc (2024)
Artificial Intelligence Literacy - Conceptualization, Measurement, Enablement, and Its Impact on Individuals and Organizations.
Technische Universität Darmstadt
doi: 10.26083/tuprints-00028092
Ph.D. Thesis, Primary publication, Publisher's Version

[img] Text
Dissertation_Marc_Pinski.pdf
Copyright Information: In Copyright.

Download (14MB)
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Artificial Intelligence Literacy - Conceptualization, Measurement, Enablement, and Its Impact on Individuals and Organizations
Language: English
Referees: Benlian, Prof. Dr. Alexander ; Jussupow, Prof. Dr. Ekaterina
Date: 24 September 2024
Place of Publication: Darmstadt
Collation: XXI, 235 Seiten
Date of oral examination: 13 September 2024
DOI: 10.26083/tuprints-00028092
Abstract:

Advancements in technology continually redefine what it means to be technologically literate in contemporary society and the business world. The recent surge in artificial intelligence (AI) technologies has particularly catalyzed this transformation, necessitating a reevaluation of existing technology literacy concepts. While AI technologies have achieved astonishing capabilities, they also have unique facets that distinguish them from prior technology, such as their inscrutability. These dynamics have prompted researchers in Information Systems (IS) and related disciplines to delve into the topic of AI literacy, investigating what it means to be literate concerning this new class of technologies. AI literacy refers to a holistic human proficiency in a variety of subject areas concerning AI that enable purposeful, efficient, and ethical usage of AI technologies. However, our current understanding of this new form of literacy is still quite limited. Since AI as a phenomenon is not only technologically different from prior technology but also has distinct sociological and psychological effects on humans, it remains unclear what such a new AI literacy concept needs to entail to prepare humans for the efficient and responsible usage and management of these technologies. Moreover, little research exists on the specific effects of AI literacy on humans and organizations, which is crucial to improving human-AI interactions and collaborations. Therefore, this dissertation aims to comprehend AI literacy and its ramifications for individuals and organizations by asking three overarching research questions. First, it asks how AI literacy can be conceptualized, measured, and enabled, laying the foundation for further AI literacy research. Second, it ventures into the effects of AI literacy on individual humans, specifically, asking how it affects their AI-related cognition (e.g., AI-related intentions and attitudes) and behavior (e.g., AI delegation behavior) in human-AI collaborations and interactions. Third, it examines the effects of AI literacy on organizations, specifically probing how the AI literacy of top management teams (TMTs) affects their organizations' AI strategy and implementation. To answer these three research questions, this thesis draws on five research articles. The first article contributes to answering the first research question by focusing on conceptualizing AI literacy for users. It conducts a systematic literature review to synthesize existing knowledge and develops a conceptual framework for AI literacy. Through this framework, the article identifies six subject areas and five proficiency dimensions of AI literacy, providing insights into users’ required literacy for the purposeful, efficient, and ethical usage of AI technologies. Moreover, it identifies and structures the existing research regarding the different learning methods to acquire AI literacy as well as the effects of AI literacy that have been discovered so far. Continuing with addressing the first research question, the second article aims to develop a measurement instrument for assessing individuals' AI literacy. Following established scale development procedures, it conducts a systematic literature review, expert interviews, and a validation study to create a measurement model containing five dimensions and 13 items. The study provides empirical support for the proposed measurement model and validates the instrument for assessing individuals' AI literacy levels. The third article addresses both the first and the second research questions. Drawing on a design science research approach, it designs an AI literacy learning experience and evaluates its effects on human cognition. The developed learning experience, a mobile learning application, “AiLingo,” targets non-expert adults to help them enhance their AI literacy. As such, it provides an enablement tool for AI literacy, completing the answer to the first research question. Moreover, the study evaluates the learning application through a between-subjects experiment. The results show that the learning experience leads to greater AI literacy advancement than a control learning experience, validating the ability to enable AI literacy efficiently, as well as that AI literacy positively influences AI-related intentions and attitudes, which addresses the second research question. From a scientific point of view, the developed design artifact (i.e., the mobile learning application) can also be viewed as a manipulation instrument, which future studies can utilize. The fourth article also addresses the second research question and focuses on how AI literacy affects human behavior in human-AI collaborations, particularly focusing on delegation decisions. It shows through a between-subjects experiment in the image classification context that AI literacy training improves humans' delegation decisions, leading to better task performance. The findings have implications for design guidelines of human-AI collaboration, emphasizing the role that potential educational features about AI functioning and human biases could have. Last, the fifth article addresses the third research question, exploring how the AI literacy of TMTs (TMT AI literacy) influences strategic AI orientation and implementation ability of organizations. Drawing on upper echelons theory, it analyzes observational data from executives' LinkedIn profiles and firm data from 10-k statements to demonstrate that TMT AI literacy positively impacts a firm's AI orientation and implementation ability. Moreover, it uncovers a moderating effect of the type of the respective firm (startup vs. incumbent) on the effect of TMT AI literacy on AI implementation ability. These five articles collectively contribute to a comprehensive understanding of AI literacy. By conceptualizing, measuring, and enabling AI literacy, as well as exploring the effects of AI literacy for individuals and organizations, they provide valuable insights into fostering effective and responsible engagement with AI technologies in diverse contexts. From enhancing individual competencies to influencing organizational strategies, AI literacy emerges as a pivotal factor in navigating the complexities of human-AI collaborations and maximizing the value of AI technologies for humans.

Alternative Abstract:
Alternative AbstractLanguage

Der technologische Fortschritt definiert kontinuierlich neu, was es bedeutet in der heutigen Gesellschaft und in der Geschäftswelt technologisch kompetent (engl. “literate”) zu sein. Der jüngste Aufschwung der Technologien der künstlichen Intelligenz (KI) hat diesen Wandel besonders beschleunigt und eine Neubewertung der bestehenden Konzepte für technologische Kompetenz (engl. “Literacy”) erforderlich gemacht. KI-Technologien haben zwar erstaunliche Fähigkeiten erlangt, weisen aber auch einzigartige Aspekte auf, die sie von früheren Technologien unterscheiden, wie etwa ihre Undurchsichtigkeit. Diese Dynamik hat Forscher in der Wirtschaftsinformatik und verwandten Disziplinen dazu veranlasst, sich mit dem Thema der KI-Kompetenz (engl. “AI Literacy”) zu befassen und zu untersuchen, was es bedeutet, im Umgang mit dieser neuen Klasse von Technologien kompetent zu sein. KI-Kompetenz bezieht sich auf eine ganzheitliche menschliche Befähigung in verschiedenen Themenbereichen der KI, die eine zielgerichtete, effiziente und ethische Nutzung von KI-Technologien ermöglicht. Unser derzeitiges Verständnis dieser neuen Form von Kompetenz ist jedoch noch recht begrenzt. Da sich KI als Phänomen nicht nur technologisch von früheren Technologien unterscheidet, sondern auch signifikante neue soziologische und psychologische Auswirkungen auf den Menschen hat, bleibt unklar, was ein solches neues Konzept der KI-Kompetenz beinhalten muss, um die Menschen auf die effiziente und verantwortungsvolle Nutzung und Verwaltung dieser Technologien vorzubereiten. Darüber hinaus gibt es nur wenig Forschung zu den spezifischen Auswirkungen von KI-Kompetenz auf Menschen und Organisationen, was für die Weiterentwicklung von Mensch-KI-Interaktionen und -Kollaborationen entscheidend ist. Daher zielt diese Dissertation darauf ab, die KI-Kompetenz und ihre Auswirkungen auf Individuen und Organisationen zu verstehen, indem sie drei übergreifende Forschungsfragen stellt. Erstens geht es um die Frage, wie KI-Kompetenz konzeptualisiert, gemessen und erworben werden kann, um so die Grundlage für weitere KI-Kompetenzforschung zu schaffen. Zweitens werden die Auswirkungen der KI-Kompetenz auf den einzelnen Menschen untersucht, insbesondere die Frage, wie sie sich auf die KI-bezogene Kognition (z.B. KI-bezogene Absichten und Einstellungen) und das Verhalten (z.B. KI-Delegationsverhalten) in der Zusammenarbeit und Interaktion zwischen Mensch und KI auswirkt. Drittens werden die Auswirkungen der KI-Kompetenz auf Organisationen untersucht, insbesondere wie die KI-Kompetenz des Top-Management-Teams die KI-Strategie und -Implementierung ihrer Organisation beeinflusst. Um diese drei Forschungsfragen zu beantworten, stützt sich diese Arbeit auf fünf Forschungsartikel. Der erste Artikel trägt zur Beantwortung der ersten Forschungsfrage bei, indem er sich auf die Konzeptualisierung von KI-Kompetenz für Nutzer konzentriert. Er führt eine systematische Literaturrecherche durch, um das vorhandene Wissen zusammenzufassen, und entwickelt einen konzeptionellen Rahmen für KI-Kompetenz. Anhand dieses Rahmens werden sechs Themenbereiche und fünf Kompetenzdimensionen der KI-Kompetenz identifiziert, die einen Einblick in die Kompetenz von Nutzern geben, die für die zweckmäßige, effiziente und ethische Nutzung von KI-Technologien erforderlich ist. Darüber hinaus identifiziert und strukturiert er die bestehende Forschung zu den verschiedenen Lernmethoden zum Erwerb von KI-Kompetenz sowie zu den bisher entdeckten Auswirkungen von KI-Kompetenz. Zur weiteren Beantwortung der ersten Forschungsfrage zielt der zweite Artikel auf die Entwicklung eines Messinstruments zur Beurteilung der individuellen KI-Kompetenz ab. In Anlehnung an etablierte Skalenentwicklungsverfahren werden eine systematische Literaturrecherche, Experteninterviews und eine Validierungsstudie durchgeführt, um ein Messmodell mit fünf Dimensionen und 13 Items zu erstellen. Die Ergebnisse der Studie zeigen die empirische Validität des vorgeschlagenen Messmodels und -instruments zur Bewertung der KI-Kompetenz von Individuen. Der dritte Artikel behandelt sowohl die erste als auch die zweite Forschungsfrage. Auf der Grundlage eines design-orientierten Forschungsansatzes (“Design Science Research”) wird eine Lernerfahrung für KI-Kompetenz entwickelt und ihre Auswirkungen auf die menschliche Kognition untersucht. Die entwickelte Lernerfahrung, eine mobile Lernanwendung, “AiLingo,” richtet sich an erwachsene Nicht-Experten und soll ihnen helfen, ihre KI-Kompetenz zu verbessern. Als solches stellt die Lernanwendung ein Werkzeug zur Förderung der KI-Kompetenz dar und vervollständigt damit die Antwort auf die erste Forschungsfrage. Darüber hinaus evaluiert die Studie die Lernanwendung durch ein Gruppenvergleichsexperiment. Die Ergebnisse zeigen, dass die Lernerfahrung zu größeren Lernfortschritten bei der KI-Kompetenz führt als eine Kontroll-Lernerfahrung. Dies bestätigt, dass die Lernerfahrung die KI-Kompetenz effizient steigern kann, sowie dass die KI-Kompetenz die KI-bezogenen Absichten und Einstellungen positiv beeinflusst, was einen Teil der zweiten Forschungsfrage beantwortet. Zudem kann das entwickelte Design-Artefakt (d.h. die mobile Lernanwendung) aus wissenschaftlicher Sicht auch als Manipulationsinstrument betrachtet werden, das in zukünftigen Studien eingesetzt werden kann. Der vierte Artikel befasst sich ebenfalls mit der zweiten Forschungsfrage und konzentriert sich darauf, wie die KI-Kompetenz das menschliche Verhalten in der Mensch-KI-Kollaboration beeinflusst, wobei der Schwerpunkt auf Delegationsentscheidungen liegt. Anhand eines Gruppenvergleichsexperiments im Kontext der Bildklassifizierung wird gezeigt, dass das Training von KI-Kompetenz die Delegationsentscheidungen von Menschen verbessert und zu einer besseren Aufgabenleistung führt. Die Ergebnisse haben Auswirkungen auf die Gestaltungsrichtlinien für die Zusammenarbeit zwischen Mensch und KI, indem sie die Rolle hervorheben, die potenzielle Trainingsfeatures zur Funktionsweise von KI und menschlichen Wahrnehmungsverzerrungen haben könnten. Der fünfte Artikel befasst sich mit der dritten Forschungsfrage und untersucht, wie die KI-Kompetenz von Top-Management-Teams (TMTs) die KI-Orientierung und -Umsetzungsfähigkeit von Unternehmen beeinflusst. Unter Rückgriff auf die Upper Echelons Theorie werden Beobachtungsdaten aus LinkedIn-Profilen von Führungskräften und Unternehmensdaten aus 10-k-Abschlussberichten analysiert, um zu zeigen, dass sich die KI-Kompetenz von TMTs positiv auf die KI-Orientierung und -Umsetzungsfähigkeit von ihren Unternehmen auswirkt. Darüber hinaus wird ein moderierender Effekt der Art des jeweiligen Unternehmens (Startup vs. etabliertes Unternehmen) auf den Effekt der KI-Kompetenz von TMTs auf die KI-Umsetzungsfähigkeit festgestellt. Diese fünf Artikel tragen gemeinsam zu einem umfassenden Verständnis von KI-Kompetenz bei. Indem sie KI-Kompetenz konzeptualisieren, messen und den Erwerb ermöglichen sowie die Auswirkungen von KI-Kompetenz auf Individuen und Organisationen untersuchen, bieten sie wertvolle Einblicke in die Förderung eines effektiven und verantwortungsvollen Umgangs mit KI-Technologien in unterschiedlichen Kontexten. Von der Verbesserung individueller Kompetenzen bis hin zur Beeinflussung organisationalen Strategien erweist sich KI-Kompetenz als zentraler Faktor, um die Komplexität der Zusammenarbeit zwischen Mensch und KI zu bewältigen und den Wert von KI-Technologien für Menschen zu maximieren.

German
Status: Publisher's Version
URN: urn:nbn:de:tuda-tuprints-280924
Classification DDC: 300 Social sciences > 330 Economics
600 Technology, medicine, applied sciences > 650 Management
Divisions: 01 Department of Law and Economics > Betriebswirtschaftliche Fachgebiete > Fachgebiet Information Systems & E-Services
Date Deposited: 24 Sep 2024 12:07
Last Modified: 26 Sep 2024 07:47
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/28092
PPN: 521684773
Export:
Actions (login required)
View Item View Item