Drivers and Barriers of Generative and Conversational Artificial Intelligence for the Workplace: Organizational and Design Considerations

Artificial Intelligence (AI) as a technology is foundational to the majority of software applications today. In particular, with the emergence of ChatGPT in late 2022—a conversational agent based on a large language model (LLM)—generative AI (GenAI) became the new standard for AI. With its power to consume, analyze, process, and finally generate data, potential use cases are numerous. For many organizations, GenAI is the future technology due to its potential to increase efficiency and productivity through automated analyses and predictions, while decreasing costs and human labor for better scalability. As individuals, GenAI tools have also become the norm in our private lives, whether it be talking to powerful and seemingly all-knowing assistants, retrieving information in a digestible way, or generating texts for different purposes. However, using GenAI tools is also perceived critically by many. Disadvantages include hallucinations, monetary costs, ethical concerns, and environmental implications associated with GenAI usage, and the fact that data privacy may not always be provided. Consequently, for a sensitive environment like the workplace, it is a fine balance between benefits and risks.

The aim of this dissertation is to shed light on drivers and barriers of GenAI usage at the workplace with a focus on knowledge workers. Knowledge workers generate value in their jobs by understanding, transforming, and transferring knowledge and information. As the core capabilities of GenAI exactly align with these types of tasks, they represent the group of workers whose work provides the largest potential to be optimized using GenAI. At the same time, prior industrial revolutions have taught that easing work through tool usage could result in job displacement and job loss—which is certainly not the outcome that would convince knowledge workers to start using these tools. Hence, understanding their perspective is pivotal to maximize the collective and organizational benefit from implementing GenAI at their workplaces.

The first part of the dissertation comprises two studies focusing on special circumstances of the workplace environment and general influencing factors on GenAI acceptance and usage at the workplace. The first study investigated implications of the recent COVID-19 pandemic on the digital transformation in organizations, a strong driver for the implementation of new technologies like GenAI. Drawing on results from interviews with 15 knowledge workers, the first study revealed that the impact was mainly associated with remote and hybrid work settings. Through the sudden need of digitalization, employees and leaders upskilled in digital working, developed digital formats, and became more susceptible to new technologies. The changes in work setup, personal capabilities, individual needs, and strategic thinking set the perfect stage for new technologies like GenAI to flourish soon after. The second study is a survey study on drivers and barriers of GenAI tool usage at the knowledge worker workplace from an individual perspective. Based on results from previous studies on GenAI tool usage, influencing factors were identified that proved to have a significant effect on users’ behavioral intention to use and actual system usage. With these influencing factors, the established technology acceptance model “Unified Theory of Technology Acceptance and Usage” (UTAUT) was extended with seven additional constructs and employed in the development of a questionnaire for the survey. Data retrieved from 435 valid survey responses from active knowledge workers was analyzed to assess the measurement model and the structural model. Using partial least squares structural equation modelling (PLS-SEM), it was identified that the most influential factor for user intention is performance expectancy, i.e., benefit for users from using GenAI tools. Surprisingly, the study revealed that trust has an ambivalent effect. While trust in GenAI was mentioned as an important factor for using GenAI tools in comments, the hypothesized effect of trust on behavioral intention to use was significantly negative. A potential explanation was found in the fear of AI overreliance when GenAI tools become more trustable.

Implied by strong natural language capabilities of GenAI, most GenAI tools are presented as conversational agents (CAs). To examine design and implementation considerations of such CAs at the workplace, the second part of this dissertation comprises three studies. The first study includes a two-part systematic literature research to set the foundation by extracting the state-of-the-art research in CAs for the workplace in terms of application domains and design considerations identified in empirical studies. Based on a total of 45 CA concepts for the workplace, design considerations were extracted and consolidated. Using the Design Science Research methodology, the second study developed and validated a prototype of a CA for workplace learning. Based on semi-structured interviews informed by the Decomposed Theory of Planned Behavior, participants confirmed previously identified design considerations and provided additional insights regarding design and implementation. To conclude this part, the third study zooms into the topic of CA resilience through intentional breakdown handling. Considering strategies employed in research and productive artifacts, a taxonomy was developed to organize and intentionally design breakdown handling strategies.

In summary, this dissertation identifies a variety of influencing factors for the acceptance and usage of generative and conversational AI at the workplace. Combining considerations from the organizational and individual perspective, the findings advance the knowledge on AI usage at the workplace, human-AI interaction, and AI system design. Moreover, practical insights help to sharpen the focus on drivers and mitigate barriers to effectively and successfully implement GenAI at the workplace.

Die Technologie der Künstlichen Intelligenz (KI) ist heute aus Software nicht mehr weg zu denken. Spätestens seit der Erscheinung von ChatGPT Ende 2022, einem Chatbot basierend auf einem großen Sprachmodell (engl. „large language model“ bzw. LLM), ist generative KI (GenKI) der Standard unter den KI-Technologien. Aufgrund der Fähigkeit, Daten nicht nur zu konsumieren, zu analysieren und zu verarbeiten, sondern darüber hinaus auch noch zu generieren, gibt es zahlreiche Möglichkeiten, GenKI einzusetzen. Für viele Unternehmen ist GenKI die Zukunftstechnologie aufgrund ihres Potenzials zur Effizienz- und Produktivitätssteigerung durch automatisierte Analysen und Vorhersagen. Auch bei Einzelpersonen ist GenKI bereits zahlreich in das private Leben eingezogen, ob zur Informationssuche oder zur Generierung von Texten für allerlei Zwecke. Die Nutzung von GenKI ist aber nicht von Kritik befreit. Zu den Nachteilen von GenKI zählen zum Beispiel Halluszinationen, hohe Kosten, Bedenken bezüglich der Vereinbarkeit mit Ethik und Umweltschutz und nicht zuletzt auch der Datenschutz. Als Folge dessen ist eine Nutzung an einem sensiblen Ort wie dem Arbeitsplatz ein Balance-Akt zwischen Vorteilen und Risiken.

Das Ziel dieser Dissertation ist es, positive und negative Einflussfaktoren auf die Nutzung von GenKI am Arbeitsplatz zu erforschen mit einem Fokus auf Wissensarbeitenden. Wissensarbeitende sind diejenigen, die vor allem durch das Verstehen, das Verarbeiten und die Vermittlung von Wissen und Informationen Wert schöpfen. Da GenKI genau in diesen Bereichen brilliert, bieten solche Arbeitsplätze das meiste Optimierungspotenzial. Zeitgleich haben vorhergehende industrielle Revolutionen aber auch gezeigt, dass Arbeitserleichterungen schnell zu Arbeitsverminderung und Jobverlust führen können. Daher ist es wichtig, die Perspektive der Arbeitenden zu verstehen, um das größtmögliche Potenzial auszuschöpfen.

Im ersten Teil der Dissertation wird in zwei Studien der Arbeitsplatz als Einsatzumgebung beleuchtet, sowie generelle Einflussfaktoren auf die GenKI-Werkzeug-Nutzung am Arbeitsplatz untersucht. Die erste Studie beleuchtet die Langzeitauswirkungen der Corona-Pandemie auf die digitale Transformation in Unternehmen, ein wichtiger Faktor für die Einführung neuer Technologien. In 15 Interviews mit Wissensarbeitenden wurde festgestellt, dass die meisten Auswirkungen ihren Ursprung im virtuellen/hybriden Arbeiten haben. Der plötzliche Bedarf motivierte Angestellte, sich schnell digitale Fähigkeiten anzueignen, digitale Formate zu entwickeln und insgesamt gegenüber digitalen Werkzeugen offener zu sein. Dadurch wurden Arbeitende für neue Technologien empfänglicher—sehr zum Vorteil der GenKI-Technologie, die kurz danach der Öffentlichkeit vorgestellt wurde. Die zweite Studie beschreibt eine quantitative Umfragestudie zu Einflussfaktoren auf GenKI-Werkzeugakzeptanz und -nutzung am Arbeitsplatz. Basierend auf vorherigen Studien zur GenKI-Nutzung und dem etablierten Technologie-Akzeptanz-Modell „Unified Theory of Technology Acceptance and Usage“ (UTAUT) wurde ein erweitertes Forschungsmodell mit sieben zusätzlichen Einflussfaktoren entwickelt, auf Basis dessen ein Fragebogen erstellt wurde. Aus 435 gültigen Antworten von aktiven Wissensarbeitenden zur Umfrage wurden das Mess- und das Strukturmodell bewertet. Mit Hilfe von Strukturgleichungsmodellierung mit partieller Kleinste-Quadrate-Schätzung (engl. „partial least squares structural equation modeling“ bzw. PLS-SEM) wurde festgestellt, dass der größte Einflussfaktor auf die Nutzungsintention der Mehrwert ist, der für Nutzende durch die GenKI-Werkzeug-Anwendung entsteht. Unerwartet wurde darüber hinaus auch festgestellt, dass Vertrauen einen ambivalenten Effekt haben kann. Obgleich Vertrauen in Kommentaren als einen wichtigen Faktor für die GenKI-Nutzung aufgeführt wurde, konnte im Strukturgleichungsmodell ein signifikanter, negativer Einfluss auf die Nutzungsintention festgestellt werden. Eine potenzielle Begründung könnte die Befürchtung sein, übermäßig von KI-Werkzeugen abhängig zu werden, sobald diese ausreichend vertrauenswürdig und verlässlich werden.

Aufgrund der starken, natürlichsprachigen Fähigkeiten von GenKI bieten die meisten solcher Systeme eine natürlichsprachige, dialogbasierte Schnittstelle an und stellen daher eine Art Chatbot (engl. conversational agent, kurz CA) dar. Um das Design und die Implementierung eines solchen Chatbots am Arbeitsplatz zu untersuchen, wurden im zweiten Teil der Dissertation drei Studien durchgeführt. Die erste Studie erfasst in einer zweiteiligen, systematischen Literaturrecherche den aktuellen Stand der Forschung hinsichtlich Einsatzzwecken und Designanforderungen. Basierend auf 45 Chatbot-Konzepten wurden diese Anforderungen extrahiert und konsolidiert. Unter Anwendung der „Design Science Research“-Methodik wurde dann in der zweiten Studie ein Chatbot-Konzept für das Lernen am Arbeitsplatz entwickelt und validiert. Aus 14 semi-strukturierten Interviews unter Verwendung der Ansätze aus der „Decomposed Theory of Planned Behavior“ wurden die zuvor extrahierten Designanforderungen bestätigt und ergänzt. Zum Abschluss dieses Teils der Dissertation wurde in der dritten Studie der Fokus auf Chatbot-Resilienz gelegt. Mit Hilfe von Forschungsartefakten und tatsächlich produktiv eingesetzten Chatbots wurde eine Taxonomie entwickelt, um Chatbot-Strategien zu beschreiben, die der Chatbot in Fehlerfällen bewusst anwenden kann.

Zusammenfassend beschreibt diese Dissertation eine Vielzahl an Einflussfaktoren auf die Akzeptanz und Nutzung von generativer und natürlichsprachig dialogbasierter KI am Arbeitsplatz. Durch die Kombination der Unternehmens- und der individuellen Perspektiven erweitern diese Ergebnisse den Forschungsstand zur KI-Nutzung am Arbeitsplatz, Mensch-KI Interaktion und KI-Systemdesign. Darüber hinaus helfen die Erkenntnisse, treibende Faktoren in der Praxis fokussiert zu fördern und Barrieren gezielt abzubauen, um eine effektive und erfolgreiche Nutzung von GenKI am Arbeitsplatz zu ermöglichen.