Algorithmic Accountability: An Analysis of AI Developers' Perceptions and Behavioral Responses

The increasing integration of Information Systems (IS) based on Artificial Intelligence (AI) into diverse societal and organizational domains has made algorithmic accountability a critical concern in IS research and practice. As these systems assume greater roles in high-stakes decision-making, such as in healthcare, finance, and criminal justice, they raise pressing questions about ethics, governance, and, ultimately, algorithmic accountability. Algorithmic accountability aims to clarify who is obligated to justify the design, use, and outcomes of AI systems and who bears responsibility for their potential negative consequences. While policymakers, organizations, and the public emphasize the need for algorithmic accountability, much of the existing discourse has mainly remained conceptual, raising the question of how algorithmic accountability and perceptions of it materialize in practice and what concrete effects they have. Understanding these manifestations is crucial, particularly concerning AI developers, who directly shape AI design and whose accountability perceptions influence their development decisions. Against this backdrop, this dissertation examines how accountability triggers foster accountability perceptions among AI developers, how these perceptions manifest, and how they influence AI developers’ behavior in AI systems development. The findings reveal that direct indications, such as accountability arguments embedded in IS engineering tools, effectively evoke accountability perceptions among AI developers. However, these perceptions are not uniform but rather multifaceted, varying in intensity and reference points. While they often lead AI developers to favor more cautious designs of AI systems, unclear accountability attributions can negatively impact work-related affective states. These insights highlight the importance of designing algorithmic accountability mechanisms that trigger accountability perceptions and clarify their scope and implications, ensuring both responsible AI systems development and sustainable work environments for AI developers. This dissertation consists of four peer-reviewed articles (Article A–D) that address the socio-technical and behavioral dimensions of algorithmic accountability in AI systems development. The first part of this dissertation explores how organizations can trigger and shape accountability perceptions. Given the limitations of established governance mechanisms such as AI principles and AI audits, Article A introduces accountability arguments as embedded accountability triggers within IS engineering tools. Using a mixed-method research approach, the article demonstrates that AI developers differentiate between accountability perceptions related to development processes (process accountability) and those concerning the outcomes of AI systems (outcome accountability). The findings reveal that process accountability is more immediately perceived, while outcome accountability requires targeted interventions to be internalized equally effectively by AI developers. These insights advance IS research by conceptualizing accountability arguments as a dynamic governance mechanism that actively shapes AI developers’ accountability perceptions in AI systems development. The second part of this dissertation examines how different forms of accountability perceptions manifest among AI developers. Through an online survey, Article B highlights the consequences of incongruence in intrapersonal accountability perceptions, differentiating between self-attributed accountability and others-attributed accountability, referring to accountability assigned by others. The article demonstrates that misalignment between these perceptions increases role ambiguity and reduces job satisfaction, underscoring the need for clear and transparent algorithmic accountability communication within organizations. Through qualitative interviews, Article C further refines this understanding by distinguishing between two conceptualizations of algorithmic accountability: one as an intrinsic ethical virtue shaping AI developers’ decision-making and the other as an external governance mechanism ensuring compliance with organizational and regulatory standards. The findings reveal that AI developers’ ethical orientations influence whether they proactively integrate algorithmic accountability into their decision-making or adapt a more reactive, compliance-driven approach. This differentiation is essential for organizations seeking to cultivate a shared algorithmic accountability culture within AI systems development teams. The third part of this dissertation explores how accountability perceptions shape AI developers’ behavior, especially related to AI design. While prior IS research has predominantly focused on the effects of accountability perceptions on users’ behavior, Article D shifts the focus to AI developers as decision-makers by employing a scenario-based survey, revealing that heightened accountability perceptions lead to more cautious and risk-averse AI design preferences. AI developers who perceive strong accountability tend to reduce AI systems’ autonomy and inscrutability while prioritizing their learnability. This article advances IS research by demonstrating that algorithmic accountability is not only a governance mechanism but also a factor that actively shapes AI design. These findings call for organizations to carefully balance algorithmic accountability mandates with innovation goals, as excessive algorithmic accountability pressure may constrain exploratory design decisions. Taken together, the articles in this dissertation contribute to IS research by providing a more holistic understanding of how accountability triggers evoke accountability perceptions among AI developers, how these perceptions take shape in diverse and multifaceted ways, and how they ultimately influence AI systems development practices and decision-making. In doing so, this dissertation conceptualizes algorithmic accountability as a multi-layered construct, examining how AI developers internalize algorithmic accountability, how inconsistencies in accountability perceptions affect work-related affective states, and how these perceptions shape AI developers’ behavior. By differentiating between process and outcome accountability within AI systems development, self- and others-attributed accountability, and algorithmic accountability as a virtue versus a mechanism, this dissertation advances a more nuanced perspective on algorithmic accountability and its broader implications. These insights lay the groundwork for future IS research on algorithmic accountability as a dynamic and evolving governance mechanism within IS development practices. From a practical perspective, this dissertation offers valuable guidance for organizations and policymakers. For organizations, the findings suggest that integrating embedded algorithmic accountability interventions into development workflows can enhance clarity and consistency in algorithmic accountability communication, helping to minimize perceptual misalignment among AI developers. Rather than merely imposing mandates, effective algorithmic accountability frameworks must actively shape how algorithmic accountability is understood, internalized, and applied in practice, ensuring that AI developers engage with it as an embedded and actionable aspect of their work. For policymakers, this dissertation underscores that regulatory approaches must not only mandate algorithmic accountability but also consider how AI developers perceive and internalize these requirements. Ambiguously framed algorithmic accountability mandates risk creating unintended and potentially counterproductive consequences, as ambiguous understandings of algorithmic accountability may negatively impact AI developers’ ability to adhere to algorithmic accountability standards in practice. These findings call for closer collaboration between researchers, organizations, and policymakers to ensure that algorithmic accountability remains both theoretically sound and practically implementable. Future IS research should explore how accountability perceptions evolve over time, how interactions between AI stakeholders shape algorithmic accountability, and how algorithmic accountability mechanisms influence AI system adoption and long-term societal outcomes. Ultimately, this dissertation lays the groundwork for developing more effective governance strategies for AI systems, enabling organizations to proactively shape accountability perceptions, and ensuring that AI systems are not only technically advanced but also aligned with ethical and societal expectations.

Die zunehmende Integration von auf künstlicher Intelligenz (KI) basierenden Informationssystemen (IS) in verschiedene gesellschaftliche und organisatorische Bereiche hat algorithmische Rechenschaftspflicht zu einem zentralen Thema in der IS-Forschung und IS-Praxis gemacht. Da diese Systeme eine immer wichtigere Rolle in kritischen Entscheidungsprozessen in Bereichen wie dem Gesundheitswesen, der Finanzbranche und in der Strafjustiz spielen, werden drängende Fragen zu Ethik, Governance und letztlich algorithmischer Rechenschaftspflicht aufgeworfen. Algorithmische Rechenschaftspflicht zielt darauf ab, zu klären, wer die Verpflichtung trägt, die Entwicklung, den Einsatz und die Ergebnisse von KI-Systemen zu rechtfertigen, und wer für deren mögliche negative Folgen verantwortlich ist. Während die Notwendigkeit algorithmischer Rechenschaftspflicht zunehmend von politischen Entscheidungsträgern, Organisationen und der Öffentlichkeit betont wird, ist ein Großteil der bisherigen Diskussion jedoch weitgehend konzeptionell geblieben. Es besteht demnach Forschungsbedarf bezüglich der Manifestation und der Auswirkungen von algorithmischer Rechenschaftspflicht in der Praxis. Insbesondere das Verständnis dieser Manifestationen unter KI-Entwicklern ist von entscheidender Bedeutung, da sie maßgeblich das Design von KI-Systemen prägen und ihre Empfindungen entsprechende Entwicklungsentscheidungen beeinflussen. In der vorliegenden Dissertation wird untersucht, welche Auswirkungen algorithmische Rechenschaftspflicht auf die Wahrnehmungen von KI-Entwicklern hat und wie sich diese auf die Entwicklung von KI-Systemen auswirken. Die Ergebnisse zeigen, dass direkte Hinweise, wie zum Beispiel in IS-Engineering-Tools eingebettete Rechenschaftsargumente, effektiv Rechenschaftsempfindungen bei KI-Entwicklern erzeugen können. Diese Empfindungen sind jedoch nicht einheitlich, sondern vielschichtig und variieren in ihrer Intensität und ihren Bezugspunkten. Häufig resultieren diese Empfindungen in einer Präferenz von konservativeren und risikoaversen KI-Systemdesigns. Weiterhin können unklare Rechenschaftszuschreibungen negative Auswirkungen auf arbeitsbezogene affektive Zustände der KI-Entwickler haben. Diese Befunde betonen die Relevanz der Gestaltung von Rechenschaftsmechanismen, die nicht nur Rechenschaftsempfindungen auslösen, sondern auch Klarheit über deren Reichweite und Implikationen betonen. Dies ist essenziell, um sowohl eine verantwortungsvolle KI-Entwicklung als auch nachhaltige Arbeitsbedingungen für KI-Entwickler zu gewährleisten. Die vorliegende Dissertation umfasst vier peer-reviewte Artikeln (Artikel A–D), welche die soziotechnischen und verhaltensbezogenen Dimensionen algorithmischer Rechenschaftspflicht in der Entwicklung von KI-Systemen untersuchen. Der erste Teil dieser Dissertation analysiert, auf welche Art und Weise Organisationen dazu in der Lage sind, Rechenschaftsbewusstsein unter KI-Entwicklern zu erzeugen und zu formen. Angesichts der Grenzen etablierter Governance-Mechanismen, wie beispielsweise KI-Grundsätze und KI-Audits, führt Artikel A Rechenschaftsargumente als eingebettete Auslöser für Rechenschaftsempfindungen in IS-Engineering-Tools ein. Der Artikel zeigt mithilfe eines Mixed-Method-Ansatzes, dass KI-Entwickler zwischen Rechenschaftsempfindungen für Entwicklungsprozesse (Prozess-Rechenschaftspflicht) und denen für die Ergebnisse von KI-Systemen (Ergebnis-Rechenschaftspflicht) unterscheiden. Die Ergebnisse des Artikels legen nahe, dass Prozess-Rechenschaftspflicht unmittelbarer empfunden wird, während das Empfinden von Ergebnis-Rechenschaftspflicht gezielte Interventionen erfordert, um eine vergleichbare Internalisierung durch KI-Entwickler zu gewährleisten. Diese Erkenntnisse leisten einen Beitrag zur IS-Forschung, indem sie Rechenschaftsargumente als ein dynamisches Governance-Instrument konzeptualisieren, das die Rechenschaftsempfindung von KI-Entwicklern aktiv beeinflussen kann. Der zweite Teil dieser Dissertation widmet sich der Untersuchung der Manifestation unterschiedlicher Formen von Rechenschaftsbewusstsein unter KI-Entwicklern und den daraus folgenden Implikationen auf deren Verhalten. Mittels einer Online-Umfrage werden in Artikel B die Konsequenzen inkongruenter intrapersoneller Rechenschaftsempfindungen beleuchtet, wobei zwischen selbst- und fremdzugeschriebener Rechenschaftspflicht differenziert wird. Die Ergebnisse zeigen, dass Diskrepanzen zwischen diesen Wahrnehmungen Rollenunklarheiten verstärken und die Arbeitszufriedenheit verringern. Dies unterstreicht die Notwendigkeit einer klaren und transparenten Rechenschaftskommunikation innerhalb von Organisationen. Auf der Grundlage qualitativer Interviews differenziert Artikel C zudem zwischen zwei Konzeptualisierungen algorithmischer Rechenschaftspflicht: Einerseits als intrinsischer ethischer Wert, der die Entscheidungsfindung von KI-Entwicklern leitet, und andererseits als externer Governance-Mechanismus, der die Einhaltung organisatorischer und regulatorischer Vorgaben sicherstellt. Die Ergebnisse zeigen, dass die ethischen Orientierungen von KI-Entwickler die Entscheidung beeinflusst, ob sie algorithmische Rechenschaftspflicht proaktiv in ihre Entscheidungen einbeziehen oder eher einer reaktiven, regelbasierten Compliance folgen. Diese Differenzierung ist für Organisationen, die eine gemeinsam verstandene Kultur algorithmischer Rechenschaftspflicht in ihren KI-Entwicklungsteams etablieren möchten, von entscheidender Bedeutung. Der dritte Teil dieser Dissertation wird untersucht, wie Rechenschaftsempfindungen das Verhalten von KI-Entwicklern beeinflussen, insbesondere im Zusammenhang mit KI-Designpräferenzen. Während bisherige IS-Forschung sich vornehmlich mit den Auswirkungen von Rechenschaftsempfindungen auf das Nutzerverhalten befasste, fokussiert sich Artikel D auf KI-Entwickler als Entscheidungsträger. Die Ergebnisse einer szenariobasierten Umfrage zeigen, dass ein höheres Rechenschaftsempfinden zu vorsichtigeren und risikovermeidenden Designentscheidungen führt. KI-Entwickler mit hohem Rechenschaftsempfinden tendieren dazu, die Autonomie und Undurchschaubarkeit von KI-Systemen zu reduzieren, während sie der Lernfähigkeit Priorität einräumen. Der Artikel trägt zur Erweiterung der IS-Forschung bei, indem er aufzeigt, dass algorithmische Rechenschaftspflicht nicht nur als Governance-Mechanismus fungiert, sondern auch aktiv das Design von KI-Systemen beeinflusst. Die Erkenntnisse weisen darauf hin, dass Organisationen ein Gleichgewicht zwischen algorithmischen Rechenschaftsvorgaben und Innovationszielen finden müssen, da ein übermäßiger Rechenschaftsdruck explorative Designentscheidungen einschränken kann. Die in dieser Dissertation enthaltenen Artikel tragen zusammen dazu bei, ein umfassenderes Verständnis darüber zu entwickeln, wie Trigger algorithmischer Rechenschaftspflicht Rechenschaftsempfindungen bei KI-Entwicklern hervorrufen, wie sich diese Wahrnehmungen in unterschiedlichen und vielschichtigen Formen manifestieren und wie sie die Praktiken und Entscheidungen in der Entwicklung von KI-Systemen beeinflussen. In diesem Zusammenhang konzeptualisiert diese Dissertation algorithmische Rechenschaftspflicht als ein mehrdimensionales Konstrukt, das untersucht, wie KI-Entwickler ihre Rechenschaftspflicht internalisieren, wie Inkongruenzen in Rechenschaftsempfindungen arbeitsbezogene affektive Zustände beeinflussen und wie Rechenschaftsempfindungen Designpräferenzen von KI-Entwicklern formen. Durch die Differenzierung zwischen Prozess- und Ergebnis-Rechenschaftspflicht in der KI-Systementwicklung, selbst- und fremdzugeschriebener Rechenschaftspflicht sowie algorithmischer Rechenschaftspflicht als Wert versus Mechanismus erweitert diese Dissertation die Perspektive auf algorithmische Rechenschaftspflicht und ihre weitreichenden Implikationen auf die Einstellungen und das Verhalten von KI-Entwicklern. Die gewonnenen Erkenntnisse bilden eine fundierte Grundlage für zukünftige IS-Forschung im Themenkomplex algorithmischer Rechenschaftspflicht als dynamischen und sich weiterentwickelndem Governance-Mechanismus innerhalb der IS-Entwicklungspraxis. Aus praktischer Perspektive bietet diese Dissertation wertvolle Handlungsempfehlungen für Organisationen und politische Entscheidungsträger. Für Organisationen legen die Ergebnisse nahe, dass die Integration eingebetteter Auslöser algorithmischer Rechenschaftsempfindung in Entwicklungsprozesse die Klarheit und Konsistenz in der Rechenschaftskommunikation verbessern und Wahrnehmungsinkongruenzen innerhalb von KI-Entwicklungsteams minimieren kann. Anstatt lediglich Rechenschaftspflichten aufzuerlegen, müssen effektive algorithmische Rechenschaftsrahmen aktiv beeinflussen, wie algorithmische Rechenschafts-pflicht verstanden, empfunden und in der Praxis angewendet wird, sodass KI-Entwickler sie als integralen und handlungsleitenden Bestandteil ihrer Arbeitsabläufe wahrnehmen. Für politische Entscheidungsträger verdeutlicht diese Dissertation, dass regulatorische Ansätze nicht nur algorithmische Rechenschaftspflicht vorschreiben sollten, sondern ebenfalls berücksichtigen müssen, wie KI-Entwickler diese Anforderungen verstehen, empfinden und anwenden. Diese Erkenntnisse betonen die Notwendigkeit einer verstärkten Zusammenarbeit zwischen Forschern, Organisationen und Regulierungsbehörden, um sicherzustellen, dass algorithmische Rechenschaftspflicht sowohl theoretisch fundiert als auch praktisch umsetzbar bleibt.