Die zunehmende Verfügbarkeit großer Mengen an wertvollen Daten und die Entwicklung immer leistungsfähiger Algorithmen im Bereich des maschinellen Lernens (ML) erlauben es ML-Systemen auch komplexe Zusammenhänge in Daten schnell und eigenständig zu erkennen. Hierdurch können ML-Systeme nicht nur neues Wissen generieren, sondern bieten insbesondere großes Potential, menschliche Fähigkeiten zu erweitern und Entscheidungsträger auch bei anspruchsvollen Tätigkeiten zu unterstützen. In Hochrisikobereichen wie der Luftfahrt oder dem Gesundheitswesen trägt der Mensch die finale Entscheidungsverantwortung, wird allerdings zunehmend mit ML-Systemen kollaborieren, um Entscheidungsprozesse zu verbessern. Da ML-Systeme jedoch auf statistischen Ansätzen beruhen, sind sie fehleranfällig und die Komplexität moderner Algorithmen lässt ML-Systemausgaben für den Menschen oft undurchsichtig erscheinen. Während erste Ansätze aus dem Forschungsfeld der erklärbaren künstlichen Intelligenz (XAI) bereits darauf abzielen ML-Systemausgaben für den Menschen verständlicher und nachvollziehbarer zu gestalten, greift die aktuelle Forschung, die den Einfluss von ML-Systemen auf den menschlichen Entscheidungsträger untersucht, zu kurz. Es fehlt an Ansätzen, die es dem Menschen ermöglichen, seine Fähigkeiten durch die Kollaboration zu erweitern, um langfristig bessere Entscheidungen zu treffen. Um das Potential von ML-Systemen in Hochrisikobereichen ausschöpfen zu können, ist es erforderlich, dass sowohl der Mensch als auch das System voneinander lernen können. Auf diese Weise kann die Leistungsfähigkeit beider Parteien im Rahmen der Kollaboration verbessert werden. Darüber hinaus muss eine effektive Zusammenarbeit gestaltet werden, die die besonderen Eigenschaften von ML-Systemen berücksichtigt und dem Menschen erlaubt Systementscheidungen kritisch zu hinterfragen. Die vorliegende Dissertation umfasst fünf veröffentlichte Beiträge, die mittels einer Mixed-Methods-Studie, zwei quantitativen Experimenten und zwei qualitativen Design Science Research (DSR) Studien die Kollaboration und bilateralen Einflüsse zwischen Mensch und ML-System im Kontext von Entscheidungen in Hochrisikobereichen aus drei Perspektiven untersuchen: der (1) Mensch-, (2) ML-System- und (3) Kollaborationsperspektive. Im Rahmen der Mensch-Perspektive wird untersucht, wie der Mensch von ML-Systemen in der Kollaboration lernen kann, um seine eigenen Fähigkeiten auszubauen und Risiken für falsches Lernen durch fehlerhafte ML-Systemausgaben vermieden werden. In einer Mixed-Methods Studie segmentieren Radiologen 690 Hirntumore in MRT-Bildern unter Einbezug leistungsstarker oder leistungsschwacher ML-Systeme, die ein erklärbares oder nicht-erklärbares Design für Systemausgaben bereitstellen. Die Studie offenbart, dass menschliche Entscheidungsträger von ML-Systemen lernen können, um ihre Entscheidungsperformance und -sicherheit zu verbessern. Im Falle von fehlerhaften Systemausgaben führt dies jedoch auch zu falschem Lernen und birgt ein Risiko für den Entscheidungsträger. Erklärungen aus dem XAI-Bereich können den Lernerfolg der Radiologen signifikant verbessern und verhindern falsches Lernen im Falle inkorrekter ML-Systemausgaben. Tatsächlich können einige Radiologen sogar von Fehlern leistungsschwacher ML-Systeme lernen, wenn mit den Systemausgaben lokale Erklärungen bereitgestellt werden. Die Studie liefert erste empirische Erkenntnisse zum menschlichen Lernpotential im Rahmen der Kollaboration mit ML-Systemen. Die Erkenntnis, dass erklärbares Design von ML-Systemen Radiologen befähigt, fehlerhafte Ausgaben zu identifizieren, kann eine frühere Adoption von erklärbaren ML-Systemen, die ihre Leistungsfähigkeit über die Zeit ausbauen können, ermöglichen. Die ML-Systemperspektive untersucht hingegen, wie ML-Systeme entwickelt werden müssen, sodass diese flexibel auf Änderungen in der Problemwahrnehmung des Menschen und ihrer dynamischen Umgebung reagieren können. Dies erlaubt den Systemen auch vom Mensch zu lernen und stellt eine zuverlässige Leistungsfähigkeit der Systeme in dynamischen Kollaborationsumgebungen sicher. Mittels 15 qualitativer Interviews mit Data Science und ML-Experten im Rahmen einer DSR-Studie werden Herausforderungen für den langfristigen Einsatz von ML-Systemen identifiziert. Die Ergebnisse verdeutlichen, dass bereits in frühen Phasen im ML-Entwicklungsprozess Voraussetzungen für die flexible Anpassung der Systeme im realen Langzeiteinsatz geschaffen werden müssen. Es werden konkrete Designanforderungen und Designprinzipien für ML-Systeme, die von ihrer Umgebung und dem Menschen lernen können, für alle Phasen des CRISP-ML(Q) Prozessmodells für die Entwicklung und den Einsatz von ML-Systemen abgeleitet. Die Umsetzung dieser Prinzipien erlaubt ML-Systemen ihre Performance auch langfristig trotz auftretender Veränderungen zu erhalten oder sogar zu verbessern und schafft damit die Voraussetzungen für einen nachhaltigen Lebenszyklus von ML-Systemen. Abschließend untersucht die (3) Kollaborationsperspektive, wie die Zusammenarbeit von Mensch und ML-System gestaltet sein sollte, um die speziellen Eigenschaften wie Fehleranfälligkeit und Undurchsichtigkeit von ML-Systemen, aber auch kognitive Verzerrungen, die beim menschlichen Entscheidungsträger auftreten zu berücksichtigen und vorteilhaft in die Kollaboration einzubeziehen. Hierbei werden Piloten für 222 aufgezeichnete Flugsimulationen verschiedene ML-Systeme zur visuellen Detektion anderer Flugzeuge im Luftraum bereitgestellt. Das Experiment untersucht den Einfluss verschiedener ML-Fehlertypen und XAI-Ansätze in der Kollaboration und zeigt, dass erklärbares Design ML-fehlerbedingte Vertrauens- und Leistungseinbrüche für einzelne Fehlertypen signifikant reduzieren kann. Allerdings erhöht die Verarbeitung der Erklärungen die mentale Arbeitslast der Piloten. Während ML-Fehler das Vertrauen von menschlichen Entscheidungsträgern schädigen, werden in einer DSR-Studie zudem Designprinzipien für akzeptanzfördernde Artefakte für die Zusammenarbeit von Mensch und ML-System abgeleitet. Abschließend wird im letzten Teil der Analyse gezeigt wie kognitive Verzerrungen wie der IKEA-Effekt verursachen, dass Menschen die Ergebnisse der Kollaboration mit ML-Systemen mehr wertschätzen, wenn ein hohes Maß an eigenem Aufwand in die Kollaboration eingebracht wurde. Die Erkenntnisse bieten ein breites Fundament für die Gestaltung wirkungsvoller Kollaboration in Organisationen und insbesondere Hochrisikobereichen, wo Menschen auch langfristig in die Entscheidungsfindung eingebunden sein werden. Übergreifend zeigen die Studien, wie über die Gestaltung effektiver Kollaboration sowohl Menschen als auch ML-Systeme langfristig voneinander profitieren und ihre eigenen Fähigkeiten verbessern können. Dabei kann erklärbares Design von ML-Systemausgaben als Katalysator für die Adoption von ML-Systemen insbesondere in Hochrisikobereichen dienen. Diese Dissertation definiert neue Ansprüche für die Kollaboration von Mensch und ML-System und bietet Orientierung für ML-Entwickler, Wissenschaftler und Organisationen, die sowohl menschliche Entscheidungsträger als auch ML-Systeme in Entscheidungsprozesse einbeziehen und eine langfristig hohe Leistungsfähigkeit sicherstellen möchten.