Menschen müssen häufig komplexe und sehr unterschiedliche Probleme lösen, oft mit unsicheren und unvollständigen Informationen. Eine besondere Eigenschaft menschlicher Intelligenz ist das flexible Finden geeigneter Strategien zur Lösung solcher Probleme. Diese Fähigkeit ermöglicht es Menschen viele (unbekannte) Herausforderungen zu meistern. Dennoch können Menschen beim Problemlösen auf Schwierigkeiten stoßen und können daher von Hilfsmitteln profitieren. Systeme, die auf künstlicher Intelligenz (KI) basieren, können als solche Hilfsmittel fungieren und Menschen bei vielen Aufgaben zu unterstützen. Insbesondere wenn die komplementären Stärken von Menschen und KI kombiniert werden, besteht ein großes Potenzial für verbesserte Leistungen und Lösungen. Es ist jedoch nicht immer klar, wie eine solche komplementäre Mensch-KI-Interaktion gestaltet werden kann. Ein mensch-zentrierter Ansatz ist dabei vielversprechend, da er uns hilft zu verstehen, wie Menschen verschiedene Probleme lösen und wo KI sie am besten unterstützen kann. Dies kann uns ermöglichen, Interaktionen und KI-Design auf die Nutzenden zuzuschneiden. Um dies zu erreichen, müssen die Merkmale der Probleme und die Art und Weise, wie Menschen sie lösen, berücksichtigt werden. Dabei ist die Untersuchung der kognitiven Prozesse und Lösungsschritte des Menschen von entscheidender Bedeutung. Dies kann dabei helfen die Schwierigkeiten in verschiedenen Problemlösungssituationen zu erkennen und um KI-Tools zu entwickeln, die nützlich sein können und sich gut in diese Prozesse integrieren lassen. Daher wird in dieser Arbeit untersucht, wie Menschen verschiedene Arten von Problemen mit interaktiven KI-Systemen lösen. Wir verwenden einen kombinierten Methodenansatz, um qualitative Erkenntnisse über die zugrundeliegenden kognitiven Prozesse und quantitative Daten über das menschliche Verhalten, deren Performance und ihre angegebene Unsicherheit während des Problemlösens zu erhalten. Diese Ergebnisse geben Aufschluss darüber, was sowohl bei strukturierten als auch bei unstrukturierten Problemen beachtet werden sollte, um potentielle Verbesserungen durch Mensch-KI Interaktion zu erzielen. Darüber hinaus können wir so untersuchen, was passiert, wenn geeignete KI-Systeme eingesetzt werden, um Menschen bei ihrem Problemlösungsprozess zu unterstützen. Um eine solche Mensch-KI-Interaktion zu untersuchen, führen wir mehrere empirische Studien durch.

In der ersten Studie müssen ein Mensch und ein KI-Agent gemeinsam ein klar definiertes und strukturiertes Problem lösen. Das heißt, sie lösen gemeinsam eine Aufgabe, bei der alle Schritte und Teilaufgaben bekannt sind, die erledigt werden müssen. In dieser Studie wird die Gesamtleistung durch die Koordination der Teilaufgaben beeinflusst. Bei dieser Koordination geht es darum, wer eine bestimmte Teilaufgabe löst und in welcher Reihenfolge alle Teilaufgaben erledigt werden. Wir untersuchen also, wie sich Menschen mit einem KI-Agenten koordinieren. Zu diesem Zweck haben wir die experimentelle Aufgabe so gestaltet, dass sie Teilaufgaben enthält, die entweder nur vom Menschen, nur vom Agenten oder von beiden gelöst werden können. Einige Teilaufgaben haben auch voneinander abhängige Schritte. Daher haben die Interaktion und Koordination einen wesentlichen Einfluss darauf, wie effizient und gut das Mensch-KI-Team zusammenarbeitet. In solchen Situationen ist der Aspekt der KI-Autonomie von entscheidender Bedeutung: Wer die einzelnen Teilaufgaben übernimmt und wie sie effizient gelöst werden, hängt davon ab, wie die Interaktionen und die Kommunikation zwischen Menschen und KI-Agent initiiert und durchgeführt werden. Daher untersuchen wir empirisch die Auswirkungen von KI-Autonomie auf die Team Leistung und die Nutzerzufriedenheit bei einer kooperativen Aufgabe in einem simulierten gemeinsamen Arbeitsraum. Konkret vergleichen wir festgesetzte KI-Autonomie-Niveaus mit situationsabhängiger Autonomieanpassung. Unsere Ergebnisse zeigen, dass Mensch-KI-Teams die beste Leistung erzielen, wenn die KI ihre Autonomie an die aktuelle Situation anpasst. Die Versuchspersonen bewerteten außerdem diesen KI-Agenten am besten in Bezug auf die wahrgenommene Intelligenz. Diese Resultate unterstreichen die Vorteile einer adaptiven KI-Autonomie in Situationen, in denen Menschen gemeinsam mit einem KI-Agenten ein genau definiertes und strukturiertes Problem lösen.

Des Weiteren untersuchen wir, wie Menschen eine Beispielaufgabe für unstrukturierte Probleme lösen. Konkret untersuchen wir die Schätzung unbekannter Größen aus unvollständigen oder unsicheren Informationen. Diese Schätzungsprobleme (auch Guesstimation problems genannt) sind offen und unstrukturiert, und erlauben daher z.B. mehrere Ansätze für eine mögliche Lösung. Oft ist dabei sogar unklar, wie die Qualität der Lösungen zu bewerten ist. Wenn es jedoch nicht möglich ist, die Qualität der Lösung in Experimenten zu bestimmen, wird es sehr schwierig, die Leistung bei solchen Aufgaben zu untersuchen. Um diese Gegebenheit zu adressieren, haben wir Schätzaufgaben konstruiert, für die wir die Antworten kennen, die die Teilnehmenden an unserer Studie aber nicht kennen oder herausfinden konnten. Die Verwendung dieser Fragen ermöglicht es uns, den Problemlösungsprozess systematisch mit einem Mixed-Methods-Ansatz zu analysieren. Wir untersuchten die zugrunde liegenden Lösungsprozesse unserer Teilnehmenden mit qualitativen Daten, indem wir die Methode des Lauten Denkens anwenden während die Versuchspersonen ihre Schätzungen erarbeiten. Mit diesen umfangreichen Daten konnten wir ihre Lösungsstrategien und die Herangehensweise der Versuchspersonen an solche Probleme ermitteln. Darüber hinaus haben wir quantitative Messungen erhoben, die die Leistung und die Unsicherheit über die Antworten zeigen. Mit diesen Daten fanden wir heraus, dass die Teilnehmenden die Probleme relativ gut lösen und ihre Schätzung sinnvoll erarbeiten. Sie zerlegen dafür die Fragen häufig in Unterfragen. Außerdem formen die Versuchspersonen die Fragen oft in semantisch ähnliche Fragen um, die aber leichter zu beantworten waren. Hierbei kam es allerdings häufig zu Schwierigkeiten: Oft waren die Versuchspersonen nicht in der Lage semantische Transformationen zu finden und wussten so oft nicht weiter und haben sich Hilfe gewünscht. Um diese Schwierigkeit und das „Steckenbleiben“ zu überwinden, haben wir ein KI-System entwickelt. Wir nutzen ein großes Sprachmodell (Large Language Model, kurz: LLM), dass wir so instruierten, dass es in der Lage ist diese Art von Transformationen zu generieren. Das heißt, wir konnten dieses System als Brainstorming Unterstützung für die Generierung dieser Transformationen nutzen. Wir stellten dieses System in einem weiteren Experiment unseren Versuchspersonen zur Verfügung und testeten die Auswirkungen der Verfügbarkeit eines solchen KI-Tools auf die Leistung in der Aufgabe. So zeigen wir, dass Guesstimation nicht nur als ein vielversprechende Testaufgabe für die Untersuchung von Interaktionen zwischen Mensch und KI beim Lösen unstrukturierter Probleme und Aufgaben ist, sondern präsentieren zusätzlich eine ausführliche Evaluation. Obwohl das Tool erfolgreich menschenähnliche und sinnvolle Vorschläge produzierte, haben die Teilnehmenden das System selten genutzt. Aus diesem Grund fanden wir keinen signifikanten Unterschied in der Leistung der Teilnehmenden, wenn das Tool zur Verfügung stand und wenn nicht. Angesichts unserer Ergebnisse reflektieren wir darüber, warum LLMs (noch) nicht in der Lage sind, die Leistung von Menschen bei dieser Art von Aufgaben signifikant zu steigern und positiv zu beeinflussen. Wir diskutieren ebenfalls, warum die Entwicklung von KI-Tools für eine solche kognitive Unterstützung nicht trivial ist, weisen aber auch auf vielversprechende Richtungen für zukünftige Arbeiten hin.

Wir haben auch festgestellt, dass das LLM, welches wir als Brainstorming-Tool verwendet haben, manchmal Ergebnisse erzeugte, die negative Biases (Verzerrungen) enthielten, z.B. wenn die Fragen zur Schätzung Hinweise auf bestimmte Regionen der Welt enthielten. Diese Effekte müssen unbedingt berücksichtigt werden, wenn KI-Systeme in die kognitiven Prozesse von Menschen beim Problemlösen integriert sein sollen. Denn es ist wichtig, dass die Gestaltung solcher Systeme fair ist und wir verhindern, dass sie negative Konsequenzen haben und zu (weiterer) Diskriminierung führen könnten. Dies ist besonders wichtig, wenn solche Systeme für Schätzungsaufgaben in der realen Welt eingesetzt werden, wie z.B. bei (geo-)politischen Prognosen. Wir untersuchen daher Biases in LLMs systematisch. In dieser Studie konzentrieren wir uns darauf, ob verschiedene, aktuelle LLMs Biases in Bezug auf Geschlecht und Religion aufweisen. Unsere Ergebnisse zeigen, dass (intersektionale) Biases in allen von uns getesteten LLMs vorhanden sind – und das, obwohl es bereits zahlreiche Maßnahmen gab, diese Biases in solchen den Systemen zu minimieren. Die LLMs produzieren immer noch mit deutlich höherer Wahrscheinlichkeit Ergebnisse, die mit negativen Stereotypen gegenüber marginalisierten Gruppen übereinstimmen. Daher diskutieren wir, welchen Effekt der Einsatz solcher Systeme in realen Problemlösungssituationen haben könnte. Zusätzlich zeigen wir auf, welche Maßnahmen eingesetzt werden könnten, um die unfairen Ausgaben von LLMs aufzudecken und in der Zukunft weiter zu minimieren.

Zusammenfassend befasst sich diese Arbeit mit der Untersuchung des menschlichen Problemlösens mit interaktiven KI-Systemen. Wir zeigen, dass unterschiedliche Problemtypen, d.h. strukturierte und unstrukturierte Probleme, unterschiedliche Überlegungen hinsichtlich der KI-Unterstützung und der Interaktion mit solchen Systemen erfordern. Wir evaluieren dabei empirisch, was Menschen brauchen und bevorzugen und wie sie sich mit einer KI koordinieren, während sie ein strukturiertes Problem lösen. Wir erforschen auch das Lösen unstrukturierter, offener Probleme und Fragen mit KI am Beispiel von Schätzaufgaben. Wir untersuchen, wie Menschen an Schätzaufgaben herangehen und sie lösen. Durch diese Resultate ist es möglich zu erkennen, wie wir die KI-Unterstützung am vielversprechendsten einsetzen könnten. Dieser Ansatz berücksichtigt sowohl die Bedürfnisse des Menschen als auch die Fähigkeiten von aktuellen KI-Systemen wie LLMs. Wir zeigen, dass Guesstimation problems gute Testaufgaben sind um mögliche Komplementarität durch die Kombination der Stärken von Menschen und KI-Systemen zu erreichen und untersuchen dies tiefgehend. Generell können wir sowohl in unseren strukturierten und klardefinierten als auch in offeneren und unstrukturierten Problemlösesituationen Vorteile und Nachteile von Mensch-KI-Interaktion beobachten. Wir erörtern die Faktoren, die die erfolgreiche Aufgabenerfüllung und die Interaktion in diesen Aufgabentypen beeinflussen, und welche zukünftigen Richtungen vielversprechend sind. Wir stellen dar, wie unsere Ergebnisse und die kombinierte Perspektive aus Kognitionswissenschaft und Interaktionsforschung dabei helfen kann unser Verständnis und letztlich die Gestaltung einer fairen, gewinnbringenden und vorteilhaften Mensch-KI-Interaktion für Problemlösung zu ermöglichen.