Aufgrund von allgegenwärtigem Rauschen und Ambiguitäten wird unsere Welt von Unsicherheit beherrscht. Um der Unsicherheit in Wahrnehmung, Handlungen und Entscheidungen begegnen zu können, haben Menschen eine interne Repräsentation ihrer Unsicherheit und kommunizieren diese in Interaktionen mit anderen Menschen. Darüber hinaus kombinieren Menschen Informationen aus verschiedenen Informationsquellen, um ihre Unsicherheit über den Zustand der Welt zu verringern. Insbesondere bei Wahrnehmungsaufgaben wurde gezeigt, dass Menschen redundante sensorische Hinweisreize integrieren, indem sie verschiedene Hinweisreize entsprechend ihrer Unsicherheit gewichten. So reduzieren sie die Unsicherheit der integrierten sensorischen Schätzung maximal, wie es der Satz von Bayes beschreibt.

Ebenso wie Menschen sollten auch Systeme der künstlichen Intelligenz (KI) und Roboter in ihrer verkörperten Form Unsicherheit repräsentieren, berücksichtigen, reduzieren und kommunizieren, um mit unserer unsicheren Welt zurechtzukommen. Dies kann insbesondere die Sicherheit kritischer KI-Anwendungen erhöhen und die Qualität der Interaktion zwischen Mensch und KI verbessern, z.B. bei KI-gestützter menschlicher Entscheidungsfindung oder Mensch-Roboter-Kollaboration in der Industrie oder im Pflegebereich. Die Quantifizierung der Unsicherheit eines KI-Systems kann mit probabilistischen Methoden erfolgen, z.B. mit probabilistischen Klassifizierern, die kategoriale Wahrscheinlichkeitsverteilungen über alle Klassen ausgeben. Außerdem kombinieren KI-Systeme oft verschiedene Informationsquellen: Ensembles aus Klassifizierern, die mehrere einzelne Klassifizierer kombinieren, um die Performance der Klassifizierung zu verbessern, gelten als die erfolgreichsten Klassifizierungsmethoden. Allerdings werden solche Ensembles in der Regel darauf optimiert, lediglich die Performance der Klassifizierung zu maximieren, anstatt die Unsicherheit zu reduzieren. Eine offene Frage ist daher, wie man probabilistische Vorhersagen von Klassifizierern optimal kombinieren kann, wobei deren Unsicherheit explizit berücksichtigt und korrekt reduziert werden soll, ähnlich wie der Mensch bei der Wahrnehmung mehrere Hinweisreize kombiniert. Da die einzelnen Klassifizierer in einem Ensemble in der Regel korreliert sind, sollte dabei besonderes Augenmerk auf die Kombination von korrelierten Klassifizierern gelegt werden. In dieser Arbeit wird untersucht, wie die Ausgaben probabilistischer Klassifizierer optimal kombiniert werden können. Es wird ein normatives Bayesianisches Modell vorgestellt, das formalisiert, wie einzelne Klassifizierer entsprechend ihrer Eigenschaften wie Unsicherheit, Bias und Varianz unter verschiedenen Annahmen optimal kombiniert werden können. Außerdem berücksichtigt das vorgeschlagene Modell ausdrücklich die Korrelation der einzelnen Klassifizierer, indem es deren Korrelationen mit einer neu eingeführten Wahrscheinlichkeitsverteilung modelliert, der korrelierten Dirichlet-Verteilung. Das daraus resultierende Fusionsmodell quantifiziert, wie die Klassifizierungsunsicherheit durch eine optimale Bayesianische Kombination von Klassifizierern in Abhängigkeit von deren Unsicherheit, Bias und Varianz und der Korrelation der einzelnen Klassifizierer reduziert werden sollte. Darüber hinaus übertrifft das vorgeschlagene Modell verwandte Bayesianische Fusionsmodelle auf simulierten und realen Datensätzen.

Ein Spezialfall der korrelierten Dirichlet-Verteilung, die zur Modellierung korrelierter probabilistischer Klassifizierer eingeführt wurde, ist die bivariate Beta-Verteilung. Die bivariate Beta-Verteilung modelliert zwei Beta-verteilte Zufallsvariablen mit einer positiven Korrelation. Sie ist daher besonders interessant für die Modellierung binärer probabilistischer Klassifizierer, ist aber ebenso von allgemeinem Interesse in der Statistik. Die bivariate Beta-Verteilung wurde bereits früher eingeführt. In früheren Arbeiten wurde jedoch eine ungefähre und mitunter ungenaue Methode verwendet, um die Kovarianz und Korrelation der Verteilung zu berechnen und ihre Parameter zu schätzen. In dieser Arbeit werden daher alle Produktmomente und die exakte Kovarianz hergeleitet. Basierend darauf wird ein Algorithmus zur Schätzung der Parameter der bivariaten Beta-Verteilung mit Hilfe von Moment-Matching vorgestellt.

Eine vielversprechende Anwendung der Bayes-optimalen Fusion mehrerer probabilistischer Klassifizierer ist die multimodale Mensch-Roboter-Interaktion. Da Menschen multimodal interagieren, indem sie Modalitäten wie Sprache, Gesten und Blickrichtungen verwenden, erfordert eine intuitive und natürliche Interaktion zwischen Menschen und Robotern, dass auch Roboter multimodal interagieren. Insbesondere sollte ein Roboter in der Lage sein, die unsicheren multimodalen Signale des Menschen, z.B. über seine Intentionen, zu verarbeiten und seine Unsicherheiten darüber korrekt zu kombinieren. Bisherige Ansätze zur multimodalen Intentionserkennung in der Mensch-Roboter-Interaktion konzentrieren sich jedoch nicht darauf, wie die Unsicherheiten der einzelnen Modalitäten korrekt berücksichtigt und die Unsicherheit reduziert werden kann. Daher werden in dieser Arbeit menschliche Intentionen aus multimodalen Daten erkannt, indem probabilistische Klassifizierer für die einzelnen Modalitäten gelernt und deren Ausgabeverteilungen optimal nach Bayes kombiniert werden. Es werden drei Anwendungen der Bayes-optimalen Fusion von Klassifizierern für verschiedene Mensch-Roboter-Interaktionsszenarien vorgestellt. Erstens werden menschliche Intentionen aus multimodalen Daten wie Sprache, Gesten, Blickrichtungen und Szenenobjekten erkannt. In einer Interaktionsaufgabe zwischen einem Menschen und einem Roboterarm mit sieben Freiheitsgraden wird gezeigt, dass das Hinzufügen weiterer Modalitäten zu einer verbesserten Erkennung von Intentionen und einer geringeren Unsicherheit beiträgt. Zweitens wird die Bayesianische Fusion angewandt, um es Menschen zu ermöglichen, einem Roboterarm mit sieben Freiheitsgraden multimodale Handlungsempfehlungen in Form von Sprache und Gesten für interaktives Verstärkungslernen zu geben. Auswertungen mit Versuchspersonen zeigen, dass die Lerngeschwindigkeit im Vergleich zu anderen Methoden signifikant verbessert werden kann. Drittens wird die Intention des Menschen, eine Interaktion mit einem Roboter zu beginnen, aus natürlichem menschlichem Verhalten erkannt. Ein multimodaler Datensatz wurde aufgezeichnet, der Sprache und Körperhaltungen von Versuchspersonen in einer kollaborativen Aufgabe mit einem zweiarmigen Assistenzroboter umfasst. Auf diesem Datensatz werden verschiedene unimodale und multimodale Klassifizierer verglichen und es wird gezeigt, dass die Intention zur Interaktion besser aus multimodalen Daten unter Verwendung der Bayesianischen Fusion von Klassifizierern erkannt werden kann.

Bayes-optimale Fusionsmethoden können nicht nur für die Kombination von Klassifizierern angewandt werden, sondern auch für die Kombination subjektiver Wahrscheinlichkeitsschätzungen, die von Menschen stammen. Solche probabilistischen Schätzungen oder Vorhersagen, z.B. von Experten, sind in vielen Bereichen von besonderer Bedeutung, unter anderem im Finanzwesen, in der Politik, im Ingenieurwesen, in der Meteorologie und im Gesundheitswesen, und können darüber hinaus zum Aufbau regelbasierter KI-Systeme verwendet werden. Obwohl bekannt ist, dass die Kombination einzelner Vorhersagen die Vorhersage-Performance erhöht, besteht wie bei der Fusion von Klassifizierern ein Bedarf an einem normativen Modell, das definiert, wie menschliche Vorhersagen unter expliziter Berücksichtigung ihrer Unsicherheit korrekt kombiniert werden sollen. In dieser Arbeit wird eine Familie von normativen Bayesianischen Modellen für die Kombination von subjektiven Wahrscheinlichkeitsschätzungen vorgestellt, die eng mit dem vorgestellten normativen Bayesianischen Modell für die Fusion von Klassifizierern verwandt sind. Das Vorhersageverhalten der einzelnen menschlichen Experten wird mit Beta-Verteilungen modelliert und ihre Wahrscheinlichkeitsschätzungen implizit kalibriert und entsprechend kombiniert, um die Bayes-optimale Unsicherheit der fusionierten Vorhersage zu erhalten. Die vorgeschlagenen Fusionsmodelle vernachlässigen jedoch die Korrelation zwischen den Experten und reduzieren daher zu viel Unsicherheit. Aus diesem Grund werden diese Modelle in einem zweiten Schritt zu einem Bayesianischen Modell für die Kombination von korrelierten subjektiven Wahrscheinlichkeitsschätzungen erweitert. Durch die explizite Repräsentation der Fähigkeiten der einzelnen Experten und der Schwierigkeiten der einzelnen Fragestellungen, für die Vorhersagen gemacht werden, kann dieses Modell die Korrelation zwischen den einzelnen Experten repräsentieren und bei der Fusion von Vorhersagen berücksichtigen. Dies verbessert die Performance der fusionierten Vorhersage im Vergleich zu unserem vorherigen Modell und anderen verwandten Fusionsmodellen.

Zusammenfassend untersucht diese Arbeit das grundlegende computationale Problem der Kombination unsicherer probabilistischer Vorhersagen, mit dem Menschen, Roboter und KI-Systeme im Allgemeinen konfrontiert sind. Während die menschliche Wahrnehmung unbewusst verschiedene sensorische Hinweisreize integriert, um ein optimales Ergebnis zu erhalten, werden hier normative Bayesianische Fusionsmodelle für die Kombination probabilistischer Vorhersagen entwickelt, wobei die Vorhersagen sowohl von Klassifizierern als auch von Menschen stammen können. Die vorgeschlagenen Modelle definieren, wie probabilistische Vorhersagen Bayes-optimal fusioniert werden sollten, insbesondere wenn die Vorhersagen korreliert sind. Außerdem wird gezeigt, dass die entwickelten Algorithmen verwandte Fusionsmethoden übertreffen und erfolgreich in der multimodalen Mensch-Roboter-Interaktion angewandt werden können.