The Value of Symbolic Concepts for AI Explanations and Interactions

Modern Artificial Intelligence (AI), particularly deep neural networks, often lack transparency, making it difficult for human stakeholders to understand, evaluate, and correct model behavior—critical capabilities for mitigating shortcut behavior and ensuring trust in AI systems. This thesis addresses the need for trustworthy AI systems by investigating symbolic concept-based models that emphasize interpretability, revisability, and reliability in complex visual and logical reasoning.

The thesis makes two central contributions: (i) identifying the potential of symbolic concept representations for building trustworthy AI, and (ii) developing frameworks that integrate neural and symbolic processing and leverage relevant inductive biases to learn these representations with minimal supervision.

The first contribution establishes the value of symbolic concept representations through the Neuro-Symbolic eXplanatory Interactive Learning (NeSy-XIL) framework, demonstrating their role in enabling explainable and interactive AI. To address the challenge of learning these representations, the Motion and Object Continuity (MOC) framework is introduced, using temporal cues to derive meaningful object representations without strong supervision. Building on this, the thesis develops several frameworks—Neural Concept Binder (NCB), Interactive Concept Swapping Network (iCSN), Concept Bottleneck Memory Models (CB2M), and Pix2Code—each tackling different aspects of learning and revising symbolic object-based concept representations. Importantly, these frameworks exploit inductive biases, such as programmatic reasoning and object-factor disentanglement, to reduce reliance on supervision.

Extensive evaluations demonstrate that these approaches achieve competitive performance compared to traditional neural models while enhancing interpretability, revisability, and reliability. These methods are particularly effective in mitigating shortcut behaviors and improving generalization. Additionally, the research highlights the benefits of combining both continuous and symbolic processing to create expressive yet human-accessible concept models.

Finally, the thesis introduces synthetic datasets—V-LoL, CLEVR-Hans, ECR, and CLEVR-Sudoku—to benchmark and advance concept-based learning. These datasets offer diagnostic environments for assessing transparency, adaptability, and symbolic reasoning in complex relational and visual tasks.

In summary, this thesis proposes that interpretable concept-based models grounded in neuro-symbolic learning can enable human users to understand and influence AI systems effectively. By bridging symbolic reasoning with flexible neural models, this work lays a foundation for trustworthy AI capable of learning, explaining, and adapting through symbolic concepts.

Modernen KI-Systemen, insbesondere tiefen neuronalen Netzen, mangelt es oft an Transparenz, was es menschlichen Akteuren erschwert, das Verhalten von Modellen zu verstehen, zu bewerten und zu korrigieren - entscheidende Fähigkeiten, um das Verhalten von Abkürzungen zu verringern und das Vertrauen in KI-Systeme zu gewährleisten. Diese Arbeit befasst sich mit dem Bedarf an vertrauenswürdigen KI-Systemen, indem sie symbolische konzeptbasierte Modelle untersucht, die die Interpretierbarkeit, Überprüfbarkeit und Zuverlässigkeit komplexer visueller und logischer Schlussfolgerungen betonen.

Die Arbeit leistet zwei zentrale Beiträge: (i) die Identifizierung des Potenzials symbolischer Konzeptrepräsentationen für den Aufbau vertrauenswürdiger KI und (ii) die Entwicklung von Frameworks, die neuronale Text- und symbolische Verarbeitung integrieren und relevante induktive Verzerrungen nutzen, um diese Repräsentationen mit minimaler Überwachung zu lernen.

Im ersten Beitrag wird der Wert symbolischer Konzeptrepräsentationen durch das Neuro-Symbolic eXplanatory Interactive Learning (NeSy-XIL)-Rahmenwerk nachgewiesen und ihre Rolle bei der Ermöglichung erklärbarer und interaktiver KI demonstriert. Um die Herausforderung des Lernens dieser Repräsentationen zu bewältigen, wird das Motion and Object Continuity (MOC) Framework eingeführt, das zeitliche Anhaltspunkte nutzt, um sinnvolle Objektrepräsentationen ohne starke Überwachung abzuleiten. Darauf aufbauend werden in dieser Arbeit mehrere Frameworks entwickelt - Neural Concept Binder (NCB), Interactive Concept Swapping Network (iCSN), Concept Bottleneck Memory Models (CB2M) und Pix2Code - die jeweils unterschiedliche Aspekte des Lernens und Überarbeitens symbolischer objektbasierter Konzeptrepräsentationen behandeln. Wichtig ist, dass diese Rahmenwerke induktive Vorurteile nutzen, wie z. B. programmatisches Denken und die Entflechtung von Objektfaktoren, um die Abhängigkeit von der Überwachung zu verringern.

Ausführliche Bewertungen zeigen, dass diese Ansätze im Vergleich zu traditionellen neuronalen Modellen eine konkurrenzfähige Leistung erzielen und gleichzeitig die Interpretierbarkeit, Überprüfbarkeit und Zuverlässigkeit verbessern. Diese Methoden sind besonders effektiv bei der Abschwächung von Shortcut-Verhalten und der Verbesserung der Generalisierung. Darüber hinaus unterstreicht die Forschung die Vorteile einer Kombination aus kontinuierlicher und symbolischer Verarbeitung, um aussagekräftige und dennoch für den Menschen zugängliche Konzeptmodelle zu erstellen.

Schließlich werden in dieser Arbeit synthetische Datensätze - V-LoL, CLEVR-Hans, ECR und CLEVR-Sudoku - vorgestellt, um konzeptbasiertes Lernen zu bewerten und zu verbessern. Diese Datensätze bieten diagnostische Umgebungen zur Bewertung von Transparenz, Anpassungsfähigkeit und symbolischem Denken in komplexen relationalen und visuellen Aufgaben.

Zusammenfassend wird in dieser Arbeit vorgeschlagen, dass interpretierbare konzeptbasierte Modelle, die auf neuro-symbolischem Lernen beruhen, menschliche Nutzer in die Lage versetzen können, KI-Systeme zu verstehen und effektiv zu beeinflussen. Durch die Verknüpfung von symbolischem Denken mit flexiblen neuronalen Modellen legt diese Arbeit die Grundlage für eine vertrauenswürdige KI, die in der Lage ist, durch symbolische Konzepte zu lernen, zu erklären und sich anzupassen.