Abstract: |
Virtual characters offer a great potential as intuitive man-machine interface, because they allow simulating non-verbal communicative behavior as well, which requires the coordinated use of various modalities (e.g., speech and gesture). In this sense, multimodal dialogue systems extend current voice response systems, like for instance known from automated support hotlines, to other modalities. While multimodal dialogue systems are an active research area in artificial intelligence (AI) for over twenty years, in computer graphics (CG) further research is still needed. Hence, in this work two basic problems have been identified. On the one hand, there is a gap between the components of AI and CG, which makes it difficult to provide responsive characters in a manageable manner. On the other hand, embedding virtual agents in full 3D applications, particularly in the context of Mixed Reality, still remains problematic. Therefore, in this work a concept for the presentation component of multimodal dialogue systems has been presented, which can be easily integrated into current frameworks for virtual agents. Basically, it consists of a declarative control layer and a declarative execution layer. While the control layer is mainly used for communication with the AI modules, it also provides a declarative language for describing and flexibly controlling communicative behavior. Core technology components are provided in the execution layer. These include a flexible animation system that is integrated into the X3D standard, components for hair simulation, to represent psycho-physiologically caused skin tone changes such as blushing and the simulation of tears, furthermore methods for the declarative control of the virtual camera, and techniques for the realistic visualization of virtual objects in Mixed Reality scenarios. In addition to simplifying the integration into complex 3D applications, the whole environment can thus also be used by the system as another means of communication. |
Alternative Abstract: |
Alternative Abstract | Language |
---|
Virtuelle Charaktere bieten ein großes Potential als intuitive Mensch-Maschine-Schnittstelle, da sie es erlauben, auch nonverbales kommunikatives Verhalten zu simulieren, was dabei die koordinierte Verwendung verschiedener Modalitäten (z.B. Sprache und Gestik) erfordert. In diesem Sinne erweitern multimodale Dialogsysteme bisherige Sprachdialogsysteme, wie man sie etwa von automatisierten Support-Hotlines kennt, um weitere Modalitäten. Während multimodale Dialogsysteme in der Künstlichen Intelligenz (KI) bereits seit über zwanzig Jahren ein aktives Forschungsgebiet sind, gibt es in der Computergraphik (CG) in diesem Bereich noch einigen Forschungsbedarf. Im Rahmen dieser Arbeit wurden hier zwei grundlegende Probleme identifiziert. Zum einen besteht eine Kluft zwischen den einzelnen Komponenten der KI und der CG, welche es schwierig macht, plausibel reagierende Charaktere handhabbar bereitzustellen. Zum anderen ist eine Einbettung des virtuellen Agenten in vollständige 3D-Anwendungen, insbesondere im Umfeld von Mixed Reality, immer noch problematisch. Von daher wurde in dieser Arbeit ein Konzept für die Präsentationskomponente multimodaler Dialogsysteme vorgestellt, welches sich einfach in aktuelle Frameworks für virtuelle Agenten integrieren lässt, und dabei im wesentlichen aus einer deklarativen Kontrollschicht sowie einer deklarativen Ausführungsschicht besteht. Während die Kontrollschicht vor allem der Kommunikation mit den KI-Modulen dient, bietet sie zudem eine deklarative Sprache zur Beschreibung und flexiblen Kontrolle von kommunikativem Verhalten. Basistechnologiekomponenten werden in der Ausführungsschicht zur Verfügung gestellt. Dazu gehören ein flexibles, in den X3D-Standard integriertes Animationssystem, Komponenten zur Haarsimulation, zur Darstellung psycho-physiologisch hervorgerufener Hautveränderungen wie Rotwerden und zur Simulation von Tränen, weiterhin Möglichkeiten zur deklarativen Kontrolle der virtuellen Kamera, sowie Verfahren zur realistischeren Darstellung virtueller Objekte in Mixed Reality Szenarien. Neben der vereinfachten Einbettung in vollständige 3D-Anwendungen, kann somit zudem vom System die ganze Umgebung als weiteres Kommunikationsmittel genutzt werden. | German |
|