TU Darmstadt / ULB / TUprints

Dynamic Aspects of Character Rendering in the Context of Multimodal Dialog Systems

Jung, Yvonne A. (2011)
Dynamic Aspects of Character Rendering in the Context of Multimodal Dialog Systems.
Technische Universität Darmstadt
Ph.D. Thesis, Primary publication

[img]
Preview
PDF
yjung_diss.pdf
Copyright Information: CC BY-NC-ND 2.5 Generic - Creative Commons, Attribution, NonCommercial, NoDerivs .

Download (17MB) | Preview
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Dynamic Aspects of Character Rendering in the Context of Multimodal Dialog Systems
Language: English
Referees: Fellner, Prof. Dr. Dieter W. ; Stricker, Prof. Dr. Didier
Date: 3 March 2011
Place of Publication: Darmstadt
Date of oral examination: 7 February 2011
Abstract:

Virtual characters offer a great potential as intuitive man-machine interface, because they allow simulating non-verbal communicative behavior as well, which requires the coordinated use of various modalities (e.g., speech and gesture). In this sense, multimodal dialogue systems extend current voice response systems, like for instance known from automated support hotlines, to other modalities. While multimodal dialogue systems are an active research area in artificial intelligence (AI) for over twenty years, in computer graphics (CG) further research is still needed. Hence, in this work two basic problems have been identified. On the one hand, there is a gap between the components of AI and CG, which makes it difficult to provide responsive characters in a manageable manner. On the other hand, embedding virtual agents in full 3D applications, particularly in the context of Mixed Reality, still remains problematic. Therefore, in this work a concept for the presentation component of multimodal dialogue systems has been presented, which can be easily integrated into current frameworks for virtual agents. Basically, it consists of a declarative control layer and a declarative execution layer. While the control layer is mainly used for communication with the AI modules, it also provides a declarative language for describing and flexibly controlling communicative behavior. Core technology components are provided in the execution layer. These include a flexible animation system that is integrated into the X3D standard, components for hair simulation, to represent psycho-physiologically caused skin tone changes such as blushing and the simulation of tears, furthermore methods for the declarative control of the virtual camera, and techniques for the realistic visualization of virtual objects in Mixed Reality scenarios. In addition to simplifying the integration into complex 3D applications, the whole environment can thus also be used by the system as another means of communication.

Alternative Abstract:
Alternative AbstractLanguage

Virtuelle Charaktere bieten ein großes Potential als intuitive Mensch-Maschine-Schnittstelle, da sie es erlauben, auch nonverbales kommunikatives Verhalten zu simulieren, was dabei die koordinierte Verwendung verschiedener Modalitäten (z.B. Sprache und Gestik) erfordert. In diesem Sinne erweitern multimodale Dialogsysteme bisherige Sprachdialogsysteme, wie man sie etwa von automatisierten Support-Hotlines kennt, um weitere Modalitäten. Während multimodale Dialogsysteme in der Künstlichen Intelligenz (KI) bereits seit über zwanzig Jahren ein aktives Forschungsgebiet sind, gibt es in der Computergraphik (CG) in diesem Bereich noch einigen Forschungsbedarf. Im Rahmen dieser Arbeit wurden hier zwei grundlegende Probleme identifiziert. Zum einen besteht eine Kluft zwischen den einzelnen Komponenten der KI und der CG, welche es schwierig macht, plausibel reagierende Charaktere handhabbar bereitzustellen. Zum anderen ist eine Einbettung des virtuellen Agenten in vollständige 3D-Anwendungen, insbesondere im Umfeld von Mixed Reality, immer noch problematisch. Von daher wurde in dieser Arbeit ein Konzept für die Präsentationskomponente multimodaler Dialogsysteme vorgestellt, welches sich einfach in aktuelle Frameworks für virtuelle Agenten integrieren lässt, und dabei im wesentlichen aus einer deklarativen Kontrollschicht sowie einer deklarativen Ausführungsschicht besteht. Während die Kontrollschicht vor allem der Kommunikation mit den KI-Modulen dient, bietet sie zudem eine deklarative Sprache zur Beschreibung und flexiblen Kontrolle von kommunikativem Verhalten. Basistechnologiekomponenten werden in der Ausführungsschicht zur Verfügung gestellt. Dazu gehören ein flexibles, in den X3D-Standard integriertes Animationssystem, Komponenten zur Haarsimulation, zur Darstellung psycho-physiologisch hervorgerufener Hautveränderungen wie Rotwerden und zur Simulation von Tränen, weiterhin Möglichkeiten zur deklarativen Kontrolle der virtuellen Kamera, sowie Verfahren zur realistischeren Darstellung virtueller Objekte in Mixed Reality Szenarien. Neben der vereinfachten Einbettung in vollständige 3D-Anwendungen, kann somit zudem vom System die ganze Umgebung als weiteres Kommunikationsmittel genutzt werden.

German
URN: urn:nbn:de:tuda-tuprints-24890
Classification DDC: 000 Generalities, computers, information > 004 Computer science
Divisions: 20 Department of Computer Science > Interactive Graphics Systems
Date Deposited: 17 Mar 2011 10:24
Last Modified: 07 Dec 2012 11:59
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/2489
PPN: 232797978
Export:
Actions (login required)
View Item View Item