TU Darmstadt / ULB / TUprints

Rational Decision Support with a Natural Language Dialogue System

Mäurer, Daniel (2016)
Rational Decision Support with a Natural Language Dialogue System.
Technische Universität Darmstadt
Ph.D. Thesis, Primary publication

[img]
Preview
Text
diss_pub_v3.pdf - Accepted Version
Copyright Information: CC BY-NC-ND 4.0 International - Creative Commons, Attribution NonCommercial, NoDerivs.

Download (2MB) | Preview
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Rational Decision Support with a Natural Language Dialogue System
Language: English
Referees: Weihe, Prof. Dr. Karsten ; Fürnkranz, Prof. Dr. Johannes
Date: 18 October 2016
Place of Publication: Darmstadt
Date of oral examination: 27 October 2015
Abstract:

In the past decades, technological advance has led to a revival of natural language dia- logue systems (or conversational agents). Now, conversational agents are used for profes- sional purposes such as customer support, marketing, e-learning, and tutoring purposes, just to mention a few. They also have found their way into everyday life, e.g. as speech- based personal assistants on mobile devices or as freely available text-based information retrieval systems in the web. However, there are still many unexplored application areas for conversational agents. Personal coaching, for example, is a promising field. Coaching has been successfully applied across many areas, for example in human resource devel- opment, team-building, and improvement of various individual skills such as leadership, communication or sales, and to support humans with rational decision-making. Never- theless, personal coaching by a human coach or counsellor is very expensive and therefore only available to a limited circle of individuals in organizations. So far, conversational agents have not been extensively used for personal coaching purposes. This work intends to explore the potential of conversational agents for simulated hu- man coaching or consulting. Therefore, we have developed VPINO, a text-based dialogue system, intended for holding structured coaching conversations in German language. This work provides a detailed description of VPINO. A general maxim of many modern coach- ing approaches is to regard the client as the expert for the relevant problem, rather than seeing the coach as the expert for the client’s problem. VPINO aims to open up a new perspective and help the “expert” develop his/her own solution. Instead of giving ad- vice or pushing the client into any certain direction, VPINO uses the technique of Socratic questioning, i.e. targeted questions to support clients to reflect on their goal accomplish- ment process. VPINO is an expert on structuring the user’s implicit knowledge and merely assists the user like a human coach. The intelligence or value of our dialogue system is not in its ability in detailed understanding what the user says and will therefore not pro- vide answers to particular questions. The key is that, nevertheless, VPINO understands yet enough to keep control over the conversation, in a way that will not be noticed by the user. To do so, the system determines the dialogue act of each user utterance, i.e. the function of that utterance for the conversation. A suitable response is selected from a set of preformu- lated utterances, based on a model of potential dialogue act sequences. VPINO has been developed for application in the particular scenarios of (1) training transfer coaching for communication skills and (2) rational decision support. The effectiveness and usefulness of VPINO in both scenarios are evaluated in a series of user studies. For the scenario of training transfer coaching, we conducted a field experimental study that evaluates the effectiveness of coaching, right after participants received an online com- munication training. Training transfer, the application of newly acquired skills in everyday work, requires a maximum of support and reflection. Our results suggest that a computer- based coaching with VPINO can effectively provide this support and improve the partici- pants communication skills. Moreover, we explored the influence of the user’s personality and behaviour when talking to the computer based coach. Whereas users that are more “open to new experience” particularly benefit from chat coaching with VPINO, more scep- tical and less cooperative users do not profit from using VPINO. For the scenario of rational decision coaching, VPINO was evaluated in a series of user studies. VPINO guides the users through a process of structured decision-making on a distinctly rational basis, in the spirit of Benjamin Franklin’s method “Pros and Cons”. Par- ticipants were free to talk about a decision problem of their own choice. Whereas VPINO could successfully help participants with rational problems, the conversation was less ef- fective with more emotionally stressful problems. However, participants with a generally less structured decision making approach particularly benefit from using VPINO. Partic- ipants that are generally more open to receiving support from an artificial coach evalu- ated the usefulness of the conversation higher than sceptical users. However, a high level of motivation and cooperativeness is required for fruitful conversation. In general, user expectations, behaviour, and willingness to cooperate have an influence on how users in- teract with the virtual coach. The use of chat language greatly varies between users in many dimensions, e.g. grammatical and syntactical correctness, style, length of answers, and politeness. This thesis shows that a natural language dialogue system can serve as a highly avail- able, cheap, low threshold solution to support a large target group, where a human per- sonal coach is not available.

Alternative Abstract:
Alternative AbstractLanguage

Computerbasierte Dialogsysteme in natürlicher Sprache haben Dank des technischen Fort- schritts der letzten Jahrzehnte, z.B. im Bereich mobiler Endgeräte, dem Internet, und im Natural Language Processing, eine Renaissance erfahren. Mittlerweile sind sie neben pro- fessionellen Einsatzgebieten auch im Alltag vieler Menschen angekommen, z.B. als sprach- oder chatbasierte Assistenzsysteme auf mobilen Endgeräten. Dennoch gibt es viele bislang unerschlossene Anwendungsgebiete für Dialogsysteme. Ein Beispiel dafür ist professio- nalles Coaching. Coaching wird in vielen Bereichen wie der Personalentwicklung, Team- building, zur Verbesserung individueller Fähigkeiten, sowie zur rationalen Entscheidungs- findung angewandt. Ein professioneller Coach oder Berater ist kostspielig und steht daher oft nur einem begrenzten Kreis von Personen in Organisationen zur Verfügung. Bisher werden Chatbots oder vergleichbare Dialogsysteme noch nicht umfassend für Coaching- zwecke eingesetzt. Mit der vorliegenden Arbeit soll das Potenzial von Dialogsystemen für simulierte menschliche Coachings erkundet werden. In diesem Zusammenhang haben wir VPI- NO entwickelt. VPINO ist ein chat-basiertes Dialogsystem für strukturierte Coaching- Gespräche in deutscher Sprache, dessen Funktionsweise in dieser Arbeit detailliert be- schrieben wird. Ein Grundsatz vieler moderner Coaching-Ansätze ist es, den Klienten als den eigentlichen Experten für sein jeweiliges Problem zu betrachten. Der Coach dagegen übernimmt die Rolle des objektiven Beraters, ohne dabei den Klienten durch konkrete Ratschläge in eine bestimmte Richtung zu beeinflussen. VPINO handelt genau in diesem Sinne. VPINO ist ein Experte für die Strukturierung des beim Klienten implizit vorhande- nen Wissens und unterstützt diesen genauso wie ein menschlicher Coach. Dabei nutzt der Coach die Technik des „Sokratischen Fragens”, d.h. den Klienten durch gezieltes Fragen bei der Erreichung seiner Ziele zu unterstützen. Der Mehrwert des Dialogsystems liegt dabei nicht in seiner Fähigkeit, ein detailliertes inhaltliches Verständnis des Problems zu entwickeln. VPINO gibt keine Antworten auf inhaltliche Fragen des Nutzers. Grundprinzip dabei ist, dass VPINO dennoch genug versteht, um die Kontrolle über den Gesprächsver- lauf zu behalten. Dafür bestimmt VPINO die Dialogakte der Nutzeräußerungen, um eine passende Reaktion auszuwählen. VPINO steuert das Gespräch möglichst in einer Art und Weise, dass der Nutzer dieses nicht bemerkt.

VPINO wurde für die Anwendung im Bereich (1) Training Transfer-Coaching für Kommu- nikationsfähigkeiten als auch für (2) rationales Entscheidungs-Coaching optimiert. Die Wirk- samkeit und Nützlichkeit des Systems wurde in einer Reihe von Benutzerstudien ausge- wertet, welche in dieser Arbeit vorgestellt werden. Für das Szenario Training-Transfer-Coaching wurde eine experimentelle Feldstudie durch- geführt, um die Wirksamkeit von computergesteuerten Transfer-Coachings im direkten Anschluss an ein Online-Kommunikationstraining auszuwerten. Der Transfer von neu er- worbenen Fähigkeiten in den (Arbeits-)Alltag erfordert ein Höchstmaß an Unterstützung und Reflexion. Die Ergebnisse der Studie legen nahe, dass ein computergesteuertes Coa- ching mit VPINO die Nutzer effektiv unterstützen und zur Verbesserung ihrer Kommuni- kationsfähigkeiten beitragen kann. Darüber hinaus wurde der Einfluss der Persönlichkeit sowie des Nutzerverhaltens auf den Erfolg des Coachings erforscht. Diejenigen Nutzer, die allgemein mehr „Offenheit für neue Erfahrungen” zeigen, profitieren besonders von Coachings durch VPINO. Skeptische und wenig kooperative Nutzer dagegen profitieren im Vergleich weniger. Für das zweite Szenario, dem rationalen Entscheidungs-Coaching, führt VPINO den An- wender durch einen Prozess der strukturierten Entscheidungsfindung auf rationaler Ba- sis, im Geiste von Benjamin Franklins Methode „Pros und Cons”. In der vorliegenden Ar- beit werden dazu zwei durchgeführte Nutzerstudien vorgestellt. Die Teilnehmer der Stu- dien sprachen mit dem Entscheidungscoach über ein Entscheidungsproblem ihrer Wahl. Es wurde untersucht, wie die grundsätzliche Einstellung der Nutzer sowie deren übliche Vorgehensweise bei der Entscheidungsfindung Einfluss auf den Erfolg des Coachingge- sprächs mit VPINO haben. Während VPINO den Teilnehmern mit eher rationalen Proble- men weiterhelfen konnte, waren Gespräche mit einem Fokus auf persönlichere, emotional belastende Probleme dagegen weniger erfolgreich. Insbesondere profitierten Teilnehmer mit einem weniger strukturierten Ansatz bei der Entscheidungsfindung. Teilnehmer, die offener für computergestützte Coaches sind, bewerteten die Nützlichkeit des Gesprächs höher als skeptische Nutzer. Selbstverständlich sind ein gewisses Maß an Motivation und Mitarbeit die Grundvoraussetzung fruchtbarer Gespräche. Im Allgemeinen haben Nut- zererwartungen, Nutzerverhalten, sowie Bereitschaft zur Zusammenarbeit einen großen Einfluss auf die Interaktion der Benutzer mit dem virtuellen Coach. Die verwendete Chat- Sprache variiert stark zwischen einzelnen Nutzern, z.B. grammatikalische und syntakti- sche Korrektheit, Stil, Länge und Ausführlichkeit der Antworten sowie Umgangston und Respekt. Dadurch wird die Interpretation von Chat-Sprache im Gegensatz zu sonstiger geschriebener Sprache deutlich erschwert. Mit der vorgelegten Arbeit konnte gezeigt werden, dass computergestütztes Coaching eine preiswerte und schnell verfügbare Alternative für Situationen darstellen könnte, in denen ein menschlicher Coach nicht zur Verfügung steht.

German
URN: urn:nbn:de:tuda-tuprints-56715
Classification DDC: 000 Generalities, computers, information > 004 Computer science
100 Philosophy and psychology > 150 Psychology
Divisions: 20 Department of Computer Science
20 Department of Computer Science > Algorithmics
Date Deposited: 14 Oct 2016 14:39
Last Modified: 14 Oct 2016 14:39
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/5671
PPN: 38790381X
Export:
Actions (login required)
View Item View Item