TU Darmstadt / ULB / TUprints

Novel Devices and Interaction Concepts for Fluid Collaboration

Lissermann, Roman (2014)
Novel Devices and Interaction Concepts for Fluid Collaboration.
Technische Universität Darmstadt
Ph.D. Thesis, Primary publication

[img]
Preview
Text
RomanLissermannPhDThesis-CR.pdf
Copyright Information: CC BY-NC-ND 2.5 Generic - Creative Commons, Attribution, NonCommercial, NoDerivs .

Download (35MB) | Preview
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Novel Devices and Interaction Concepts for Fluid Collaboration
Language: English
Referees: Mühlhäuser, Prof. Dr. Max ; Nanayakkara, Prof. Dr. Suranga
Date: 29 September 2014
Place of Publication: Darmstadt
Date of oral examination: 4 September 2014
Abstract:

This thesis addresses computer-augmented collaborative work. More precisely, it focuses on co-located collaboration where co-workers get together at the same place, usually a meeting room. We assume co-workers to use both mobile devices (i.e. hand-held devices) and a static device (i.e., interactive table). These devices provide multiple output modalities, such as visual output and sound output. The co-workers are assumed to process digital content (e.g., document, videos etc.).

According to both common experience and scientific evidence, co-workers often switch between rather individual, self directed work and tightly shared group work; these working styles are denoted as loose and tight collaboration, respectively. The overarching goal of this thesis is to better support seamless transitions between loose and tight collaboration, denoted as fluid collaboration. In order to support such fluid transitions between the two working styles, we have to reflect and mitigate conflicting requirements for both output modalities. In tight collaboration, co-workers appreciate proximity and equal access to content; both workspaces and content are shared. In loose collaboration, co-workers desire sufficient space of their own and minimal interference of their contents and interaction. It was shown that in conventional settings (e.g., interactive tables), a transition between tight and loose collaboration leads to limited personal workspace and thereby to workspace interference, clutter and other constraints. During collaboration, such interference concerns both visual and sound output.

In light of these facts, further research on interactive devices (e.g., interactive tables and mobile devices) is needed to support fluid collaboration with different output modalities. These observations lead to the central research question of this thesis: How to support fluid co-located collaboration using visual and sound content? This thesis explores this question in three main research directions: (1) surface-based interaction, (2) spatial interaction and (3) embodied sound interaction, while (1) and (2) address visual content, (3) focuses on auditory content. In each direction, we conceptualized, implemented, and evaluated a set of device concepts plus corresponding interaction concepts, respectively. The first research direction, Surface-Based Interaction, contributes a novel tabletop, called Permulin, that provides (1) a group view providing a common ground during phases of tight collaboration, (2) private full screen views for each collaborator to scaffold loosely coupled collaboration and (3) interaction and visualization techniques for sharing content in-between these views for coordination and mutual awareness. Results from an exploratory study and from a controlled experiment provide evidence for the following advancements: (1) Permulin supports fluid collaboration by allowing the user to transition fluidly between loose and tight collaboration. (2) Users perceive and use Permulin as both a cooperative and an individual device. Amongst others, this is reflected by participants occupying significantly larger interaction areas on Permulin than on a tabletop system. (3) Permulin provides unique awareness properties: participants were highly aware of each other and of their interactions during tightly coupled collaboration, while being able to unobtrusively perform individual work during loosely coupled collaboration. In the second research direction, Spatial Interaction, we simulate future paper-like display devices and investigate how well-known collaboration and interaction techniques with paper documents can be transferred to the field of video navigation based on such devices. Thereby we contribute a device concept and interaction techniques that allows multiple users to collaboratively process collections of videos on multiple paper-like displays. It enables users to navigate in video collections, create an overview of multiple videos, and structure and organize video contents. The proposed approach, coined as CoPaperVideo, leverages physical arrangement of the devices. Results of two user studies indicate that our spatial interaction concepts allow users to flexibly organize and structure multiple videos in physical space and to easily and seamlessly transition between individual and group work. In addition, the spatial interaction concepts leverage the 3D space for interaction and for mitigating space limitations.

The first two research directions contribute novel devices and interaction concepts for visual content. Visual interfaces are particularly suitable for collaboration, because they afford direct manipulation of visual content. However, while current devices support both visual and sound output, there is still a lack of suitable devices and interaction concepts for a collaborative direct manipulation of sound content. Hence, the third research direction, Embodied Sound Interaction, explores novel devices and interaction concepts for direct manipulation of sound for fluid collaboration. First, we contribute interfaces that enable users to control sound individually by means of body-based interaction. The concept focuses on the body part where sound is perceived: a user’s own ear. Second, direct manipulation of sound is supported through spatial control of sound sources. Virtual sound sources are situated in 3D space and physically associated with spatially aware paper-like displays that embed videos. By physically moving these displays, each user can then control - and focus on - multiple sound sources individually or collaboratively. The evaluation supports our hypothesis that our embodied sound interaction concepts provide effective sound support for users during fluid collaboration.

Alternative Abstract:
Alternative AbstractLanguage

Die vorliegende Dissertation befasst sich mit der computerbasierten Zusammenarbeit mehrerer Personen. Dabei ist es üblich, dass Personen zur gemeinschaftlichen Arbeit an einem Ort einfinden. Basis dieser Arbeit ist die zunehmende Verwendung sowohl mobiler (d.h. tragbarer) als auch statischer Geräte (interaktive Tische). Diese Geräte unterstützen neben einer visuellen auch eine auditive Ausgabe, wobei digitale Inhalte, wie Dokumente, Videos und andere verwendet werden können. Wie aus der Alltagserfahrung bekannt und wissenschaftlich belegt ist, wechseln Mitarbeiter oft zwischen individueller selbstgesteuerter Arbeit und enger gemeinsamen Gruppenarbeit (im Weiteren als lose bzw. enge Zusammenarbeit bezeichnet). Diese Dissertation verfolgt das übergeordnete Ziel, computerunterstützt einen nahtlosen Übergang zwischen loser und enger Zusammenarbeit zu erlauben - diese Fähigkeit wird im Weiteren als Fluid Collaboration bezeichnet. Um eine solche Fluid Collaboration zu unterstützen, müssen sowohl für die visuelle als auch für die auditive Ausgabe sich entgegenstehende Anforderungen erfüllt werden. Bei enger Zusammenarbeit schätzen Mitarbeiter große Nähe zueinander und gemeinsamen, gleichartigen Zugang zu bearbeiteten Inhalten: sowohl der Arbeitsbereich als auch die Inhalte werden gemeinsam genutzt. Bei der losen Zusammenarbeit bevorzugen die Mitarbeiter ausreichend Platz als eigenes Arbeitsumfeld, eigene Inhalte und minimale Störungen bei der Interaktion. Veröffentlichungen belegen, dass der Übergang von enger zu loser Zusammenarbeit bei konventionellen Arbeitsumgebungen (Gruppenarbeits-Tisch), aber auch bei deren digitaler Entsprechung, zu starken Beschränkungen im persönlichen Arbeitsbereich führt. Als Folge davon treten Störungen bei der Interaktion, hinderliches Zusammenballen von Inhalten (Medien) und andere Einschränkungen auf. Diese Störungen betreffen sowohl die visuelle als auch auditive Ausgabe. Angesichts dieser Tatsachen ist weitere Forschung an interaktiven Geräten (z.B. interaktive Tischen und mobilen Geräten) nötig, um die o.g. Fluid Collaboration für visuelle und auditive Ausgabe zu unterstützen. Dementsprechend lautete die zentrale Forschungsfrage der vorliegenden Dissertation: Wie kann Fluid Collaboration unter Nutzung visueller und auditiver Inhalte im Rahmen computergestützter Zusammenarbeit an einem gemeinsamen Ort unterstützt werden? Die Arbeit widmete sich dabei drei Hauptforschungsrichtungen, die wie nachfolgend erläutert (1) surface-based interaction, (2) spatial interaction und (3) embodied sound interaction genannt wurden. Während (1) und (2) visuelle Inhalte betreffen, konzentriert sich (3) auf die Interaktion mit auditiven Inhalten. In jeder der drei Forschungsrichtungen wurde je ein Gerätekonzept zusammen mit geeigneten Interaktionskonzepten erarbeitet, umgesetzt und ausgewertet. In der ersten Forschungsrichtung, Surface-Based Interaction, wurde das Konzept eines neuen interaktiven Tisches, namens Permulin, erarbeitet. Dieser stellt folgende grundsätzliche Möglichkeiten bereit: (1) eine gemeinsame Ansicht für die Phasen der engen Zusammenarbeit, (2) eine (unter Rückgriff auf 3D-Technik realisierte) bildschirmfüllende private Ansicht für jeden Mitarbeiter für lose gekoppelte Zusammenarbeit und (3) Interaktionskonzepte und Visualisierungstechniken zum Wechsel zwischen den beiden Ansichten und Inhalten, um Koordination und gegenseitige Wahrnehmung zu ermöglichen. Ergebnisse aus einer explorativen Studie und einem kontrollierten Experiment zeigen dreierlei: (1) Permulin unterstützt Fluid Collaboration, indem ein nahtloser und leichter Übergang zwischen enger und loser Zusammenarbeit ermöglicht wird. (2) Benutzer nutzen Permulin sowohl sehr kooperativ als auch individuell; als Beleg dient unter anderem, dass ein signifikant größerer Interaktionsbereich bei der Benutzung von Permulin verwendet wird als bei konventionellen interaktiven Tischen. (3) Permulin verbessert erheblich die sogenannte Awareness: Teilnehmer der Studie waren sich während enger Zusammenarbeit über den wechselseitigen Status ihrer Arbeit sehr gut bewusst, konnten aber auch sehr gut ungestört in loser Zusammenarbeit arbeiten. In der zweiten Forschungsrichtung, Spatial Interaction, wurden künftige so genannte papierartige Displays emuliert; es wurde untersucht, wie bekannte Interaktionstechniken und Zusammenarbeitsformen von Papierdokumenten auf die Arbeit mit computergestütztem Videomaterial übertragen werden können. Unter dem Namen CoPaperVideo entstand ein Gerätekonzept und Interaktionstechniken, womit kooperierende Benutzer auf mehreren papierähnlichen Displays in Videosammlungen navigieren und Videos (auch parallel) abspielen können. Weiterhin werden Benutzer darin unterstützt, einen räumlichen Überblick über mehrere Videos zu erstellen, Videos zu strukturieren und Videoinhalte zu organisieren. Die Ergebnisse zweier durchgeführter Benutzerstudien zeigen, dass diese räumlichen Interaktionskonzepte die Benutzer effektiv dabei unterstützen, mehrere Videos im physischen Raum flexibel zu organisieren und zu strukturieren. Dadurch wird zudem ein nahtloser und einfacher bidirektionaler Übergang zwischen Einzel- und Gruppenarbeiten realisiert. Darüber hinaus nutzt die räumliche Interaktion den dreidimensionalen Raum aus und überwindet so Beschränkungen die auf einer (2D-) Fläche auftreten. Direkte Manipulation bietet sich für visuelle Benutzerschnittstellen, insbesondere im Zusammenhang mit Kooperation, an. Die genannten Geräte unterstützen aber sowohl die visuelle als auch auditive Ausgabe. Im Bereich auditiver Inhalte sind kaum geeignete Geräte für kollaborative und direkte Manipulation dieser zu finden. Daher befasst sich die dritte Forschungsrichtung, Embodied Sound Interaction, mit neuartigen Geräten und Interaktionskonzepten für die direkte Manipulation von auditiven Inhalten im Sinne der Fluid Collaboration. Dabei wird im ersten Schritt direkte Manipulation mit auditiven Inhalten ermöglicht, indem Benutzer das eigene Ohr nach der so genannten On-Body- Interaction verwenden, um individuell mit auditiven Inhalten zu interagieren. Im zweiten Schritt wird eine direkte Manipulation von mehreren Tonquellen ermöglicht durch die räumliche Steuerung jeder einzelnen Tonquelle. Virtuelle Tonquellen werden dabei im 3D-Raum positioniert und durch physische Interaktion räumlich mit papierähnlichen Displays (welche die zum Audio gehörigen Videos beinhalten) manipuliert. Durch Verschieben eines der papierähnlichen Displays kann jeder Benutzer mehrere Tonquellen einzeln oder gemeinsam steuern. Die Ergebnisse der Evaluation zeigen, dass die direkten Manipulationskonzepte mit Tonquellen eine effektive Unterstützung der Benutzer während der Fluid Collaboration bieten.

German
Uncontrolled Keywords: Human-Computer Interaction, Interaction Design, Collaboration, Mixed-focus Collaboration, Individual Work, Group Work, User Interface, User Experience, Input Devices, Input Strategies, Interaction Styles, Optical Tracking, Paper-like Displays, Tangible User Interface, Electronic Paper, Flexible Display, Thin-film Display, Multiple Displays, Video Browsing, Video Navigation, Tabletop, Interactive Surfaces, Multi-view, Collaborative Coupling Styles, Multi Touch, Personal Input, Ear-based Interaction, Wearable Devices, Ear-worn, Mobile Interaction, Eyes-free, Device Augmentation, On-body Interaction, Spatial Sound, 3D Sound
URN: urn:nbn:de:tuda-tuprints-41673
Classification DDC: 000 Generalities, computers, information > 004 Computer science
Divisions: 20 Department of Computer Science
Date Deposited: 07 Oct 2014 14:54
Last Modified: 09 Jul 2020 00:47
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/4167
PPN: 348268483
Export:
Actions (login required)
View Item View Item