TU Darmstadt / ULB / TUprints

Integrating Printed and Digital Documents: Interaction Models and Techniques for Collaborative Knowledge Work

Steimle, Jürgen (2009)
Integrating Printed and Digital Documents: Interaction Models and Techniques for Collaborative Knowledge Work.
Technische Universität Darmstadt
Ph.D. Thesis, Primary publication

[img]
Preview
Dissertation - PDF
SteimleThesisOnline.pdf
Copyright Information: In Copyright.

Download (5MB) | Preview
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Integrating Printed and Digital Documents: Interaction Models and Techniques for Collaborative Knowledge Work
Language: English
Referees: Mühlhäuser, Prof. Dr. Max ; Borchers, Prof. Dr. Jan ; Sesink, Prof. Dr. Werner
Date: 15 October 2009
Place of Publication: Darmstadt
Date of oral examination: 23 June 2009
Abstract:

Today's knowledge work is characterized by the simultaneous use of paper and digital documents. This implies disruptive transitions from paper to digital media and vice versa, particularly because interaction techniques differ in the two worlds. For instance, traditional references are created and followed differently than digital hyperlinks. This thesis advances the integration of paper and digital documents. It contributes empirically-grounded conceptual work in the fields of interaction theory, interaction techniques and interactive systems. Three initial field studies explore how paper and digital media are used in learning at universities. They provide evidence for the high importance of paper and show that, in many settings, the use of printed information exists in parallel with using digital documents. Based on these results, an ecological perspective of knowledge work is chosen as the approach for developing the theoretical basis of this thesis. This perspective advocates an integral view on the ensemble of collaborating users, of physical and digital artifacts, of work practices and of their interplay. By generalizing the findings of the empirical field studies and based on the ecological perspective, we develop a theoretical interaction model of Pen-and-Paper User Interfaces (PPUIs). This model is of analytical value and provides guidance on how to design PPUIs that are easy and intuitive to use. Its underlying principle is a systematic separation between a semantic and a syntactic level of interaction. Based on this separation, syntactic interaction primitives are identified, which act as building blocks for PPUIs that support semantic activities. Furthermore, we contribute novel interaction techniques and visualizations for cross-media knowledge work with documents. These are based on the interaction model and provide support for annotating, linking and tagging, all in a hybrid setting of printed and digital documents. First, in the field of paper-based annotation, we introduce the concept of user-adaptable printed interfaces. Moreover, we significantly advance asynchronous sharing by presenting a paper-based mechanism for sharing annotations and a visualization that integrates handwritten annotations of multiple users. Second, we contribute a pen-based interaction technique for creating and following cross-media hyperlinks between printed and digital documents. The same digital pen and the same interactions can be used both on printed documents and on digital documents on a tabletop screen. Third, we contribute four novel techniques for tagging documents and processes. These offer a rich user experience being inspired by the varied practices of using paper. They leverage tangible stickers, paper cards for defining and applying tags, printed buttons, and other tangible objects. Moreover, this thesis contributes CoScribe, a system framework for collaborative cross-media knowledge work. This integrates the interaction techniques and visualizations into a consistent and coherent concept. Following the ecological perspective, CoScribe covers entire workflows with a strong emphasis on collaboration. Finally, we present evaluation results. We implemented a working prototype of CoScribe, which was used in three evaluation studies. Their results provide evidence that CoScribe significantly enhances both work performance and user satisfaction.

Alternative Abstract:
Alternative AbstractLanguage

Trotz großer Fortschritte bei digitalen Medien und derer Vorteile wird traditionelles Papier in der Wissensarbeit wegen seiner besonderen Charakteristika weiterhin in großem Umfang verwendet. Die gleichzeitige Verwendung beider Dokumentenarten führt zu bruchhaften Übergängen. Beispielsweise unterscheiden sich traditionelle Referenzen von digitalen Hyperlinks. Diese Dissertation hat zum Ziel, die Kluft zwischen Papier und digitalen Dokumenten zu verringern. Sie beinhaltet Beiträge in Interaktionstheorie, Interaktionstechniken und interaktiven Systemen. Drei einleitende Feldstudien untersuchen, wie Papier und digitale Medien im universitären Lernen verwendet werden. Sie zeigen die hohe Bedeutung von Papier und ergeben, dass in vielen Situationen gedruckte parallel mit digitalen Dokumenten verwendet werden. Anhand dieser Ergebnisse wird eine ökologische Perspektive auf Wissensarbeit als Ansatz für die theoretische Basis dieser Arbeit gewählt. Diese vertritt eine integrierte Sicht auf das Ensemble von kooperierenden Nutzern, physischen und digitalen Artefakten, Arbeitspraktiken und deren Zusammenhänge. Als ein weiterer Beitrag wurde ein theoretisches Interaktionsmodell für Stift-und-Papier Nutzerschnittstellen (PPUIs) entwickelt. Dieses basiert auf einer Generalisierung der Ergebnisse der Feldstudien und auf der ökologischen Perspektive. Es unterstützt sowohl Analyse als auch Entwurf von PPUIs. Dem Modell liegt eine systematische Trennung zwischen einer semantischen und einer syntaktischen Interaktionsebene zu Grunde. Auf dieser Basis werden syntaktische Interaktionsprimitive identifiziert. Diese dienen als Bausteine für PPUIs, die spezifische semantische Aktivitäten unterstützen. Ein wesentlicher Beitrag dieser Dissertation sind neue Interaktionstechniken und Visualisierungen für Wissensarbeit, die gedruckte und digitale Medien integrieren. Diese basieren auf dem Interaktionsmodell und erlauben es, Dokumente zu annotieren, zu verlinken und mit Tags zu versehen. Im Bereich der papierbasierten Annotation führen wir nutzeranpassbare gedruckte Schnittstellen ein. Außerdem wird die asynchrone Kooperation deutlich verbessert durch einen papierbasierten Mechanismus für den Austausch von Annotationen mit anderen Nutzern und durch eine Visualisierung, die handschriftliche Annotationen vieler Nutzer integriert darstellt. Zweitens wird eine stiftbasierte Interaktionstechnik für Medien-überspannende Hyperlinks, die gedruckte und digitale Dokumente integrieren, vorgestellt. Dabei kann derselbe digitale Stift sowohl auf Papier als auch auf einem Tabletop-Bildschirm verwendet werden. Drittens werden neue Interaktionstechniken für das Tagging von Dokumenten und Prozessen eingeführt. Inspiriert durch die variierten Praktiken Papier zu verwenden, bieten diese eine intuitive und vielfältige Interaktion. Sie basieren auf physischen Aufklebern, Papierkarten, gedruckten Schaltflächen sowie weiteren physischen Objekten. Des weiteren führt diese Dissertation CoScribe ein, ein System-Rahmenwerk für kollaborative Wissensarbeit in hybriden Dokumentenräumen. CoScribe integriert die Interaktionstechniken und Visualisierungen in ein konsistentes und kohärentes Konzept. Basierend auf der ökologischen Perspektive deckt CoScribe komplette Arbeitsabläufe ab und bietet Unterstützung für Kooperation mehrerer Nutzer. Abschließend stellen wir Evaluationsergebnisse vor. Dafür wurde ein Prototyp des CoScribe-Systems implementiert und in drei Nutzerstudien getestet. Die Ergebnisse zeigen, dass CoScribe die Effizienz und Nutzerzufriedenheit signifikant erhöht.

German
Uncontrolled Keywords: Human-computer Interaction; user interfaces; interaction technique; digital pen and paper; physical media; paper; digital media; Anoto; tabletop; annotation; hyperlink; tagging
Alternative keywords:
Alternative keywordsLanguage
Human-computer Interaction; user interfaces; interaction technique; digital pen and paper; physical media; paper; digital media; Anoto; tabletop; annotation; hyperlink; taggingEnglish
URN: urn:nbn:de:tuda-tuprints-19233
Classification DDC: 000 Generalities, computers, information > 004 Computer science
Divisions: 20 Department of Computer Science > Telecooperation
Date Deposited: 29 Oct 2009 09:27
Last Modified: 08 Jul 2020 23:31
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/1923
PPN: 232093148
Export:
Actions (login required)
View Item View Item