TU Darmstadt / ULB / TUprints

Post-Desktop Interaction for Web Applications

Schreiber, Daniel (2011)
Post-Desktop Interaction for Web Applications.
Technische Universität Darmstadt
Ph.D. Thesis, Primary publication

[img]
Preview
PDF
phdthesis.pdf
Copyright Information: In Copyright.

Download (8MB) | Preview
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Post-Desktop Interaction for Web Applications
Language: English
Referees: Mühlhäuser, Prof. Dr. Max ; Luyten, Prof. Dr. Kris
Date: 23 August 2011
Place of Publication: Darmstadt
Date of oral examination: 4 April 2011
Abstract:

Software applications are about to `leave' the desktop and to be used in a variety of different settings instead. When an application is developed, it cannot foreseen from which environments it will eventually be accessed. A good example for this are Web applications. They are accessed and used with many different Web browsers, depending on the user's choice. Many of the environments in which applications are accessed are becoming so-called post-desktop environments, i.e., environments that contain a variety of different interaction devices, beyond mouse, keyboard and screen, or even combinations of multiple interaction devices federated into a single UI. These environments are not necessarily equipped with a good network connection, so that the user may perceive disrupting latency due to the slow network connection, while interacting with applications

The object of research of this thesis is the system infrastructure necessary to ensure that applications can be accessed in arbitrary post-desktop environments. We seek to augment and extend the Web system infrastructure to achieve this goal. This requires i) means to utilize novel interaction resources found in post-desktop environments, ii) coping with the dynamics of those environments, where resources are loosely coupled and iii) mitigating latency perceived by the user while interacting with Web applications in post-desktop environments. In pursuing this goal, the thesis makes the following contributions.

In order to better understand the problem space, we developed a novel theoretical framework for describing the problem space of post-desktop access and use of applications.

In order to handle the wealth and diversity of resources found in post-desktop environments one needs to be able to process input from arbitrary resources and to modify the output presented to the user at the same time. Existing approaches only support one of these two features at the same time. They are either optimized towards processing of input, in which case they rely on a pipeline architecture but then do not provide means for structured output modification. Or, they are optimized for modifying output, in which case their input-handling capabilities are limited to mouse and keyboard. The approach proposed in this thesis overcomes these limitations. Our concept of interaction strategies as realized in the MundoMonkey system can flexibly handle input from arbitrary sources, thanks to the connection to the MundoCore middleware, and at the same time can perform modifications of the UI using the rich DOM of Web applications. The approach has been evaluated by implementing several interaction strategies for interesting post-desktop environments, e.g., a strategy for voice-based interaction with Web applications proved superior to state-of-the-art solutions in a user study.

In federated post-desktop environments the user has to deal not only with the diversity of resources, but also with the dynamics of the environment. Resources appear and disappear; the accessed applications must be easy to control for the user. We provides a single functionally complete meta UI to the user, allowing her to manage and control the post-desktop environment, which is not possible with existing approaches. The MineManager framework developed in this thesis is the first to enable the use of a digital meta UI in synchronization with physical changes to the access environment. An instance of this framework, called MineExplorer, has been implemented for the iPhone and the MundoCore middleware. It has been evaluated with user tests that showed the validity of the underlying concepts.

The problem of user-perceived latency has been addressed for Web applications before. However, MundoProxy which is based on the concepts developed in this thesis is the only solution that can be used in mobile access environments, and which additionally does not require any changes to the implementation of the back-end services or the Web application. Application independence is achieved by using intelligent prefetching algorithms that predict future user requests based on observed previous requests. The peculiarities of mobile access environments are addressed by the piggybacking mechanisms that enable efficient use of the network bandwidth as well as of the energy of the mobile device battery. The evaluation shows that the user-perceived latency can be reduced up to $25\%$ with our approach.

Finally, we propose MundoWeb, which integrates the three components explained above into a conservative extension to the Web access system addressing the requirements of post-desktop environments.

Alternative Abstract:
Alternative AbstractLanguage

Anwendungsprogramme `verlassen' zunehmend den Schreibtisch und werden stattdessen in einer Vielzahl unterschiedlicher Umgebungen eingesetzt. Bei der Entwicklung einer Anwendung ist es unmöglich vorherzusehen in welchen Umgebungen sie einmal verwendet werden wird. Ein gutes Beispiel hierfür liefern Web Anwendungen. Auf sie greift der Nutzer mit unterschiedlichen Browsern zu. Die Umgebungen aus denen auf Anwendungen zugegriffen wird, sind zunehmend keine typischen Schreibtisch Umgebungen mehr, sondern sogenannte post-desktop Umgebungen. In ihnen werden viele verschiedene Interaktionsgeräte jenseits von Tastatur, Maus und Bildschirm verwendet und sogar Föderationen aus mehreren Geräten zur Interaktion mit einer einzigen Anwendung. Post-desktop Umgebungen verfügen in der Regel nicht über eine schnelle Netzwerkverbindung, so dass der Nutzer störende Latenzzeiten bei der Interaktion mit Anwendungen in Kauf nehmen muss.

Die vorliegende Arbeit befasst sich mit der System Infrastruktur, die notwendig ist, um sicherzustellen, dass Anwendungen komfortabel in beliebigen post-desktop Umgebungen verwendet werden können. Dabei ist das Ziel, die vorhandene System Infrastruktur des Webs zu erweitern. Im einzelnen heißt das, es müssen i) die neuartigen Interaktionsgeräte in post-desktop Umgebungen unterstützt werden, ii) Mittel bereitgestellt werden, um mit der Dynamik dieser Umgebungen, in denen Ressourcen nur noch lose gekoppelt sind, umzugehen, und iii) die vom Nutzer empfundene Latenz bei der Interaktion muss reduziert werden.

Im Hinblick auf diese Ziele liefert die vorliegende Arbeit folgende Beiträge.

Ein neues theoretisches Modell zur Beschreibung und zum besseren Verständnis des Problems der Verwendung von Anwendungen in post-desktop Umgebungen.

Um die unterschiedlichen Ressourcen in post-desktop Umgebungen zu nutzen, muss eine Anwendung gleichzeitig Eingabedaten von beliebigen Ressourcen verarbeiten und die Ausgabe an den Benutzer modifizieren können. Existierende Ansätze unterstützen nur jeweils einen der beiden Aspekte gleichzeitig. Entweder sind sie optimiert für die Verarbeitung von Eingabe, wobei sie auf eine Pipeline-Architektur zurückgreifen und dann keine Möglichkeiten zur Modifikation der Ausgabe zur Verfügung stellen, oder, sie sind optimiert für die Modifikation der Ausgabe. In diesem Fall können sie lediglich Eingabedaten von Maus und Tastatur verarbeiten. Diese Arbeit schlägt einen Ansatz vor, der diese Beschränkungen aufhebt. Mit dem Konzept der Interaktionsstrategien, umgesetzt im MundoMonkey System kann man, dank der Anbindung der MundoCore Middleware, Eingabedaten beliebiger Quellen flexibel verarbeiten und gleichzeitig die Ausgabe zum Benutzer unter Verwendung der mächtigen DOM Schnittstelle des Webbrowsers modifizieren. Dieser Ansatz wurde evaluiert, indem mehrere Interaktionsstrategien für ausgewählte post-desktop Umgebungen implementiert wurden. So z.B. eine Strategie für sprachbasierte Interaktion mit Webseiten, die sich in einer Studie gegenüber herkömmlichen Ansätzen als überlegen herausstellte.

In post-desktop Umgebungen muss mit Ressourcendynamik umgegangen werden. Ressourcen erscheinen und verschwinden in diesen Umgebungen. Der Nutzer muss die Möglichkeit haben, die verwendeten Anwendungen und Ressourcen effizient zu kontrollieren. Diese Arbeit stellt ein funktional vollständiges meta UI vor, das es dem Nutzer ermöglicht, Anwendungen und die post-desktop Umgebung zu kontrollieren, was mit bisher existierenden Ansätzen nicht möglich ist. Das vorgestellte MineManager meta UI ist das erste, das ermöglicht, ein digitales meta UI vollständig synchron mit den physischen Veränderungen in der Umgebung zu halten. Eine Implementierung für das iPhone und die MundoCore Middleware, genannt MineExplorer, wurde evaluiert. Studien haben die Tauglichkeit des Konzeptes belegt.

Das Problem der Latenz bei der Interaktion mit Web Anwendungen wurde schon in zahlreichen anderen Arbeiten behandelt. Der in dieser Arbeit vorgeschlagene Ansatz MundoProxy ist der erste, der in mobilen Umgebungen eingesetzt werden kann und der zudem keine Änderungen bei der Implementierung des back-ends der Webanwendung oder der Webanwendung selbst voraussetzt. Unabhängigkeit von der Webanwendung wird durch die Verwendung von intelligenten Vorhersagealgorithmen, die zukünftige Nutzeranfragen auf Basis vorhergehender Anfragen vorhersagen, erreicht. Die Eigenheiten mobiler Umgebungen werden durch den Huckepack Ansatz adressiert, der es ermöglicht die Netzwerkbandbreite und Batterielaufzeit des Mobilgeräts effizient zu nutzen. Die Evaluierung zeigt, dass sich mit diesem Ansatz die vom Benutzer bemerkte Latenz um bis zu $25\%$ reduzieren lässt.

Schließlich beschreibt diese Arbeit das MundoWeb System, das alle drei oben beschriebenen Komponenten in eine abwärtskompatible Erweiterung der Web Infrastruktur integriert, die die Anforderungen zur Interaktion in post-desktop Umgebungen erfüllt.

German
URN: urn:nbn:de:tuda-tuprints-27522
Classification DDC: 000 Generalities, computers, information > 004 Computer science
Divisions: 20 Department of Computer Science > Telecooperation
Date Deposited: 13 Sep 2011 11:59
Last Modified: 08 Jul 2020 23:58
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/2752
PPN: 386245207
Export:
Actions (login required)
View Item View Item