TU Darmstadt / ULB / TUprints

A Device-Independent Interaction Framework Towards the Implementation of Reduced Crew Operations

Sterling, Millie (2020)
A Device-Independent Interaction Framework Towards the Implementation of Reduced Crew Operations.
Technische Universität
doi: 10.25534/tuprints-00012430
Ph.D. Thesis, Primary publication

[img]
Preview
Text
dissertation.pdf
Copyright Information: CC BY 4.0 International - Creative Commons, Attribution.

Download (39MB) | Preview
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: A Device-Independent Interaction Framework Towards the Implementation of Reduced Crew Operations
Language: English
Referees: Klingauf, Prof. Dr. Uwe ; Kotys-Schwartz, Prof. Dr. Daria
Date: July 2020
Place of Publication: Darmstadt
Date of oral examination: 5 November 2019
DOI: 10.25534/tuprints-00012430
Abstract:

The aviation industry is investigating reduced crew flight deck operations as a solution to an impending pilot shortage and to reduce costs. A shift in operation requires a shift in interaction. This new interaction should be flexible, natural, and minimize task interference when managing multiple concurrent tasks. Gaze, voice, and gesture interaction techniques can provide such interaction.

As an extension to existing research, this dissertation investigates how these interaction techniques, independent of input device technology or task design, affect an operator's ability to manage concurrent tasks. To test this, an interaction framework was developed, consisting of a model of human information processing and a device-independent interaction taxonomy.

Ten human factors experiments were conducted to validate the framework and answer the research question. The experiment tasks were abstracted from flight deck tasks. The effects of the six investigated interaction techniques on the costs of concurrent task management were measured via interruption and resumption time, performance of the first and second task, and subjective workload. Interaction technique was found to have a significant effect on resumption and interruption time, but not on performance or subjective workload. Multimodal interaction, while providing flexibility, results in less effective concurrent task management when compared with unimodal interaction. It was also found that neither gender nor previous pilot experience had an effect on the operator's ability to manage concurrent task demands.

The results of this work were then applied to the construction of a mobile flight deck simulator to demonstrate the author's vision for reduced crew flight deck operations with multimodal interaction. The simulator depicts six realistic scenarios of a reduced crew flight with investigated interaction techniques. Practical demonstrations have shown that the interaction is flexible, robust, and natural. The device-independent, (multi)modal interaction framework will provide a baseline for effective concurrent task management workflows using gaze, voice, and gesture interaction techniques towards the implementation of reduced crew operations.

Alternative Abstract:
Alternative AbstractLanguage

Als eine mögliche Lösung für einen bevorstehenden Pilotenmangel und um Kosten zu senken untersucht die Luftfahrtindustrie neue Arbeitsprozesse im Cockpit mit reduzierter Besatzung. Die Änderung dieser Prozesse erfordert eine veränderte Interaktion. Diese neue Interaktion sollte flexibel, robust und natür- lich sein und Aufgabeninterferenzen bei der Verwaltung mehrerer gleichzeitiger Aufgaben minimieren. Blick-, Stimm- und Gesteninteraktionsmethoden sind Techniken, die solche Interaktion ermöglichen können.

Diese Dissertation stellt eine Erweiterung existierender Forschung dar. Sie untersucht, wie diese Interaktionsmethoden, unabhängig von der Eingabegerättechnologie oder dem Aufgabendesign, die Fähigkeit eines Bedieners be- einflussen, Aufgaben gleichzeitig zu verwalten. Um dies zu testen, wurde ein Interaktionsmodell entwickelt, das aus einem Modell der menschlichen Informationsverarbeitung und einer geräteunabhängigen Interaktionstaxonomie besteht.

Um das Interaktionsmodell zu validieren und die Forschungsfrage zu beant- worten, wurden zehn Versuche mit Probanden durchgeführt. Die Versuchsauf- gaben wurden von zukünftigen Arbeitsaufgaben im Cockpit abstrahiert. Die Auswirkungen von sechs untersuchten Methoden auf das gleichzeitige Aufgaben- management wurden mittels der Unterbrechungs- und Wiederaufnahmezeiten, der Leistung in der ersten und zweiten Aufgabe und der subjektiven Arbeitsbe- lastung gemessen. Hierdurch wurde festgestellt, dass die Interaktionsmethode einen signifikanten Einfluss auf die Unterbrechungs- und Wiederaufnahmezeiten hat, aber nicht auf die Leistung oder die subjektive Arbeitsbelastung. Multimodale Interaktion bietet zwar Flexibilität, führt aber im Vergleich zu unimodaler Interaktion zu einem weniger effektiven gleichzeitigen Aufgabenmanagement. Es wurde auch festgestellt, dass weder Geschlecht noch Pilotenerfahrung Einfluss auf die Fähigkeit eines Bedieners hatten, gleichzeitige Aufgabenanforderungen zu verwalten.

Mit den Ergebnissen dieser Arbeit wurde ein Cockpitprototyp gebaut, um die Vision der Autorin für zukünftige betriebliche Konzepte im Cockpit mit mul- timodaler Interaktion zu demonstrieren. Der Prototyp zeigt sechs realistische Szenarien für ein Cockpit mit reduzierter Besatzung mittels der untersuchten Interaktionsmethoden. Praktische Demonstrationen haben gezeigt, dass die Interaktion flexibel, robust und natürlich ist. Das geräteunabhängige, (multi)modale Interaktionsmodell wird zukünftig die Grundlage bilden, um effektive Arbeitsabläufe mit gleichzeitiger Aufgabenverwaltung mittels Blick-, Stimm- und Gesteninteraktion im Cockpit mit reduzierter Besatzung zu implementieren.

German
URN: urn:nbn:de:tuda-tuprints-124303
Classification DDC: 600 Technology, medicine, applied sciences > 620 Engineering and machine engineering
Divisions: 16 Department of Mechanical Engineering > Institute of Flight Systems and Automatic Control (FSR)
Date Deposited: 20 Aug 2020 14:13
Last Modified: 20 Aug 2020 14:15
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/12430
PPN: 468710566
Export:
Actions (login required)
View Item View Item