Die Virtual Reality Technologie gewinnt immer mehr an Bedeutung, nicht nur in der Unterhaltungsindustrie, sondern auch beispielsweise für das Training im Bildungs- oder Gesundheitsbereich. Seitdem erschwingliche Head-Mounted Displays auf dem Markt verfügbar sind, können viele Endverbraucher diese Technologie nutzen und so in immersive virtuelle Umgebungen eintauchen.

Beim Tragen der Head-Mounted Displays können die Nutzer jedoch weder die reale Umgebung, noch ihren eigenen Körper oder den ihrer Teamkollegen und Gegner sehen. Daher ist die Rekonstruktion von Ganzkörper-Bewegungen essentiell, um das Gefühl der Präsenz und die Interaktion zwischen den Nutzern zu verbessern. Aufgrund fehlender Bewegungsdaten der Benutzer befassen sich viele beliebte Virtual Reality Spiele ausschließlich mit den Bewegungen des Oberkörpers und zeigen nur die Controller oder Hände. Darüber hinaus ist die Erkennung von Ganzkörper-Bewegungen maßgeblich um sicherzustellen, dass Benutzer beispielsweise körperliche Übungen korrekt ausführen, um die gewünschten Gesundheitseffekte zu erzielen oder das Verletzungsrisiko zu senken.

Die Beiträge in dieser Arbeit umfassen die Rekonstruktion und Erkennung von Ganzkörper-Bewegungen mit handelsüblichen Virtual Reality Geräten. Derartige Bewegungserfassungssysteme erfordern jedoch, dass viele Sensoren am Körper angebracht werden, was den Einrichtungsaufwand erhöht und den Nutzungskomfort senkt. Daher wurde im ersten Beitrag dieser Arbeit die Anzahl der Sensoren reduziert, um die Benutzer nicht einzuschränken. Eine kleine Anzahl von Sensoren ist beispielsweise bei Anwendungen im Gesundheitsbereich erforderlich, da Patienten mit körperlichen Einschränkungen häufig keine zusätzlichen Geräte halten oder tragen können. Zu diesem Zweck wurden Methoden der inversen Kinematik untersucht und deren Parameter optimiert, um die Ganzkörperbewegungen mit hoher Genauigkeit und geringer Latenz zu rekonstruieren. Da eine hohe Latenz zwischen den realen Bewegungen des Benutzers und dem entsprechenden visuellen Feedback auf dem Head-Mounted Display Cybersickness verursachen kann wurden anschließend, als zweiten Beitrag der Arbeit, die Auswirkungen einer erhöhten End-to-End-Latenz auf die Benutzererfahrung und -leistung untersucht. Hierzu wurde ein End-to-End-Latenz Schwellwert identifiziert, der signifikante Cybersickness-Symptome hervorruft und dazu führt, dass Benutzer erheblich mehr Zeit benötigen um eine Aufgabe abzuschließen. Als dritter Beitrag dieser Arbeit wurden Algorithmen des maschinellen Lernens angewandt, um geeignete Sensorpositionen für eine zuverlässige Ganzkörper-Bewegungserkennung zu identifizieren. Dabei wurden die gesamte Bewegungsausführung analysiert und mögliche Ausführungsfehler der Übung identifiziert.

Das erarbeitete Modell zur Rekonstruktion und Erkennung von Ganzkörperbewegungen wurde im Kontext von zwei Serious Games prototypisch realisiert und validiert: (1) ein Exergame, in dem die Spieler zum Trainieren bestimmter Bewegungen motiviert werden sollen und (2) eine Multiplayer-Trainingsumgebung für Polizeikräfte, in der Stress-Situationen simuliert werden können. Im Exergame wurde gezeigt, dass der vorgestellte Ansatz die Bewegungen und Ausführungsfehler der Spieler erkennt und es konnte ein direktes Feedback an die Nutzer gegeben werden. Mittels der Trainingssimulation wurde die statistische Signifikanz und Effektstärke analysiert, um den Einfluss von Ganzkörper-Avataren auf das Stressniveau zu untersuchen. Dabei zeigte eine empirische Studie mit Polizeikräften den Mehrwert von Ganzkörper-Avataren im Vergleich zu einer abstrakten Darstellung mit Kopf und Händen, wodurch das Gefühl der Präsenz verbessert und die Kommunikation durch Körpersprache und Gesten ermöglicht wurde.