TU Darmstadt / ULB / TUprints

Haptische Bedieneinheit zum Einsatz in einem Teleoperationssystem für die Single-Port-Chirurgie

Neupert, Carsten (2017)
Haptische Bedieneinheit zum Einsatz in einem Teleoperationssystem für die Single-Port-Chirurgie.
Technische Universität Darmstadt
Ph.D. Thesis, Primary publication

[img]
Preview
Text
Dissertation_Carsten_Neupert.pdf
Copyright Information: CC BY-NC-ND 4.0 International - Creative Commons, Attribution NonCommercial, NoDerivs.

Download (103MB) | Preview
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Haptische Bedieneinheit zum Einsatz in einem Teleoperationssystem für die Single-Port-Chirurgie
Language: German
Referees: Werthschützky, Prof. Dr. Roland ; Leonhardt, Prof. Dr. Steffen ; Kupnik, Prof. Dr. Mario
Date: 2017
Place of Publication: Darmstadt
Date of oral examination: 3 February 2017
Abstract:

Gegenwärtig verfügbare Chirurgieroboter bieten Ärzten die Möglichkeit, chirurgische Eingriffe im Bauchraum eines Patienten mit höchster Präzision durchzuführen. Durch die Steuerung der Endeffektoren im Operationsgebiet von einer entfernten Bedienkonsole aus verliert der Arzt jedoch die Möglichkeit, mithilfe seines Tastsinnes Interaktionskräfte und Gewebeeigenschaften wahrzunehmen und zu beurteilen. Hieraus ergeben sich für den Arzt und den Patienten Nachteile und Gefahren, die durch die Darbietung haptischen Feedbacks während der Teleoperation vermieden werden können.

Gegenstand der vorliegenden Dissertation ist daher die wissenschaftliche Erarbeitung einer angepassten haptischen Bedieneinheit zum Einsatz in einem Teleoperationssystem für die Single-Port-Chirurgie sowie die Analyse von Methoden und Komponenten zur Sicherung des haptischen Feedbacks. Die Bedieneinheit umfasst die Funktion eines haptischen Eingabegerätes zur Steuerung eines Manipulators und die Funktion eines Ausgabegerätes zur Darbietung haptischen Feedbacks bezüglich wirkender Interaktionskräfte im Operationsgebiet. Diese Arbeit ist Teilprojekt des durch die Deutsche Forschungsgemeinschaft (DFG) geförderten Projektes FLEXMIN (WE 2308/13), dessen Hauptziel in der Erweiterung der Flexibilität minimalinvasiver Instrumente zur Durchführung von Operationen im konkreten Anwendungsfall der transanalen Rektumresektion besteht.

Ein weiteres Teilprojekt (SCHL 532/6) umfasst das Single-Port-System, dessen Manipulatoren im Operationsgebiet des Darmes durch die in dieser Arbeit entwickelte Bedieneinheit gesteuert werden sollen. Die Manipulatoren des Single-Port-Systems basieren auf parallelkinematischen Mechanismen. Die Mechanismen ermöglichen die Positionierung und Orientierung eines Endeffektors im Raum, mit den vier in der Laparoskopie üblichen Freiheitsgraden, sowie die Aktuierung eines Greiffreiheitsgrades.

Ausgehend vom Stand der Technik basiert der Entwurf der Bedieneinheit als Schnittstelle zum Menschen sowohl auf Grundlagen zur Physiologie und Ergonomie des Menschen als auch auf abgeleiteten Anforderungen, die sich aus der gewählten Systemstruktur des Teleoperationssystems und den kinematischen Eigenschaften des Single-Port-Systems ergeben. Hierzu werden die Mechanismen der haptischen Wahrnehmung diskutiert, für unterschiedliche Darstellungsvarianten haptischen Feedbacks grundsätzliche Lösungskonzepte erarbeitet und die Entwurfsziele zur Entwicklung haptischer Systeme abgeleitet. Geometrische Randbedingungen und zur Verfügung gestellte Freiheitsgrade der Bedieneinheit werden anhand der Struktur der Manipulatoren des Single-Port-Systems fixiert.

Die entwickelte Bedieneinheit besteht aus zwei Bedienelementen zur beidhändigen Steuerung der zwei im Single-Port-System integrierten Manipulatoren. Die kinematische Grundstruktur der Bedienelemente ist passiv ausgeführt und gleicht der Struktur der kinematischen Hauptketten der Manipulatoren. Der Nutzer gibt durch seine Eingabe die Position des letzten Gliedes der kinematischen Kette vor. Zur Ausgabe von haptischem Feedback an den Nutzer wird die passive Grundstruktur durch aktive kinematische Mechanismen erweitert.

Zur Darbietung eines räumlichen haptischen Feedbacks gelangen deltakinematische Mechanismen zum Einsatz. Sie lösen die von drei gestellfest montierten Aktoren erzeugten Signale im kartesischen Raum auf. Es werden zwei Mechanismen mit unterschiedlichen Entwurfszielen entwickelt, aufgebaut und messtechnisch evaluiert. Beide Mechanismen weisen einen Arbeitsraum von 200x200x150 mm³ auf und eignen sich zur Ausgabe von Kräften bis zu 20 N im Frequenzbereich bis etwa 50 Hz. Die Kraft wird mit einer Auflösung unterhalb der Wahrnehmungsschwelle der menschlichen Hand ausgegeben.

Zur Steuerung und zur Ausgabe haptischen Feedbacks in den Freiheitsgraden Greifen und Rotation um die Werkzeugachse werden Nutzerinterfaces entwickelt, welche sich an die zuvor beschriebenen kinematischen Mechanismen ankoppeln lassen. Die Nutzerinterfaces sind zur Handhabung als Pistolengriff oder Pinzette vorgesehen. Mit den Nutzerinterfaces lassen sich Greifkräfte von bis zu 5 N sowie ein Drehmoment um die Werkzeugachse von bis zu 200 mNm in einem Frequenzbereich von bis zu ca. 100 Hz ausgeben.

Die zuvor beschriebenen Mechanismen sind zur Darstellung kinästhetischen Feedbacks in einer impedanzgesteuerten Systemtruktur vorgesehen. Neben dieser Darstellungsart werden mit dem vibrotaktilen haptischen Feedback und mit dem Einsatz pseudo-haptischen Feedbacks zwei weitere Methoden zur Darbietung haptischen Feedbacks und deren Kombinierbarkeit im Gesamtsystem untersucht.

Mit dem Einsatz von vibrotaktilem Feedback wird das Ziel verfolgt, den haptisch darstellbaren Frequenzbereich bis 1 kHz zu erweitern und damit das komplette Spektrum der haptischen Wahrnehmung des Menschen zu adressieren. Hierzu wird die am Endeffektor des Manipulators wirkende Beschleunigung gemessen und mit einem im Nutzerinterface integrierten Aktor unmittelbar an die Hand des Nutzers ausgegeben.

Während pseudo-haptisches Feedback nach Analyse des Stands der Technik nur aus Anwendungen der virtuellen Realität bekannt ist, werden die Mechanismen des pseudo-haptischen Feedbacks innerhalb dieser Arbeit erstmalig für ihre Anwendung in der Teleoperation hergeleitet. Die Herleitung erfolgt exemplarisch für den Freiheitsgrad Greifen. Zur Darbietung eines pseudo-haptischen Sinneseindrucks wird eine bewusst erzeugte Inkongruenz zwischen visuellen und haptischen Reizen genutzt. Erzeugt wird diese Inkongruenz durch die adaptive Variation der Beziehung zwischen der Vorgabegröße des Nutzers am Bedienelement und der resultierenden Ausgangsgröße des Manipulators.

Mithilfe statistischer Versuchsplanung werden Probandenstudien konzipiert, um anhand eines absoluten Identifikationsexperimentes den Einfluss von Systemparametern auf die Güte des wahrgenommenen pseudo-haptischen Feedbacks quantitativ ermitteln zu können. Aus den gewonnenen Erkenntnissen werden Empfehlungen und Entwurfskriterien für die zukünftige Anwendung pseudo-haptischen Feedbacks in Teleoperationsanwendungen abgeleitet. Unter Verwendung des pseudo-haptischen Feedbacks konnte ein Informationstransfer von bis zu 2,45 bit (ca. 5,5 Stufen) nachgewiesen werden.

Zur Darbietung haptischen Feedbacks ist die Messung der Interaktionskräfte des Manipulators Voraussetzung. Da sich die Integration eines kommerziellen Mehrkomponentensensors an der Spitze des Endeffektors aus Platzgründen als nicht praktikabel erweist, werden innerhalb der Arbeit Konzepte zur Implementierung ortsverteilter Sensorik im Single-Port-System abgeleitet und diskutiert. Praktisch umgesetzt wird ein Sensorsystem zur Ableitung von Endeffektorinteraktionskräften auf Basis der Messung von Lagerreaktionskräften der parallelkinematischen Mechanismen. Mit dessen experimenteller Charakterisierung wird die prinzipielle Funktionsfähigkeit des Konzeptes nachgewiesen.

Im Rahmen einer medizinischen Validierung wird die Funktionsfähigkeit des gesamten Teleoperationssystems anhand von Probandenstudien nachgewiesen und in Versuchen an medizinischen Phantomen durch Mediziner gezeigt. Hierbei kann anhand der Fehlerzahl bei einer Tastaufgabe ermittelt werden, dass sich die Präzision der Arbeit unter Verwendung des Robotersystems im Vergleich zur händischen Operation um bis zu Faktor 5 steigern lässt. Des weiteren kann nachgewiesen werden, dass sich die Endeffektorinteraktionskraft durch den Einsatz von haptischem Feedback nahezu halbieren lässt.

Aus den gewonnenen Erkenntnissen werden Empfehlungen für zukünftige Entwicklungen angepasster haptischer Bedieneinheiten unter Verwendung der eingeführten haptischen Feedbackmethoden abgeleitet und diskutiert. Mit dem realisierten Aufbau steht ein Technologieträger zur Beantwortung weiterer Forschungsfragestellungen zur Verfügung. Ansatzpunkte zukünftiger Forschungsarbeiten werden ausblickend für das Projekt FLEXMIN sowie für darauf aufbauende Forschungsarbeiten gegeben.

Alternative Abstract:
Alternative AbstractLanguage

State-of-the-art surgical robots offer surgeons the possibility to proceed surgical tasks in the human body with increased accuracy. Due to the control of manipulators in the body from a distant console, the surgeons lose the possibility to perceive and evaluate interaction forces and tissue properties with their sense of touch. Out of this arise disadvantages and risks for the surgeons and the patients that can be minimized by providing haptic feedback during the teleoperation. Therefore, the investigation of methods and components for providing haptic feedback and the scientific development of a haptic human-machine interface, which is to be used in a teleoperation system for single-port surgery, is subject of this thesis.

The haptic human-machine interface comprises the function of a haptic input device for controlling a manipulator and the function of a haptic output device for presenting haptic feedback, which is based on measured interaction forces of the controlled manipulator in the operational area. This work is a part of the project FLEXMIN (WE 2308/13), funded by the German Research Foundation (DFG), whose main objective is the expansion of the flexibility of minimally invasive instruments in performing operations for the specific application of transanal rectum resection. Another subproject (SCHL 532/6) comprises the single-port system. The single-port system with two manipulators is controlled by the haptic human-machine interface which is developed within this thesis. The manipulators of the single-port system are based on parallel kinematic mechanisms. The mechanisms allow the positioning and orientation of an end-effector in space, with four degrees of freedom and the actuation of a gripping device.

The design of the human-machine interface is based on the fundamentals of the human physiology and ergonomics and on derived requirements, which result from the analysis of the kinematic properties of the single-port system. For this, concepts and general design goals for the development of haptic systems are derived, considering the mechanisms of haptic perception.

The developed human-machine interface consists of two user-interfaces for two-handed control of the two available manipulators of the single-port system. Geometrical constraints and the available degrees of freedom, provided by the user-interface, are derived out of the structure and dimensions of the manipulators of the single-port system. The basic kinematic structure of the haptic user-interfaces is designed as passive mechanism. Its structure is similar to the structure of the kinematic main chain of the manipulators. This ensures a direct mapping of the user’s movement to the manipulator. To provide haptic feedback, the basic passive kinematic structure is expanded by active kinematic mechanisms.

Deltakinematic mechanisms are used to provide spatial haptic feedback. Deltakinematic mechanisms are parallelkinematic mechanisms designed to transform rotatory movements from frame-fixed actuators to translational movements in Cartesian space. Two mechanisms are developed with different design goals, realized and experimentally evaluated. Both mechanisms have a working space of 200x200x150 mm³ and provide output forces up to 20 N in the frequency range up to approx. 50 Hz. Output forces can be displayed haptically with a resolution better than the perception threshold of the human hand.

User-interfaces are developed to control the rotation of an end-effector and the grasper and to provide haptic feedback in these degrees of freedom. The user-interfaces can be connected to the described kinematic mechanisms for spatial haptic feedback. The user-interfaces are designed for the usage as a pistol grip or haptic tweezers. With the user-interfaces gripping forces can be displayed up to 5 N in a frequency range up to 100 Hz. Torque along the tool axis can be provided up to 200 mNm.

The mechanisms described above intend to provide kinesthetic haptic feedback in an open-loop impedance-controlled system structure of the haptic interface. In addition to this type of haptic feedback, by using vibrotactile haptic feedback and pseudo-haptic feedback, two further methods for presenting haptic feedback and their combinability in the overall system are investigated.

The goal of using vibrotactile feedback is to expand the haptically displayable frequency range up to 1 kHz, thus addressing the complete bandwidth of the human haptic perception. For this purpose, the acceleration, acting at the end-effector, is measured and output directly to the user’s hand with an voicecoil-actuator integrated in a separate user-interface for high-frequency feedback. The evaluation measurements show that by combining tactile and kinesthetic feedback a nearly constant amplitude response of the system in the range DC to 1 kHz can be achieved.

While pseudo-haptic feedback is only known from virtual-reality applications, within this work the mechanisms of pseudo-haptic feedback are derived for their application in teleoperation for the first time. The mechanisms of pseudo-haptic feedback are exemplarily derived for the grasping degree of freedom. A consciously generated incongruence between visual and haptic stimuli is used to generate a pseudo-haptic sensory impression. This incongruence is generated by the adaptive variation of the relationship between the user’s input value at the user-interface and the resulting output value of the manipulator. The variation of the relationship is based on real acting interaction forces at the end-effector.

Using design of experiments (DoE) the effect of system parameters to the quality of perceived pseudo-haptic feedback was quantized by performing an absolute identification experiment. Based on the gained results, recommendations and design criteria are derived for the future application of pseudo-haptic feedback in teleoperation systems. In the experiments an information transfer of up to 2.45 bit (about 5.5 steps) was measured while using the pseudo-haptic feedback.

In order to provide haptic feedback, it is necessary to measure the interaction force of the manipulator. Since the integration of a commercial multicomponent sensor at the tip of the end-effector is not suitable for space reasons, concepts for the implementation of location-distributed sensor technology in the single-port system are derived and discussed. A sensor system for deriving end-effector interaction forces, based on the measurement of bearing reactions of the parallel kinematic mechanisms, is implemented. The principle function of the concept is demonstrated by its experimental characterization.

In the context of a medical validation, the functional capability of the entire teleoperation system is demonstrated in evaluation studies and was tested in medical procedure simulations by medical professionals. In a positioning experiment, the usage of the robotic system yielded a fivefold decrease of errors, i.e. an increase in positioning precision in comparison to the manual operation. Furthermore, the results of another experiment show that the end-effector interaction force can be reduced by almost a factor of two by providing haptic feedback.

Based on the derived results, recommendations for future developments of adapted haptic human-machine interfaces and haptic teleoperation systems are discussed with respect to the introduced haptic feedback methods. With the realized system, an unique set of technology is available to answer further research questions. Therefore, research questions regarding the project FLEXMIN and possible future projects are discussed.

English
URN: urn:nbn:de:tuda-tuprints-60288
Classification DDC: 600 Technology, medicine, applied sciences > 620 Engineering and machine engineering
Divisions: 18 Department of Electrical Engineering and Information Technology > Institute for Electromechanical Design (dissolved 18.12.2018)
18 Department of Electrical Engineering and Information Technology > Measurement and Sensor Technology
Date Deposited: 17 Mar 2017 14:17
Last Modified: 17 Mar 2017 14:17
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/6028
PPN: 400699117
Export:
Actions (login required)
View Item View Item