Precise and Controllable Surgical Simulation by Generative Models

Classical surgical simulation systems – based on physics engines and manually defined rendering rules – have long supported the training of surgical skills. However, these systems are expensive to build, limited in scope, and difficult to adapt to new procedures or data types. As surgical data science expands, and the demand for flexible, high-fidelity simulation grows, generative machine learning offers a promising alternative: one that can model complex visual scenes directly from data, adapt across surgical domains, and support both human training and automated system development.

This cumulative dissertation presents a body of peer-reviewed work that leverages generative models to overcome the rigidity and cost of traditional surgical simulators. Across several contributions, we demonstrate how recent advances in generative machine learning – particularly generative adversarial networks, denoising diffusion models, and scene graph conditioning – can enable scalable, high-fidelity, and controllable simulation of surgical content.

We first show that generative models can simulate realistic surgical images, video sequences, and paired segmentation data, using task-specific conditioning to produce plausible intraoperative scenes. These approaches surpass the visual quality of classical systems while also offering greater flexibility. In a second phase of experimental studies, we introduce generative augmentation methods that target underrepresented or epistemically uncertain data regions – helping to improve the performance of downstream models in surgical tool detection, phase recognition, and segmentation tasks. These strategies address the data imbalance and annotation bottlenecks that continue to limit the application of deep learning in surgery.

To close the gap in simulation control, we propose a novel scene graph–based conditioning framework. This allows users to define simulated surgical scenes in a structured and inter- pretable format, enabling fine-grained, user-driven manipulation of tool and anatomical positions. A follow-up study extends this concept to video synthesis, producing surgical video sequences with detailed control over motion and interaction.

Together, these works outline a path toward data-driven surgical simulation that is scalable, adaptive, and accessible. By aligning simulation outputs more closely with real-world data, generative models offer not only a cost-efficient alternative to classical systems, but also a foundation for future research and development in surgical training, data augmentation, and intelligent assistance systems, thereby bridging the gap between the classroom and the operating room.

Klassische chirurgische Simulationssysteme – basierend auf Physik-Engines und manuell definierten Rendering-Regeln – unterstützen seit langem das Training chirurgischer Fähigkeiten. Diese Systeme sind jedoch teuer in der Entwicklung, in ihrem Umfang begrenzt, und lassen sich nur schwer an neue Verfahren oder Datentypen anpassen. Mit der Ausweitung der chirurgischen Datenwissenschaft und der steigenden Nachfrage nach flexiblen, realitätsgetreuen Simulationen bietet generatives maschinelles Lernen eine vielversprechende Alternative: ein System, das komplexe visuelle Szenen direkt aus Daten modellieren kann, das sich an verschiedene chirurgische Bereiche anpassen lässt, und das sowohl das menschliche Training, als auch die Entwicklung automatisierter Systeme, unterstützt.

Diese kumulative Dissertation präsentiert eine Reihe von begutachteten Arbeiten, die generative Modelle nutzen, um die Inflexibilität und die Kosten herkömmlicher chirurgischer Simulatoren zu überwinden. In mehreren Beiträgen zeigen wir, wie die jüngsten Fortschritte im Bereich des generativen maschinellen Lernens – insbesondere Generative Adversarial Networks, Denoising Diffusion Models und Scene Graph conditioning – eine skalierbare, realitätsnahe und kontrollierbare Simulation chirurgischer Inhalte ermöglichen können.

Wir zeigen zunächst, dass generative Modelle realistische chirurgische Bilder, Videosequenzen und gepaarte Segmentierungsdaten simulieren können, indem sie aufgabenspezifische Konditionierung verwenden, um plausible intraoperative Szenen zu erzeugen. Diese Ansätze übertreffen die visuelle Qualität klassischer Systeme und bieten gleichzeitig eine größere Flexibilität. In einer zweiten Phase experimenteller Studien führen wir generative Augmentierungsmethoden ein, die auf unterrepräsentierte oder epistemisch unsichere Datenregionen abzielen, um die Leistung nachgelagerter Modelle bei der Erkennung von chirurgischen Werkzeugen, Phasenerkennung und Segmentierungsaufgaben zu verbessern. Diese Strategien adressieren die Datenungleichgewichte und Annotationsengpässe, die die Anwendung von Deep Learning in der Chirurgie weiterhin einschränken.

Um die Lücke in der Simulationssteuerung zu schließen, schlagen wir ein neuartiges szenengraphbasiertes Konditionierungssystem vor. Damit können Benutzer simulierte chirurgische Szenen in einem strukturierten und interpretierbaren Format definieren, was eine feinkörnige, benutzergesteuerte Manipulation von Werkzeug- und Anatomiepositionen ermöglicht. In einer Folgestudie wird dieses Konzept auf die Videosynthese ausgeweitet, um chirurgische Videosequenzen mit detaillierter Bewegungs- und Interaktionskontrolle zu erzeugen.

Zusammen skizzieren diese Arbeiten einen Weg zu einer datengesteuerten chirurgischen Simulation, die skalierbar, anpassungsfähig und zugänglich ist. Durch die engere Abstimmung der Simulationsergebnisse mit realen Daten bieten generative Modelle nicht nur eine kosteneffiziente Alternative zu klassischen Systemen, sondern auch eine Grundlage für künftige Forschung und Entwicklung im Bereich der chirurgischen Ausbildung, der Datenerweiterung und intelligenter Assistenzsysteme, wodurch die Kluft zwischen dem Klassenzimmer und dem Operationssaal überbrückt wird.