In der heutigen Welt gewinnt der Schutz der Privatsphäre zunehmend an Bedeutung, nicht nur in der Öffentlichkeit, sondern auch in den Bereichen maschinelles Lernen und Natürliche Sprachverarbeitung (Natural Language Processing, NLP). Ein etablierter Goldstandard für die Gewährleistung des Schutzes der Privatsphäre aller Individuen in einem Datensatz ist das Framework von Differential Privacy (DP). Intuitiv bietet Differential Privacy eine formale theoretische Garantie dafür, dass der Beitrag eines jeden Individuums zu einer bestimmten Analyse eines Datensatzes begrenzt ist. Mit anderen Worten, kann keine einzelne Person diese Analyse "zu viel" beeinflussen.

Während die Anwendung von Differential Privacy in den Bereichen Statistik und maschinelles Lernen immer mehr Verbreitung findet, befindet sie sich im NLP-Bereich noch in einer relativ frühen Phase, in der viele wichtige Fragen noch ungelöst sind. Dazu gehört die Suche nach den günstigsten Methoden für die Privatisierung von Textdaten, die zum Trainieren eines NLP-Systems verwendet werden, sowie die Frage der Privatisierung von Textdaten unabhängig von einem NLP-System, um sie für allgemeine Analysen freizugeben, z. B. für die Verwendung in einer Vielzahl von nachgelagerten Aufgaben. In dieser Arbeit befassen wir uns mit diesen und anderen grundlegenden Fragen, die für die Anwendung datenschutzfreundlicher Methoden im Bereich von NLP relevant sind.

Zunächst wird ein detaillierter theoretischer Hintergrund zu Differential Privacy und NLP vorgestellt. Wir erörtern das Problem der Definition von Privatsphäre aus einer philosophischen Perspektive, grundlegende Konzepte im Rahmen von Differential Privacy (z. B. die Garantien für die Privatsphäre und wie sie erreicht werden können) sowie die Anwendung von Differential Privacy auf die Bereiche des maschinellen Lernens und NLP. Es folgt eine Beschreibung wichtiger Konzepte im Bereich von NLP, einschließlich der Struktur eines modernen NLP-Systems, allgemeiner Aufgaben der Textklassifikation und -generierung sowie relevanter neuronaler Architekturen.

Anschließend gehen wir auf den ersten Hauptteil dieser Arbeit ein, beginnend mit der Privatisierung von Textklassifikationssystemen. Zunächst befassen wir uns mit dem Problem der Anwendung von Differential Privacy auf die Datenstruktur von Graphen, die in NLP-Datensätzen verwendet werden. Insbesondere zeigen wir, wie man den Algorithmus von Differentially Private Stochastic Gradient Descent (DP-SGD) erfolgreich auf Graphfaltungsnetzwerke anwenden kann, die aufgrund ihrer Trainingseigenschaften theoretische und praktische Herausforderungen darstellen. Als Nächstes befassen wir uns mit 'standardisierten' NLP-Modellen und Textdatensätzen und beantworten die Frage, ob es eine gemeinsame Strategie für die Integration von DP-SGD in diesen verschiedenen Konfigurationen gibt.

Im zweiten Hauptteil dieser Arbeit konzentrieren wir uns auf die Privatisierung von Textdaten, die unabhängig von einem bestimmten NLP-System sind. Insbesondere behandeln wir dieses Problem aus der Perspektive des privatisierten Umschreibens von Text im Rahmen von Local Differential Privacy (LDP), bei der ein ganzes Dokument mit Differential Privacy Garantien umgeschrieben wird. Wir stellen zunächst unser modulares Framework DP-Rewrite vor, das der NLP-Gemeinschaft eine Grundlage bieten soll, um diese Aufgabe auf transparente und reproduzierbare Weise zu lösen. Anschließend gehen wir das Problem der privatisierten Textumschreibung selbst an, indem wir das DP-BART-Modell vorstellen, das mehrere Techniken einführt, die auf ein vortrainiertes BART-Modell angewendet werden können, darunter eine neuartige Clipping-Methode, iteratives Pruning des Modells und weiteres Training interner Repräsentationen. Mit diesen Techniken können wir den Umfang der Störungen, die zur Erreichung einer DP-Garantie erforderlich sind, drastisch reduzieren. Wir untersuchen gründlich die Machbarkeit dieses Ansatzes als Ganzes, wobei wir uns auf das Problem der strengen Adjazenzbeschränkung konzentrieren, die der LDP-Umgebung innewohnt und zu einem hohen Störungsgrad des ursprünglichen Textes führt.

In dieser Arbeit gehen wir zusätzlich auf mehrere entscheidende Punkte ein, die bei der Anwendung von Differential Privacy auf Textdaten beachtet werden müssen. Erstens geht es um die Frage der Interpretierbarkeit, z. B. was genau in einem Textdatensatz privatisiert wird, wenn DP auf eine Analyse darauf angewendet wird, sowie um die genauen Details eines vorgeschlagenen DP-Algorithmus und die Stärke der Datenschutzgarantie, die er bietet. Darüber hinaus ist es von entscheidender Bedeutung, dass man sich der Grenzen der vorgeschlagenen Methoden, die DP einbeziehen, bewusst ist. Dazu gehören Beschränkungen in Bezug auf Rechenleistung und Speicherplatz sowie die Abwägung zwischen dem Grad der Privatsphäre, der gewährleistet werden kann, und dem Nutzen eines Algorithmus, wobei sich stärkere Datenschutzgarantien voraussichtlich negativ auf den Nutzen auswirken.