Moderne Kommunikation beruht auf elektronischen Nachrichten, die in Form von Threads organisiert sind. E-Mails, Sofortnachrichten, SMS, Kommentare auf Webseiten und in Foren sind aus solchen Threads aufgebaut - diese wiederum bestehen aus einzelnen Benutzernachrichten, die mithilfe von Metadaten verbunden sind und zwischen denen Diskurskohärenz besteht. Threads werden benutzt, um Benutzernachrichten effektiv in einer GUI, wie etwa einem E-Mail-Programm, zu visualisieren. Sie stellen also einen Hintergrundkontext bereit, ohne den einzelne Nachrichten oft nicht verstanden werden können. Allerdings kann es durch eine Reihe von Faktoren dazu kommen, dass eine solche Thread-Struktur verloren geht: Angefangen von Benutzerfehlern (z.B. dem Antworten auf eine falsche Nachricht), über fehlende Metadaten (manche E-Mail-Programme erzeugen E-Mail-Header, die nicht die volle Thread-Struktur enthalten; auch Konvertierungen von alten Threads können in fehlenden Metadaten resultieren) bis hin zu absichtlich verschleierter Struktur (etwa durch Benutzer, die es Dritten erschweren wollen, eine Diskussion nachzuvollziehen, und dazu Metadaten vermeiden oder entfernen). Im Bereich Sicherheit benötigen Strafverfolgungsbehörden daher eine automatische Thread-Rekonstruktion, um große Mengen an gesammelten elektronischen Nachrichten aus Diskussionen verstehen zu können. Beispielsweise besitzt das Enron Email Corpus, das von der Federal Energy Regulatory Commission der USA während der Ermittlungen beim Energiekonzern Enron zusammengetragen wurde, keine inhärente Thread-Struktur.

In dieser Arbeit verwenden wir Ansätze aus der maschinellen Sprachverarbeitung (Natural Language Processing, NLP), um Threads aus Nachrichteninhalten zu rekonstruieren. Eine solche Rekonstruktion basierend auf den Inhalten umgeht das Problem fehlender Metadaten und erlaubt eine nachträgliche Restrukturierung und damit auch ein Verstehen der gesamten Diskussion. Wir untersuchen Korpora bestehend aus E-Mail-Threads und Wikipedia-Dis\-kussionen. Allerdings herrscht eine Knappheit an geeigneten, annotierten Korpora. Zum Beispiel enthält das Enron Emails Corpus keine Angaben zur Thread-Struktur. Aus diesem Grund erforschen wir außerdem Probleme, die beim Erstellen von crowdgesourcten Datensätzen und beim Trainieren maschineller Lernverfahren auf solchen Datensätzen auftreten. Viele unserer Ergebnisse sind daher über die Thread-Rekonstruktion hinaus auch auf andere automatische Klassifizierungsaufgaben für natürliche Sprache anwendbar.

Wir gliedern unsere Erforschung der Rekonstruktion von Diskussions-Threads in zwei Teile auf.

Zuerst untersuchen wir Methoden für die Erstellung eines Korpus, das der Forschung an Thread-Rekonstruktion dienen soll. Wie andere Problemstellungen im Bereich paarweiser Klassifikation in NLP, etwa die Textähnlichkeitsbewertung für Satzpaare oder das Alignment von Sprecherwechseln in Wikipedia-Diskussionen zu Artikeländerungen, ist auch die Wiederherstellung von E-Mail-Threads ein stark klassen-unbalanciertes Problem. Trotz des Aufkommens von Crowdsourcing, das Annotationskosten deutlich reduziert hat, ist die bisher übliche Praxis der Crowdsourcing-Redundanz zu teuer für Aufgaben mit Klassen-Ungleichgewicht. Als ersten Beitrag dieser Arbeit evaluieren wir alternative Strategien, um Crowdsourcing-Redundanz für Annotationen in klassen-unbalancierten NLP Aufgaben zu reduzieren. Wir untersuchen außerdem Methoden, den bestmöglichen maschinellen Klassifikator auf unseren crowdgesourcten Labeln zu trainieren. Um Rauschen in Trainingsdaten zu reduzieren, sammeln die meisten Crowdsourcing-Annotationsexperimente in NLP mehrere redundante Label und aggregieren sie zu einem ganzheitlichen Label, das dann an den Klassifikator weitergegeben wird. Allerdings verwirft solch eine Aggregation potenziell nützliche Informationen von linguistisch ambigen Instanzen. Für den zweiten Beitrag dieser Arbeit zeigen wir für vier von fünf NLP-Problemstellungen, dass das Filtern von Trainingsdaten basierend auf Inter-Annotator-Agreement von Instanzen die Effektivität des Klassifikators steigern kann, im Gegensatz zu Soft-Labeling, das keine Ergebnisverbesserungen liefert.

Zweitens untersuchen wir Thread-Rekonstruktion, aufgeteilt in die Entflechtung von Threads und die Erkennung von Adjazenz. Wir stellen das Enron Threads Corpus vor, ein neu extrahiertes Korpus von 70.178 Threads, bestehend aus jeweils mehreren E-Mails des Enron Email Corpus. Die E-Mails im ursprünglichen Enron Emails Corpus sind nicht nach Threads sortiert. Um Threads zu finden und zu entflechten, wenden wir als dritten Beitrag dieser Arbeit paarweise Klassifikation an. Dazu benutzen wir Textähnlichkeitsmaße auf nicht-zitiertem Text in E-Mails. Wir zeigen zweierlei: i) Textähnlichkeitsmaße, die auf dem Textinhalt operieren, übertreffen stil- und strukturorientierte Maße sowohl in klassen-balancierten als auch in klassen-unbalancierten Experimenten. Und ii) obwohl die Effektivität der Features von der semantischen Ähnlichkeit des Korpus abhängt, sind inhaltliche Features auch dann effektiv, wenn die semantische Ähnlichkeit kontrolliert wird. Um Threads zu rekonstruieren ist es zusätzlich notwendig, Adjazenzbeziehungen zwischen Paaren zu identifizieren. Für die Wikipedia-Diskussionen sind keine Metadaten verfügbar; außerdem sind Dialogakt-Typologien, die für andere Domänen hilfreich sein können, hier nicht nutzbar. Als vierten Beitrag zeigen wir anhand unserer Experimente, dass die Erkennung von Adjazenzpaaren unter Benutzung von ,,Lexical-Pair-Features`` durchgeführt werden kann. Dieser Ansatz ist robust auch bei Berücksichtigung von Topic Bias der Diskussionen und benötigt weder Dialogakt-Typologie noch Metadaten. Allerdings bilden Lexical-Pair-Features nicht tatsächlich die lexikalisch-se\-man\-ti\-schen Relationen zwischen Adjazenzpaaren ab. Um also lexikalisch-semantische Beziehungen zu modellieren, führen wir als unseren fünften Beitrag Adjazenz-Erkennung mittels extra\-hier\-ter Keyphrases durch, die mit semantisch ähnlichen Termen angereichert werden. Diese Methode liefert bessere Ergebnisse als eine ,,Most-Frequent-Class-Baseline``, zeigt aber keine Ver\-bes\-se\-rung gegenüber Lexical-Pair-Features oder mittels Tf-idf gewichteter Kosinus-Ähnlichkeit. Unsere Untersuchung zeigt, dass dies das Resultat fehlerhafter Word-Sense-Disambiguation und Keyphrase-Extraction ist, was falsche semantische Verbindungen hervorbringt.

Publikationen, die unsere Beiträge behandeln, sind in Section 1.3 aufgelistet. Figure 1.1 zeigt einen Überblick über die Themen der Beiträge und wie sie miteinander in Beziehung stehen.

Abschließend besprechen wir nach den vorliegenden Beiträgen verbleibende ungelöste Probleme und offene Fragen, diskutieren Anwendungen für Thread-Rekonstruktion und zeigen mögliche Wege für weiterführende Arbeiten auf.

(Dieses Abstract wurde aus dem Englischen übersetzt von Erik-Lân Do Dinh.)