In den letzten Jahren hat die Menge an Falschinformation im Internet stark zugenommen. Falsche Informationen verteilen sich sehr schnell in sozialen Netzwerken und erreichen durch diese größere Leserschaft als je zuvor. Das stellt unsere Gesellschaft vor neue Herausforderungen, da wir neu bewerten müssen, welchen
Informationsquellen wir Glauben schenken dürfen und wie wir Webinhalte konsumieren und mit anderen teilen. Als eine Antwort auf die wachsende Menge an Falschinformation im Internet hat sich die Anzahl der Fact-Checking Organisationen erheblich erhöht. Auf diesen Plattformen validieren professionelle Fact-Checker publizierte Informationen und veröffentlichen die Ergebnisse ihrer Untersuchungen.
Die manuelle Validierung der Informationen durch Fact-Checker ist jedoch sehr arbeitsintensiv und zeitaufwendig. Dadurch können nicht alle Inhalte überprüft werden und für validierte Inhalte erfolgt die Publikation der Analyse oft mit Verspätung. Zu diesem Zeitpunkt ist das Interesse an dem Thema in vielen Fällen schon gesunken, wodurch nur ein Bruchteil der ursprünglichen Leserschaft erreicht werden kann.
Automatisches Fact-Checking hat das Potenzial, diese Probleme zu lösen, weil es den Fact-Checkern ermöglichen könnte, Falschinformation zu erkennen und zu entfernen, bevor diese ein weites Publikum erreicht. Trotz der substanziellen Fortschritte auf diesem Gebiet, müssen noch mehrere Herausforderungen bewältigt werden, bevor
automatisches Fact-Checking unter realen Bedingungen einsatzfähig wird: (i) Den Datensätzen, die für das Trainieren von Machine-Learning basierten Fact-Checking Systemen zur Verfügung stehen, fehlen qualitativ hochwertige Annotationen aus
realen Fact-Checking Fällen für alle Teilaufgaben in dem Fact-Checking Prozess. (ii) Viele der heutigen Fact-Checking Systeme basieren auf Wissensdatenbanken, die nur eine relativ geringe Anzahl von Fakten abdecken, und weil für solche Systeme
Sätze in natürlicher Sprache in formale Anfragen umgewandelt werden müssen, sind sie fehleranfällig. (iii) Moderne Machine-Learning basierte Systeme, die mittels Ende-zu-Ende Ansatz trainiert werden, können Text in natürlicher Sprache verarbeiten
und dadurch potenziell die große Menge an Information im Internet nutzen.
Diese Systeme sind aber intransparent und erreichen nicht die gewünschte Leistung. In der Tat ist Fact-Checking eine anspruchsvolle Aufgabe und moderne Machine-Learning basierte Systeme sind nicht ausgereift genug, um das Problem völlig ohne menschliche Unterstützung zu lösen. Um den identifizierten Herausforderungen zu begegnen, leisten wir in dieser Thesis die folgenden Beiträge:
(1) Wir erstellen ein neues Korpus, das auf der Snopes Fact-Checking Plattform basiert. Dieses Korpus beinhaltet reale Fact-Cheking Fälle, die mit qualitativ hochwertigen Annotationen für verschiedene Teilaufgaben innerhalb des Fact-Checking
Prozesses angereichert wurden. Des Weiteren veröffentlichen wir unseren Ansatz für den effizienten Aufbau von großen Datensätzen, die dafür geeignet sind, Modelle
für das automatisierte Fact-Checking zu trainieren.
(2) Um den Nachteilen heutiger Fact-Checking Systeme zu begegnen, stellen wir in dieser Thesis einen neuen Pipeline-Ansatz vor, der aus folgenden vier Komponenten besteht: Document Rertrieval, Stance Detection, Evidence Extraction, und Claim Validation. Weil heutige Machine-Learning basierte Systeme noch nicht ausgereift genug sind um das Fact-Checking Problem eigenständig zu lösen, ist unser Pipeline-Ansatz speziell dafür entwickelt worden, Fact-Checker bei ihrer Arbeit zu unterstützen und nicht etwa den gesamten Fact-Checking Prozess eigenständig
durchzuführen. Unser Pipeline-Ansatz ist dazu in der Lage, natürliche Sprache zu verarbeiten und dadurch die große Menge an Information in Textform aus dem Internet zu nutzen. Gleichzeitig ist unser System transparent, da die Ausgaben der
dazwischenliegenden Systeme in der Pipeline eingesehen werden können. Dadurch ist es möglich, einzelne Aufgaben in dem Fact-Checking Prozess zu automatisieren und gleichzeitig potenzielle Fehler zu erkennen und auf ihren Ursprung zurückzuführen.
(3) Um die Leistungsfähigkeit der Subkomponenten der Pipeline zu testen, evaluieren wir sie in mehreren hart umkämpften internationalen Wettbewerben. Die Stance Detection Komponente der Pipeline erreicht den zweiten Platz unter 50 konkurrierenden
Systemen in der Fake News Challenge.4 Die Dokument-Retrieval Komponente, die Evidence-Extraction Komponente, und die Claim-Validation Komponente werden in dem FEVER Shared Task evaluiert.5 Die ersten zwei Komponenten kombiniert erreichen den ersten Platz bei der FEVER Shared Task Sentence Ranking
Aufgabenstellung. Die Claim-Validation Komponente erreicht den dritten Platz in der FEVER Recognizing Textual Entailment Aufgabenstellung.
(4) Wir evaluieren unser Pipeline System, sowie andere leistungsfähige Modelle, die für das automatisierte Fact-Checking entwickelt worden sind, mit unserem neu erstellten Snopes Fact-Checking Korpus. Die Ergebnisse zeigen, dass, obwohl die
Systeme gute Ergebnisse an anderen Korpora erzielen, die Leistung der Systeme auf unserem Korpus relativ gering ausfällt. Unsere Analyse ergibt, dass die realistische Aufgabenstellung, definiert durch unser Korpus, deutlich schwieriger ist als diejenigen Fact-Checking Aufgabenstellungen, die durch die anderen Korpora definiert werden. Wir folgern daraus, dass weitere Forschung notwendig ist, um die Leistungsfähigkeit der automatisierten Systeme in realistischen Fact-Checking Szenarien zu erhöhen. | German |