TU Darmstadt / ULB / TUprints

Knowledge Graphs and Graph Neural Networks for Semantic Parsing

Sorokin, Daniil (2021):
Knowledge Graphs and Graph Neural Networks for Semantic Parsing. (Publisher's Version)
Darmstadt, Technische Universität,
DOI: 10.26083/tuprints-00019187,
[Ph.D. Thesis]

[img]
Preview
Text
Daniil-Sorokin-Knowledge-Graphs-and-Graph-Neural-Networks-for-Semantic-Parsing.pdf
Available under: CC-BY-SA 4.0 International - Creative Commons, Attribution ShareAlike.

Download (2MB) | Preview
Item Type: Ph.D. Thesis
Status: Publisher's Version
Title: Knowledge Graphs and Graph Neural Networks for Semantic Parsing
Language: English
Abstract:

Human communication is inevitably grounded in the real world. Existing work on natural language processing uses structured knowledge bases to ground language expressions. The process of linking entities and relations in a text to world knowledge and composing them into a single coherent structure constitutes a semantic parsing problem. The output of a semantic parser is a grounded semantic representation of a text, which can be universally used for downstream applications, such as fact checking or question answering.

This dissertation is concerned with improving the accuracy of grounding methods and with incorporating the grounding of individual elements and the construction of the full structured representation into one unified method. We present three main contributions: - we develop new methods to link texts to a knowledge base that integrate context information; - we introduce Graph Neural Networks for encoding structured semantic representations; - we explore generalization potential of the developed knowledge-based methods and apply them on natural language understanding tasks.

For our first contribution, we investigate two tasks that focus on linking elements of a text to external knowledge: relation extraction and entity linking. Relation extraction identifies relations in a text and classifies them into one of the types in a knowledge base schema. Traditionally, relations in a sentence are processed one-by-one. Instead, we propose an approach that considers multiple relations simultaneously and improves upon the previous work. The goal of entity linking is to find and disambiguate entity mentions in a text. A knowledge base contains millions of world entities, which span different categories from common concepts to famous people and place names. We present a new architecture for entity linking that is effective across diverse entity categories.

Our second contribution is centered on a grounded semantic parser. Previous semantic parsing methods grounded individual elements in isolation and composed them later into a complete semantic representation. Such approaches struggle with semantic representations that include multiple grounded elements, world entities and semantic relations. We integrate the grounding step and the construction of a full semantic representation into a single architecture. To encode semantic representations, we adapt Gated Graph Neural Networks for this task for the first time. Our semantic parsing methods are less prone to error propagation and are more robust for constructing semantic representations with multiple relations. We prove the efficiency of our grounded semantic parser empirically on the challenging open-domain question answering task.

In our third contribution, we cover the extrinsic evaluation of the developed methods on three applications: argumentative reasoning, fact verification and text comprehension. We show that our methods can be successfully transferred to other tasks and datasets that they were not trained on.

Alternative Abstract:
Alternative AbstractLanguage

Die menschliche Kommunikation ist unmittelbar in der realen Welt verankert. Bestehende Methoden zur Verarbeitung natürlicher Sprachen verwenden strukturierte Wissensdatenbanken, um sprachliche Ausdrücke zu verankern. Die Aufgabe des semantischen Parsing besteht darin, Entitäten und Relationen in einem Text mit dem Weltwissen zu verknüpfen, das in einer Wissensdatenbank kodiert ist. Als Output generiert ein semantischer Parser eine universelle semantische Textrepräsentation, die für Aufgaben wie Faktencheck oder Beantwortung von Fragen eingesetzt werden kann.

In dieser Dissertation wird untersucht, wie man die Genauigkeit des semantischen Parsers verbessert, indem man einzelne Textelemente mit dem Weltwissen verknüpft und strukturierte semantische Repräsentationen in einer einheitlichen Architektur konstruiert. Wir präsentieren drei Hauptbeiträge: - Wir entwickeln neue kontextsensitive Methoden, um Texte mit der Wissensdatenbank zu verlinken. - Wir führen Graph Neural Networks zum Codieren strukturierter semantischen Repräsentationen ein. - Wir untersuchen das Generalisierungspotential der entwickelten wissensbasierten Methoden und wenden sie auf Aufgaben an, die ein tiefes Sprachverständnis verlangen.

In unserem ersten Beitrag untersuchen wir zwei Aufgaben, die sich auf die Verknüpfung von Textelementen mit externem Wissen konzentrieren: Relationsextraktion und Entitätsverknüpfung. Die Relationsextraktion identifiziert Relationen in einem Text und ordnet sie einem der Typen des Wissensdatenbankschemas zu. Traditionell werden Relationen in einem Satz einzeln verarbeitet. Stattdessen schlagen wir einen neuen Ansatz vor, der mehrere Relationen gleichzeitig berücksichtigt. Unser System liefert bessere Ergebnisse als existierende Ansätze. Das Ziel der Entitätsverknüpfung besteht darin, Entitätserwähnungen in einem Text zu finden und zu disambiguieren. Eine Wissensdatenbank enthält Millionen von Entitäten, die verschiedene Kategorien von Ortsnamen bis hin zu berühmten Personen umfassen. Wir präsentieren eine neue Architektur für die Entitätsverknüpfung, die über verschiedene Entitätskategorien hinweg wirksam ist.

Unser zweiter Beitrag konzentriert sich auf einen semantischen Parser, der eine mit der Wissensdatenbank verknüpfte semantische Repräsentation eines Textes produziert. Frühere Methoden haben einzelne Textelemente (Entitäten und Relationen) isoliert verlinkt und sie erst später zu einer vollständigen semantischen Repräsentation zusammengesetzt. Solche Ansätze schneiden jedoch schlecht ab, wenn eine semantische Repräsentation mehrere Entitäten und Relationen enthält. Wir integrieren den Verknüpfungsschritt und die Konstruktion einer semantischen Repräsentation in eine gemeinsame Architektur. Um semantische Repräsentationen zu codieren, setzen wir zum ersten Mal Gated Graph Neural Networks für diese Aufgabe ein. Unsere Parsing-Methoden sind weniger anfällig für Fehlerfortpflanzung und robuster für die Erstellung semantischer Repräsentationen mit mehreren Beziehungen. Wir beweisen die Effizienz unseres semantischen Parsers empirisch anhand eines Datensatzes zur Fragenbeantwortung.

In unserem dritten Beitrag behandeln wir die extrinsische Evaluation der entwickelten Methoden an drei Aufgaben: argumentatives Reasoning, Faktencheck und Text Comprehension. Wir zeigen, dass unsere Methoden erfolgreich auf andere Aufgaben und Datensätze übertragen werden können, für die sie nicht trainiert wurden.

German
Place of Publication: Darmstadt
Collation: xii, 212 Seiten
Classification DDC: 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
Divisions: 20 Department of Computer Science > Ubiquitous Knowledge Processing
Date Deposited: 02 Dec 2021 13:07
Last Modified: 02 Dec 2021 13:07
DOI: 10.26083/tuprints-00019187
URN: urn:nbn:de:tuda-tuprints-191875
Referees: Gurevych, Prof. Dr. Iryna ; Kersting, Prof. Dr. Kristian ; Roth, Prof. Dan
Date of oral examination: 10 June 2021
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/19187
Export:
Actions (login required)
View Item View Item