TU Darmstadt / ULB / TUprints

Graph-based Approaches to Text Generation

Rodrigues Ribeiro, Leonardo Filipe (2022):
Graph-based Approaches to Text Generation. (Publisher's Version)
Darmstadt, Technische Universität,
DOI: 10.26083/tuprints-00021498,
[Ph.D. Thesis]

[img] Text
PhD_thesis_Leonardo_Ribeiro.pdf
Available under: CC-BY-SA 4.0 International - Creative Commons, Attribution ShareAlike.

Download (4MB)
Item Type: Ph.D. Thesis
Status: Publisher's Version
Title: Graph-based Approaches to Text Generation
Language: English
Abstract:

Deep Learning advances have enabled more fluent and flexible text generation. However, while these neural generative approaches were initially successful in tasks such as machine translation, they face problems – such as unfaithfulness to the source, repetition and incoherence – when applied to generation tasks where the input is structured data, such as graphs. Generating text from graph-based data, including Abstract Meaning Representation (AMR) or Knowledge Graphs (KG), is a challenging task due to the inherent difficulty of properly encoding the input graph while maintaining its original semantic structure. Previous work requires linearizing the input graph, which makes it complicated to properly capture the graph structure since the linearized representation weakens structural information by diluting the explicit connectivity, particularly when the graph structure is complex.

This thesis makes an attempt to tackle these issues focusing on two major challenges: first, the creation and improvement of neural text generation systems that can better operate when consuming graph-based input data. Second, we examine text-to-text pretrained language models for graph-to-text generation, including multilingual generation, and present possible methods to adapt these models pretrained on natural language to graph-structured data.

In the first part of this thesis, we investigate how to directly exploit graph structures for text generation. We develop novel graph-to-text methods with the capability of incorporating the input graph structure into the learned representations, enhancing the quality of the generated text. For AMR-to-text generation, we present a dual encoder, which incorporates different graph neural network methods, to capture complementary perspectives of the AMR graph. Next, we propose a new KG-to-text framework that learns richer contextualized node embeddings, combining global and local node contexts. We thus introduce a parameter-efficient mechanism for inserting the node connections into the Transformer architecture operating with shortest path lengths between nodes, showing strong performance while using considerably fewer parameters.

The second part of this thesis focuses on pretrained language models for text generation from graph-based input data. We first examine how encoder-decoder text-to-text pretrained language models perform in various graph-to-text tasks and propose different task-adaptive pretraining strategies for improving their downstream performance. We then propose a novel structure-aware adapter method that allows to directly inject the input graph structure into pretrained models, without updating their parameters and reducing their reliance on specific representations of the graph structure. Finally, we investigate multilingual text generation from AMR structures, developing approaches that can operate in languages beyond English.

Alternative Abstract:
Alternative AbstractLanguage

Die Fortschritte im Deep Learning haben eine flüssigere und flexiblere Textgenerierung ermöglicht. Während diese neuronalen generativen Ansätze zunächst bei Aufgaben wie der maschinellen Übersetzung erfolgreich waren, stoßen sie jedoch auf Probleme – wie Ungenauigkeit gegenüber der Quelle, Wiederholung und Inkohärenz –, wenn sie auf Generierungsaufgaben angewendet werden, bei denen die Eingabe strukturierte Daten wie etwa Graphen sind. Das Generieren von Text aus graphbasierten Daten, zum Beispiel Abstract Meaning Representation (AMR) oder Knowledge Graphs (KG), ist eine anspruchsvolle Aufgabe, da es schwierig ist, den Eingabegraphen korrekt zu kodieren und gleichzeitig seine ursprüngliche semantische Struktur beizubehalten. Bisherige Arbeiten erfordern eine Linearisierung des Eingabegraphen, wodurch es kompliziert wird, die Graphstruktur richtig zu erfassen, da die linearisierte Darstellung strukturelle Informationen schwächt, indem sie die explizite Konnektivität verliert, insbesondere wenn die Graphstruktur komplex ist. Diese Dissertation unternimmt einen Versuch, diese Probleme anzugehen, wobei sie sich auf zwei große Herausforderungen konzentriert: Erstens, die Erforschung und Verbesserung von neuronalen Textgenerierungssystemen, die besser mit graphbasierten Eingabedaten umgehen können. Zweitens untersuchen wir vortrainierte Text-zu-Text-Sprachmodelle für die Graph-zu-Text-Generierung, einschließlich der mehrsprachigen Generierung, und stellen Methoden vor, um diese Modelle, die in natürlicher Sprache vortrainiert wurden, an graphstrukturierte Daten anzupassen. Im ersten Teil dieser Arbeit untersuchen wir, wie Graphstrukturen direkt für die Textgenerierung genutzt werden können. Wir entwickeln neuartige Graph-to-Text-Methoden mit der Fähigkeit, die eingegebene Graphstruktur in die erlernten Repräsentationen zu integrieren und so die Qualität des generierten Textes zu verbessern. Für die AMR-zu-Text-Generierung stellen wir einen dualen Encoder vor, der verschiedene graphbasierte neuronale Netze enthält, um komplementäre Perspektiven des AMR-Graphen zu erfassen. Weiterhin schlagen wir ein neues KG-zu-Text-Framework vor, das umfangreichere kontextualisierte Knoteneinbettungen lernt und dadurch den globalen und lokalen Knotenkontext kombiniert. Wir fügen dazu einen parametereffizienten Mechanismus zum Einfügen der Knotenverbindungen in die Transformer-Architektur ein, der mit kürzesten Pfadlängen zwischen den Knoten arbeitet und eine verbesserte Performanz zeigt, während er erheblich weniger Parameter verwendet. Der zweite Teil dieser Arbeit konzentriert sich auf vortrainierte Sprachmodelle zur Textgenerierung aus graphbasierten Eingabedaten. Wir untersuchen zunächst, wie Encoder-Decoder-Text-zu-Text-vortrainierte Sprachmodelle in verschiedenen Graph-zu-Text-Aufgaben funktionieren, und schlagen verschiedene aufgabenadaptive Strategien für das Vortrainieren vor, um deren Downstream-Leistung zu verbessern. Wir präsentieren eine neuartige strukturbewusste Adaptermethode, die es ermöglicht, die Eingabegraphenstruktur direkt in vortrainierte Modelle einzufügen, ohne ihre Parameter zu aktualisieren und ihre Abhängigkeit von bestimmten Darstellungen der Graphenstruktur zu reduzieren. Schließlich untersuchen wir die mehrsprachige Textgenerierung aus AMR-Strukturen und entwickeln Ansätze, die in anderen Sprachen neben dem Englischen funktionieren können.

German
Place of Publication: Darmstadt
Collation: xii, 139 Seiten
Classification DDC: 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
Divisions: 20 Department of Computer Science > Ubiquitous Knowledge Processing
Date Deposited: 30 Jun 2022 13:39
Last Modified: 30 Jun 2022 13:40
DOI: 10.26083/tuprints-00021498
URN: urn:nbn:de:tuda-tuprints-214985
Referees: Gurevych, Prof. Dr. Iryna ; Claire, Dr. Gardent ; Yue, Prof. Dr. Zhang
Date of oral examination: 2 June 2022
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/21498
PPN:
Export:
Actions (login required)
View Item View Item