TU Darmstadt / ULB / TUprints

Transfer Learning for Conceptual Metaphor Generation

Beck, Nils Peer (2021)
Transfer Learning for Conceptual Metaphor Generation.
Technische Universität Darmstadt
doi: 10.26083/tuprints-00019359
Bachelor Thesis, Primary publication, Publisher's Version

[img]
Preview
Text
thesis_final.pdf
Copyright Information: CC BY 4.0 International - Creative Commons, Attribution.

Download (1MB) | Preview
Item Type: Bachelor Thesis
Type of entry: Primary publication
Title: Transfer Learning for Conceptual Metaphor Generation
Language: English
Date: 2021
Place of Publication: Darmstadt
Collation: 43 Seiten
Date of oral examination: 6 July 2021
DOI: 10.26083/tuprints-00019359
Abstract:

Metaphor can be understood as a linguistic phenomenon in which concepts from one domain – for instance, Money – behave the way concepts from a different domain – for instance, Liquid – usually do. “She drained her bank account” constitutes an example of a metaphorical expression, according to Conceptual Metaphor Theory. In this thesis, we address the task of metaphor generation, i.e., paraphrasing an input text into a metaphorical output text. First, we build a novel data set of more than 300,000 metaphorical sentence pairs, anchored in MetaNet and FrameNet, two lexical databases. Then, we fine-tune T5, a large pre-trained English language model, on metaphor generation in two different set-ups: Free metaphor generation, where the language model is expected to implicitly understand how to transform the input text, and controlled metaphor generation, where the language model is explicitly told what kind of metaphor to generate. We compare our fine-tuned models to related work in the field of metaphor generation, reporting promising results. While no clear favorite emerges along all evaluation criteria, our models perform particularly well on unseen metaphors. We also show that our free generation model produces more fluent and semantically similar text, while our controlled model produces more metaphorical text, suggesting differing use cases for both models. We make our code, our data set, and our fine-tuned models publicly available for further research.

Alternative Abstract:
Alternative AbstractLanguage

Man kann Metaphern als linguistische Phänomene verstehen, bei denen sich Konzepte aus einer Domäne – z.B. Geld – so verhalten, wie es Konzepte aus einer anderen Domäne – z. B. Flüssigkeit – normalerweise tun. “Ihr Konto wurde eingefroren” ist im Sinne von “Conceptual Metaphor Theory” ein Beispiel für einen metaphorischen Ausdruck. In dieser Arbeit befassen wir uns mit dem maschinellen Erzeugen von Metaphern, bei dem ein Eingabetext in einen metaphorischen Ausgabetext umgeformt wird. Zunächst erstellen wir einen neuartigen Datensatz, bestehend aus mehr als 300.000 metaphorischen Satz- paaren. Dieser Datensatz baut auf zwei lexikalischen Datenbanken der englischen Sprache auf: MetaNet und FrameNet. Anschließend trainieren wir T5, ein umfangreiches vortrainiertes englisches Sprachmodell, in zwei verschiedenen Versuchsaufbauten zur maschinellen Erzeugung von Metaphern: Zum einen trainieren wir ein Sprachmodell zur freien Erzeugung von Metaphern, d.h., dass wir vom Sprachmodell erwarten, dass es implizit versteht, wie es den Eingabetext umformen soll. Zum anderen trainieren wir die kontrollierte Erzeugung von Metaphern, bei der wir dem Sprachmodell explizit mitteilen, welche Art von Metapher es erzeugen soll. Wir vergleichen unsere beiden Sprachodelle mit verwandten Arbeiten auf dem Gebiet der maschinellen Erzeugung von Metaphern. Wir berichten über vielversprechende Ergebnisse in beiden Versuchsaufbauten. Zwar nimmt kein Modell entlang aller Evaluierungskriterien den ersten Platz ein, doch unsere Modelle erzeugen besonders gut neuartige Metaphern. Zudem erzeugt unser freies Modell Sätze mit besserem Textfluss, die einander semantisch ähnlicher sind, während das kontrollierte Modell metaphorischere Sätze erzeugt. Es bestehen also je nach Modell verschieden Anwendungsszenarien. Unseren Code, den neuartigen Datensatz, sowie unsere trainierten Sprachmodelle stellen wir für weitere Forschung öffentlich zur Verfügung.

German
Status: Publisher's Version
URN: urn:nbn:de:tuda-tuprints-193599
Classification DDC: 000 Generalities, computers, information > 004 Computer science
400 Language > 400 Language, linguistics
Divisions: 20 Department of Computer Science > Ubiquitous Knowledge Processing
Date Deposited: 10 Sep 2021 12:21
Last Modified: 15 Feb 2023 10:57
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/19359
PPN: 485587912
Export:
Actions (login required)
View Item View Item