TU Darmstadt / ULB / TUprints

Transfer Learning for Conceptual Metaphor Generation

Beck, Nils Peer (2021):
Transfer Learning for Conceptual Metaphor Generation. (Publisher's Version)
Darmstadt, Technische Universität Darmstadt, DOI: 10.26083/tuprints-00019359,
[Bachelor Thesis]

[img]
Preview
Text
thesis_final.pdf
Available under CC BY 4.0 International - Creative Commons, Attribution.

Download (1MB) | Preview
Item Type: Bachelor Thesis
Status: Publisher's Version
Title: Transfer Learning for Conceptual Metaphor Generation
Language: English
Abstract:

Metaphor can be understood as a linguistic phenomenon in which concepts from one domain – for instance, Money – behave the way concepts from a different domain – for instance, Liquid – usually do. “She drained her bank account” constitutes an example of a metaphorical expression, according to Conceptual Metaphor Theory. In this thesis, we address the task of metaphor generation, i.e., paraphrasing an input text into a metaphorical output text. First, we build a novel data set of more than 300,000 metaphorical sentence pairs, anchored in MetaNet and FrameNet, two lexical databases. Then, we fine-tune T5, a large pre-trained English language model, on metaphor generation in two different set-ups: Free metaphor generation, where the language model is expected to implicitly understand how to transform the input text, and controlled metaphor generation, where the language model is explicitly told what kind of metaphor to generate. We compare our fine-tuned models to related work in the field of metaphor generation, reporting promising results. While no clear favorite emerges along all evaluation criteria, our models perform particularly well on unseen metaphors. We also show that our free generation model produces more fluent and semantically similar text, while our controlled model produces more metaphorical text, suggesting differing use cases for both models. We make our code, our data set, and our fine-tuned models publicly available for further research.

Alternative Abstract:
Alternative AbstractLanguage

Man kann Metaphern als linguistische Phänomene verstehen, bei denen sich Konzepte aus einer Domäne – z.B. Geld – so verhalten, wie es Konzepte aus einer anderen Domäne – z. B. Flüssigkeit – normalerweise tun. “Ihr Konto wurde eingefroren” ist im Sinne von “Conceptual Metaphor Theory” ein Beispiel für einen metaphorischen Ausdruck. In dieser Arbeit befassen wir uns mit dem maschinellen Erzeugen von Metaphern, bei dem ein Eingabetext in einen metaphorischen Ausgabetext umgeformt wird. Zunächst erstellen wir einen neuartigen Datensatz, bestehend aus mehr als 300.000 metaphorischen Satz- paaren. Dieser Datensatz baut auf zwei lexikalischen Datenbanken der englischen Sprache auf: MetaNet und FrameNet. Anschließend trainieren wir T5, ein umfangreiches vortrainiertes englisches Sprachmodell, in zwei verschiedenen Versuchsaufbauten zur maschinellen Erzeugung von Metaphern: Zum einen trainieren wir ein Sprachmodell zur freien Erzeugung von Metaphern, d.h., dass wir vom Sprachmodell erwarten, dass es implizit versteht, wie es den Eingabetext umformen soll. Zum anderen trainieren wir die kontrollierte Erzeugung von Metaphern, bei der wir dem Sprachmodell explizit mitteilen, welche Art von Metapher es erzeugen soll. Wir vergleichen unsere beiden Sprachodelle mit verwandten Arbeiten auf dem Gebiet der maschinellen Erzeugung von Metaphern. Wir berichten über vielversprechende Ergebnisse in beiden Versuchsaufbauten. Zwar nimmt kein Modell entlang aller Evaluierungskriterien den ersten Platz ein, doch unsere Modelle erzeugen besonders gut neuartige Metaphern. Zudem erzeugt unser freies Modell Sätze mit besserem Textfluss, die einander semantisch ähnlicher sind, während das kontrollierte Modell metaphorischere Sätze erzeugt. Es bestehen also je nach Modell verschieden Anwendungsszenarien. Unseren Code, den neuartigen Datensatz, sowie unsere trainierten Sprachmodelle stellen wir für weitere Forschung öffentlich zur Verfügung.

German
Place of Publication: Darmstadt
Collation: 43 Seiten
Classification DDC: 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
400 Sprache > 400 Sprache, Linguistik
Divisions: 20 Department of Computer Science > Ubiquitous Knowledge Processing
Date Deposited: 10 Sep 2021 12:21
Last Modified: 10 Sep 2021 12:21
DOI: 10.26083/tuprints-00019359
URN: urn:nbn:de:tuda-tuprints-193599
Refereed: 6 July 2021
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/19359
Export:
Actions (login required)
View Item View Item