Transfer Learning for Conceptual Metaphor Generation

Metaphor can be understood as a linguistic phenomenon in which concepts from one domain – for instance, Money – behave the way concepts from a different domain – for instance, Liquid – usually do. “She drained her bank account” constitutes an example of a metaphorical expression, according to Conceptual Metaphor Theory. In this thesis, we address the task of metaphor generation, i.e., paraphrasing an input text into a metaphorical output text. First, we build a novel data set of more than 300,000 metaphorical sentence pairs, anchored in MetaNet and FrameNet, two lexical databases. Then, we fine-tune T5, a large pre-trained English language model, on metaphor generation in two different set-ups: Free metaphor generation, where the language model is expected to implicitly understand how to transform the input text, and controlled metaphor generation, where the language model is explicitly told what kind of metaphor to generate. We compare our fine-tuned models to related work in the field of metaphor generation, reporting promising results. While no clear favorite emerges along all evaluation criteria, our models perform particularly well on unseen metaphors. We also show that our free generation model produces more fluent and semantically similar text, while our controlled model produces more metaphorical text, suggesting differing use cases for both models. We make our code, our data set, and our fine-tuned models publicly available for further research.

Man kann Metaphern als linguistische Phänomene verstehen, bei denen sich Konzepte aus einer Domäne – z.B. Geld – so verhalten, wie es Konzepte aus einer anderen Domäne – z. B. Flüssigkeit – normalerweise tun. “Ihr Konto wurde eingefroren” ist im Sinne von “Conceptual Metaphor Theory” ein Beispiel für einen metaphorischen Ausdruck. In dieser Arbeit befassen wir uns mit dem maschinellen Erzeugen von Metaphern, bei dem ein Eingabetext in einen metaphorischen Ausgabetext umgeformt wird. Zunächst erstellen wir einen neuartigen Datensatz, bestehend aus mehr als 300.000 metaphorischen Satz- paaren. Dieser Datensatz baut auf zwei lexikalischen Datenbanken der englischen Sprache auf: MetaNet und FrameNet. Anschließend trainieren wir T5, ein umfangreiches vortrainiertes englisches Sprachmodell, in zwei verschiedenen Versuchsaufbauten zur maschinellen Erzeugung von Metaphern: Zum einen trainieren wir ein Sprachmodell zur freien Erzeugung von Metaphern, d.h., dass wir vom Sprachmodell erwarten, dass es implizit versteht, wie es den Eingabetext umformen soll. Zum anderen trainieren wir die kontrollierte Erzeugung von Metaphern, bei der wir dem Sprachmodell explizit mitteilen, welche Art von Metapher es erzeugen soll. Wir vergleichen unsere beiden Sprachodelle mit verwandten Arbeiten auf dem Gebiet der maschinellen Erzeugung von Metaphern. Wir berichten über vielversprechende Ergebnisse in beiden Versuchsaufbauten. Zwar nimmt kein Modell entlang aller Evaluierungskriterien den ersten Platz ein, doch unsere Modelle erzeugen besonders gut neuartige Metaphern. Zudem erzeugt unser freies Modell Sätze mit besserem Textfluss, die einander semantisch ähnlicher sind, während das kontrollierte Modell metaphorischere Sätze erzeugt. Es bestehen also je nach Modell verschieden Anwendungsszenarien. Unseren Code, den neuartigen Datensatz, sowie unsere trainierten Sprachmodelle stellen wir für weitere Forschung öffentlich zur Verfügung.