Transferlernen ist in letzter Zeit zum vorherrschenden Paradigma der Verarbeitung natürlicher Sprache geworden. Modelle, die mit unbeschrifteten Daten trainiert wurden, können auf der Grundlage von nur einer Handvoll Beispiele für die nachfolgenden Aufgaben feinabgestimmt werden. Ein langfristiges Ziel ist es, Modelle zu entwickeln, die neue Informationen in großem Umfang erwerben, ohne dass es zu einem negativen Transfer kommt, und die sich systematisch auf neue Situationen verallgemeinern. Modulares Deep Learning hat sich als vielversprechende Lösung für diese Herausforderungen herauskristallisiert, indem parameter-effiziente Berechnungseinheiten lokal und asynchron aktualisiert werden. Diese Einheiten werden häufig als Module implementiert, die zwischen den Ebenen eingefügt, mit vortrainierten Parametern interpoliert oder mit den Eingaben verkettet werden. In Abhängigkeit von Aufgaben oder Beispielen werden Informationen über eine festgelegte oder gelernte Funktion an mehrere Module weitergeleitet, gefolgt von einer Aggregation ihrer Ausgaben. Diese Eigenschaft ermöglicht eine kompositorische Generalisierung, bei der das Wissen entwirrt und auf neue Weise kombiniert wird.

In dieser Arbeit bieten wir eine einheitliche Sichtweise der Modularität in der Verarbeitung natürlicher Sprache, die sich über vier Dimensionen erstreckt; insbesondere unterteilen wir die Modularität in Berechnungsfunktionen, Routingfunktionen, Aggregationsfunktionen und die Trainingsumgebung. Entlang dieser Achsen schlagen wir mehrere Beiträge vor: einen Forschungsrahmen, der alle Dimensionen umfasst; eine neuartige, aufmerksamkeitsbasierte Aggregationsfunktion, die das in verschiedenen Modulen gespeicherte Wissen kombiniert; Routing-Mechanismen für die Generalisierung außerhalb der Verteilung in sprachübergreifenden Transferszenarien; einen Datensatz und modulare Trainingsstrategien für multimodales und mehrsprachiges Transferlernen; eine modulare Pre-Training-Strategie, um katastrophale Interferenzen heterogener Daten zu bewältigen.