Jüngste Fortschritte bei neuronalen Netzwerkarchitekturen und dem Vortraining von Sprachmodellen in großem Maßstab haben es NLU-Systemen (Natural Language Understanding) ermöglicht, bei verschiedenen Benchmark-Datensätzen die menschliche Leistung zu übertreffen. Eine Vielzahl von Arbeiten hat jedoch gezeigt, dass NLU-Modelle gegenüber Beispielen außerhalb der Trainingsdatenverteilung anfällig sind, was folglich ihre praktische Anwendung einschränkt. Diese Sprödigkeit wird hauptsächlich auf Modelle zurückgeführt, die falsche Korrelationen im Trainingsdatensatz ausnutzen. Das heißt, Modelle lernen, Hinweise oder Verknüpfungen anstelle robuster Funktionen zu verwenden, die repräsentativ für die zugrunde liegende Aufgabe sind.

In dieser Dissertation stellen wir mehrere Methoden vor, um den Effekt der falschen Korrelation auf die resultierenden NLU-Modelle zu mildern. Wir versuchen, die Robustheit gegenüber Störkorrelationen aus mehreren Richtungen zu verbessern. Zunächst befassen wir uns mit den Problemen bei Modellierungsmethoden, die NLU-Modelle „verzerren“, indem sie die Anreize zum Erlernen nicht robuster Funktionen verringern. Wir führen eine Regularisierungsmethode ein, die das vorhandene Wissen über die Eigenschaften von Störmerkmalen nutzt, um die Verallgemeinerung außerhalb der Verteilung zu verbessern, ohne die ursprüngliche Leistung bei der Standardbewertung zu beeinträchtigen. Wir schlagen außerdem eine Strategie vor, um die Wirksamkeit der Debiasing-Methoden aufrechtzuerhalten, wenn das erforderliche Vorwissen nicht verfügbar ist. Konkret führen wir ein Framework zur Selbstentzerrung ein, das die Identifizierung potenziell voreingenommener Beispiele ermöglicht, für deren Nutzung die Modelle keinen Anreiz haben sollten. Als nächstes betrachten wir auch die inhärente Robustheit, die Sprachmodelle während des Vortrainings an großen Textkorpora erwerben. Wir zeigen, wie eine aufgabenspezifische Feinabstimmung diese Robustheit zerstören kann und schlagen einen neuartigen Regularisierungsansatz vor, um die Verschlechterung zu mildern. Abschließend befassen wir uns mit der Frage der Datenerweiterungsansätze, die darauf abzielen, die robuste Leistung von NLU-Modellen gegenüber nachgelagerten Anwendungsaufgaben zu verbessern. Wir stellen eine Methode vor, um automatisch vielfältige und naturalistische Beispiele zu generieren, aus denen Modelle die Aufgabe zuverlässig lernen können.

In allen Aufgabenstellungen, die wir in dieser Arbeit vorstellen, werden Modelle anhand von Beispielen außerhalb der Verteilung bewertet, die darauf abzielen, die Abhängigkeit von falschen Korrelationen zu bestrafen. Wir messen die Verbesserung der Robustheit, indem wir die Leistungssteigerung an diesen Beispielen zeigen, ohne die Verschlechterung der bestehenden Standardbewertung. Insgesamt zeigt die Arbeit in dieser Arbeit, dass wir mit verbesserter Modellierung und Erweiterung immer noch robuste NLU-Modelle erhalten können, obwohl in den vorhandenen Trainingsressourcen falsche Korrelationen vorhanden sind.