In den letzten Jahrzehnten hat sich die automatische Sprachverarbeitung von einem Nischenforschungsbereich zu einer dynamischen und vielschichtigen Disziplin entwickelt, die Tausende von Forschungsbeiträgen aus Akademie und Industrie anzieht und in praktische Anwendungen einfließt. Trotz der aktuellen Erfolge haben die Sprachverarbeitungsmodelle nach wie vor Schwierigkeiten bei der Generalisierung, leiden unter systematischen Fehlern und mangelnder Transparenz. Mit dem Ziel, besser zu verstehen, wie und warum moderne NLP-Systeme ihre Vorhersagen für komplexe Endaufgaben machen, versucht der Forschungsbereich Probing, das Verhalten von NLP-Modellen anhand grundlegender Probing-Tasks zu interpretieren. Linguistische Korpora sind eine ideale Quelle für solche Aufgaben, und linguistische Phänomene wie Wortarten, Syntax und Rollensemantik werden häufig in Probing-Studien verwendet.

Das Ziel des Probings ist es, herauszufinden, welche Informationen leicht aus einem vortrainierten NLP-Modell oder einer Repräsentation extrahiert werden können. Um sicherzustellen, dass die Informationen aus dem NLP-Modell extrahiert und nicht während der Probing-Studie selbst erlernt werden, werden Probing-Modelle so einfach und transparent wie möglich gehalten, wodurch konzeptionelle Inkonsistenzen zwischen NLP-Modellen und linguistischen Ressourcen deutlich werden und verstärkt werden. In dieser Dissertation wird untersucht, wie die linguistische Konzeptualisierung die Probing-Modelle, Setups und Ergebnisse beeinflussen kann.

In Kapitel 2 untersuchen wir die Lücke zwischen den Zielen klassischer Type-Level-Worteinbettungsmodelle wie word2vec und den Elementen lexikalischer Ressourcen und Ähnlichkeits-Benchmarks. Wir zeigen, dass die fehlende konzeptionelle Übereinstimmung zwischen den Worteinbettungsvokabularen und den lexikalischen Ressourcen die Worteinbettungsmodelle sowohl in Benchmark-basierten als auch in unserem neuartigen ressourcenbasierten Evaluationsszenario benachteiligt. Wir zeigen, dass einfache Vorverarbeitungstechniken wie Lemmatisierung und POS-Tagging das Problem teilweise entschärfen können, was zu einer besseren Übereinstimmung zwischen Worteinbettungen und Lexika führt.

In der Linguistik gibt es oft mehr als eine Art, ein bestimmtes Phänomen zu beschreiben. In Kapitel 3 führen wir eine ausführliche Studie über die Auswirkungen des linguistischen Formalismus auf das Sondieren moderner vortrainierter kontextualisierter Encoder wie BERT durch. Wir verwenden die Rollensemantik als hervorragendes Beispiel für ein datenreiches Multi-Framework-Phänomen. Wir zeigen, dass die Wahl des linguistischen Formalismus die Ergebnisse von Sondierungsstudien beeinflussen kann, und liefern zusätzliche Erkenntnisse über den Einfluss von Datensatzgröße, Domäne und Aufgabenarchitektur auf das Probing.

Abgesehen von der Wahl der Bezeichnungen unterscheiden sich linguistische Theorien auch in der Art und Weise, wie die Aufgabe konzeptualisiert wird. Während das Mainstream-NLP semantische Rollen als ein kategoriales Phänomen behandelt hat, eröffnet eine alternative, auf Prominenz basierende Sichtweise neue Möglichkeiten für das Probing. In Kapitel 4 untersuchen wir prominenzbasierte Probe-Modelle für Rollensemantik, einschließlich semantischer Proto-Rollen und unserer neuen regressionsbasierten Rollen-Probe. Unsere Ergebnisse deuten darauf hin, dass vortrainierte Sprachmodelle wie BERT die Argumentprominenz kodieren können. Schließlich schlagen wir eine Operationalisierung der thematischen Rollenhierarchie vor - ein weit verbreitetes linguistisches Instrument zur Beschreibung des syntaktischen Verhaltens von Verben - und zeigen, dass thematische Rollenhierarchien aus Textkorpora extrahiert und sprachübergreifend übertragen werden können.

Die Ergebnisse unserer Arbeit zeigen, wie wichtig die linguistische Konzeptualisierung für Probingstudien ist, und verdeutlichen die Gefahren und Möglichkeiten, die mit der Verwendung der Linguistik als Metasprache für die Interpretation von NLP-Modellen verbunden sind.