Die Verarbeitung natürlicher Sprache befasst sich mit der Fähigkeit von Computern, Texte in natürlicher Sprache zu verstehen, was wohl einer der größten Engpässe bei der Jagd nach dem heiligen Gral der allgemeinen künstlichen Intelligenz ist. Angesichts des beispiellosen Erfolgs der Deep-Learning-Technologie hat sich die Gemeinschaft der Verarbeitung natürlicher Sprache fast ausschließlich für praktische Anwendungen ausgesprochen, wobei hochmoderne Systeme entstehen und in einem immer schnelleren Tempo um menschenähnliche Leistung konkurrieren. Aus diesem Grund faszinieren faire und angemessene Bewertungen und Vergleiche, die für vertrauenswürdige, reproduzierbare und unvoreingenommene Ergebnisse sorgen, die wissenschaftliche Gemeinschaft seit langem, nicht nur in der natürlichen Sprache, sondern auch in anderen Bereichen. Ein beliebtes Beispiel ist der Bewertungsstandard ISO-9126 für Softwareprodukte, der eine breite Palette von Bewertungsaspekten wie Kosten, Zuverlässigkeit, Skalierbarkeit, Sicherheit usw. umreißt. Das europäische Projekt EAGLES-1996, das die gefeierte Erweiterung von ISO-9126 darstellt, stellte die grundlegenden Prinzipien speziell für die Bewertung von Technologien natürlicher Sprache dar, die nachfolgende Methoden zur Bewertung natürlicher Sprache untermauern.

Die Verarbeitung natürlicher Sprache umfasst eine enorme Bandbreite von Anwendungen, jede mit ihren eigenen Bewertungsanliegen, -kriterien und -maßen. Diese Dissertation erhebt keinen Anspruch auf Vollständigkeit, befasst sich aber insbesondere mit der Evaluation in der Generierung natürlicher Sprache (NLG), die wohl eine der menschenähnlichsten Anwendungen natürlicher Sprache berührt. In diesem Zusammenhang legt die Forschung zur Quantifizierung des täglichen Fortschritts mit Bewertungsmetriken den Grundstein für die schnell wachsende NLG-Community. Frühere Arbeiten haben es jedoch versäumt, qualitativ hochwertige Metriken in mehreren Szenarien zu behandeln, z. B. bei der Bewertung langer Texte und wenn keine menschlichen Referenzen verfügbar sind, und vor allem sind diese Studien in ihrem Umfang begrenzt, da eine ganzheitliche Sichtweise fehlt, die auf Prinzipien basiert NLG-Bewertung.

In dieser Arbeit streben wir eine ganzheitliche Betrachtung der NLG-Bewertung aus drei komplementären Perspektiven an, die von den Bewertungsprinzipien in EAGLES-1996 angetrieben werden: (i) qualitativ hochwertige Bewertungsmetriken, (ii) strenger Vergleich von NLG-Systemen zur ordnungsgemäßen Verfolgung des Fortschritts , und (iii) Verständnis von Bewertungsmetriken. Zu diesem Zweck identifizieren wir den aktuellen Stand der Herausforderungen, die sich aus den inhärenten Merkmalen dieser Perspektiven ableiten, und präsentieren dann neuartige Metriken, rigorose Vergleichsansätze und Erklärbarkeitstechniken für Metriken, um die identifizierten Probleme anzugehen.

Wir hoffen, dass unsere Arbeit zu Bewertungsmetriken, Systemvergleich und Erklärbarkeit von Metriken zu mehr Forschung in Richtung einer prinzipientreuen NLG-Bewertung anregt und zu einer fairen und angemessenen Bewertung und einem Vergleich in der Verarbeitung natürlicher Sprache beiträgt.