TU Darmstadt / ULB / TUprints

Multi-label Rule Learning

Rapp, Michael (2022):
Multi-label Rule Learning. (Publisher's Version)
Darmstadt, Technische Universität Darmstadt,
DOI: 10.26083/tuprints-00022099,
[Ph.D. Thesis]

[img] Text
Dissertation_Michael-Rapp_Multi-label-Rule-Learning_2022-11-07.pdf
Copyright Information: CC-BY-SA 4.0 International - Creative Commons, Attribution ShareAlike.

Download (2MB)
Item Type: Ph.D. Thesis
Status: Publisher's Version
Title: Multi-label Rule Learning
Language: English
Abstract:

Research on multi-label classification is concerned with developing and evaluating algorithms that learn a predictive model for the automatic assignment of data points to a subset of predefined class labels. This is in contrast to traditional classification settings, where individual data points cannot be assigned to more than a single class. As many practical use cases demand a flexible categorization of data, where classes must not necessarily be mutually exclusive, multi-label classification has become an established topic of machine learning research. Nowadays, it is used for the assignment of keywords to text documents, the annotation of multimedia files, such as images, videos, or audio recordings, as well as for diverse applications in biology, chemistry, social network analysis, or marketing. During the past decade, increasing interest in the topic has resulted in a wide variety of different multi-label classification methods. Following the principles of supervised learning, they derive a model from labeled training data, which can afterward be used to obtain predictions for yet unseen data. Besides complex statistical methods, such as artificial neural networks, symbolic learning approaches have not only been shown to provide state-of-the-art performance in many applications but are also a common choice in safety-critical domains that demand human-interpretable and verifiable machine learning models. In particular, rule learning algorithms have a long history of active research in the scientific community. They are often argued to meet the requirements of interpretable machine learning due to the human-legible representation of learned knowledge in terms of logical statements. This work presents a modular framework for implementing multi-label rule learning methods. It does not only provide a unified view of existing rule-based approaches to multi-label classification, but also facilitates the development of new learning algorithms. Two novel instantiations of the framework are investigated to demonstrate its flexibility. Whereas the first one relies on traditional rule learning techniques and focuses on interpretability, the second one is based on a generalization of the gradient boosting framework and focuses on predictive performance rather than the simplicity of models. Motivated by the increasing demand for highly scalable learning algorithms that are capable of processing large amounts of training data, this work also includes an extensive discussion of algorithmic optimizations and approximation techniques for the efficient induction of rules. As the novel multi-label classification methods that are presented in this work can be viewed as instantiations of the same framework, they can both benefit from most of these principles. Their effectiveness and efficiency are compared to existing baselines experimentally.

Alternative Abstract:
Alternative AbstractLanguage

Forschung im Bereich der Multi-label Klassifizierung beschäftigt sich mit der Entwicklung und Bewertung von Algorithmen, die Vorhersagemodelle für die automatische Zuweisung von Datenpunkten zu einer Untermenge vordefinierter Klassen lernen. Dies unterscheidet sich von traditionellen Problemstellungen, die es nicht erlauben, einzelne Datenpunkte mehr als einer Klasse zuzuordnen. Da viele praktische Anwendungen eine flexible Zuordnung von Daten erfordern, bei der sich Klassen nicht gegenseitig ausschließen, wurde die Multi-label Klassifizierung zu einem etablierten Thema innerhalb des machinellen Lernens. Sie wird für die Zuweisung von Schlagworten zu Textdokumenten, die Annotation von Multimedia-Dateien, wie Bildern, Videos oder Audioaufnahmen, sowie für vielseitige Anwendungen in der Biologie, Chemie oder der Analyse von sozialen Netzwerken verwendet. Während der letzten Dekade hat das zunehmende Interesse an dem Thema zu einer Vielzahl von verschiedenen Klassifizierungsmethoden geführt. Gemäß den Prinzipien des überwachten Lernens leiten diese ein Vorhersagemodell von Trainingsdaten ab, das später genutzt werden kann um Vorhersagen für noch unbekannte Daten zu ermitteln. Neben komplexen statistischen Methoden, wie künstlichen neuronalen Netzen, können auch symbolische Lernansätze in vielen Anwendungsbereichen eine hohe Vorhersagegenauigkeit erzielen. Sie werden vor allem in sicherheitskritischen Bereichen verwendet, die durch Menschen interpretier- und verifizierbare Modelle erfordern. Insbesondere Regellernalgorithmen haben eine lange Historie aktiver Foschung vorzuweisen. Aufgrund der menschenlesbaren Repräsentation von Wissen in Form von logischen Ausdrücken, wird häufig argumentiert, dass sie die Anforderungen an interpretierbares maschinelles Lernen erfüllen. Diese Arbeit stellt ein modulares System für die Umsetzung von Multi-label Regellernmethoden vor. Es bietet nicht nur eine einheitliche Sichtweise auf existierende regelbasierte Ansätze für die Multi-label Klassifizierung, sondern vereinfacht auch die Entwicklung neuer Lernalgorithmen. Es werden zwei neuartige Umsetzungen dieses Systems untersucht um dessen Flexibilität zu demonstrieren. Während die erste auf traditionelle Regellerntechniken setzt und einen großen Wert auf Interpretierbarkeit legt, basiert die zweite auf einer Generalisierung des Gradient Boosting-Systems und ist auf Vorhersagegenauigkeit, statt der Einfachheit von Modellen, fokussiert. Motiviert durch den steigenden Bedarf nach skalierbaren Lernalgorithmen, die große Datenmengen verarbeiten können, enthält diese Arbeit außerdem eine umfangreiche Diskussion von algorithmischen Optimierungen und Approximierungstechniken für die effiziente Induktion von Regeln. Da die neuartigen Klassifizierungsmethoden, die in dieser Arbeit vorgestellt werden, auf den selben Grundprinzipien beruhen, können sie beide von diesen Techniken profitieren. Ihre Effektivität und Effizienz wird experimentell mit existierenden Verfahren verglichen.

German
Place of Publication: Darmstadt
Collation: 146 Seiten
Classification DDC: 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
Divisions: 20 Department of Computer Science > Knowl­edge En­gi­neer­ing
TU-Projects: DFG|FU580/11-1|Multilabel Regellern
Date Deposited: 09 Nov 2022 14:08
Last Modified: 11 Nov 2022 07:28
DOI: 10.26083/tuprints-00022099
URN: urn:nbn:de:tuda-tuprints-220993
Referees: Kersting, Prof. Dr. Kristian ; Hüllermeier, Prof. Dr. Eyke ; Fürnkranz, Prof. Dr. Johannes
Date of oral examination: 14 October 2022
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/22099
PPN: 501431179
Export:
Actions (login required)
View Item View Item