TU Darmstadt / ULB / TUprints

Addressing Concept Drift in Machine Learning-Based Monitoring of Manufacturing Processes

Jourdan, Nicolas (2024)
Addressing Concept Drift in Machine Learning-Based Monitoring of Manufacturing Processes.
Technische Universität Darmstadt
doi: 10.26083/tuprints-00028043
Ph.D. Thesis, Primary publication, Publisher's Version

[img] Text
dissertation_nj.pdf
Copyright Information: CC BY 4.0 International - Creative Commons, Attribution.

Download (9MB)
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Addressing Concept Drift in Machine Learning-Based Monitoring of Manufacturing Processes
Language: English
Referees: Metternich, Prof. Dr. Joachim ; Klingauf, Prof. Dr. Uwe
Date: 5 September 2024
Place of Publication: Darmstadt
Collation: xxi, 148 Seiten
Date of oral examination: 27 August 2024
DOI: 10.26083/tuprints-00028043
Abstract:

Machine learning (ML) has significantly contributed to the development of advanced process and condition monitoring systems in manufacturing, enabling real-time monitoring and analysis of equipment and processes to detect deviations from normal operations and predict potential failures. As ML applications transcend from academic research to real-world usage, questions regarding their continuous reliability on the shopfloor arise. The training dataset of an ML model only captures a snapshot of the manufacturing process in time. After model deployment, the environment will encounter changes such as wear, aging or defective sensors as well as changes in factory layout and machine placement that are not captured in the training dataset, a scenario referred to as concept drift, which is often neglected in academic studies. Concept drift leads to performance degradation of an ML model which is not obvious to machine or plant operators, potentially causing unnoticed downstream issues unless addressed properly. Recent process models for structuring industrial ML projects such as CRISP-ML(Q) have started to consider this issue, but do not offer guidance on implementing mechanisms to detect or counteract concept drift. Motivated by this gap, this thesis analyzes methods for the detection of concept drift in the context of ML applications for process and condition monitoring in manufacturing, aiming to improve the application's reliability and acceptance. First, a literature review and expert interviews are conducted to gain insights on concept drift handling in manufacturing research and practice. Consequently, a framework is derived that concretizes the monitoring phase of the CRISP-ML(Q) process model for the target domain by outlining active and passive concept drift detection strategies accompanied by decision criteria for their respective usage. Existing concept drift detection strategies often rely on two-sample tests assuming independent and identically distributed (i.i.d.) data, an assumption that proves invalid in the targeted use cases. Thus, a refinement method called Localized Reference Drift Detection (LRDD) is proposed as a preprocessing step for two-sample testing. The developed framework as well as the proposed LRDD method are validated in terms of applicability and performance through three case studies. In the first case study, a tool condition monitoring scenario is investigated. It is shown how variations in the operating conditions degrade the model performance and how the framework can reliably detect drifts, employing LRDD for active concept drift detection. In the second case study, the use case of process monitoring in milling is analyzed. It is shown that concept drift is present in the dataset due to the aging of the machine components between experiment runs. The drift is reliably detected through the configured active concept drift detection. In the third case study, a condition monitoring use case is implemented within a pigment production line at a company. Within the case study, passive concept drift detection is implemented as the data distributions vary strongly between production batches. It is shown that the passive concept drift detection paired with automatic retraining enables effective condition monitoring of a critical component within the production line. Overall, this thesis provides solution approaches to dealing with concept drift in the manufacturing domain. The proposed methods and decision criteria can either be directly applied to existing use cases or serve as inspiration and guidance for use cases beyond the scope of the case studies.

Alternative Abstract:
Alternative AbstractLanguage

Maschinelles Lernen (ML) hat wesentlich zur Entwicklung fortschrittlicher Prozess- und Zustandsüberwachungs- systeme in der Fertigung beigetragen. Sie ermöglichen die Überwachung und Analyse von Anlagen und Prozessen in Echtzeit, um Abweichungen zu erkennen und mögliche Ausfälle vorherzusagen. Da ML-Anwendungen zunehmend von der Forschung in die Praxis übergehen, stellt sich die Frage nach ihrer dauerhaften Zuverlässigkeit in der Produktion. Der Trainingsdatensatz eines ML-Modells erfasst nur eine Momentaufnahme des Fertigungsprozesses. Während der Nutzungsphase des ML-Modells kommt es in der Umgebung zu Veränderungen, wie z.B. Werkzeug- und Maschinenverschleiß, alternden oder defekten Sensoren sowie Änderungen im Fabriklayout und in der Maschinenaufstellung, die im Trainingsdatensatz nicht erfasst sind. Dieses Szenario wird als Konzeptdrift bezeichnet und in akademischen Studien oft vernachlässigt. Konzeptdrift führt zu einer Leistungsverschlechterung des ML-Modells, die für die Maschinen- oder Anlagenbediener/-innen nicht offensichtlich ist und zu nachgelagerten Problemen führen kann, wenn sie nicht richtig adressiert wird. Prozessmodelle für industrielle ML-Projekte wie CRISP-ML(Q) berücksichtigen dieses Problem, bieten aber keine konkreten Richtlinien für die Implementierung von Mechanismen, um Konzeptdrift zu erkennen oder entgegenzuwirken. Motiviert durch diese Lücke, analysiert diese Dissertation Methoden zur Erkennung von Konzeptdrift im Kontext von ML-Anwendungen für die Prozess- und Zustandsüberwachung in der Fertigung, mit dem Ziel, die Zuverlässigkeit und Akzeptanz der ML-Anwendungen zu verbessern. Zunächst werden eine Literaturrecherche und Experteninterviews durchgeführt, um Erkenntnisse über den Umgang mit Konzeptdrift in Forschung und Praxis zu gewinnen. Daraufhin wird ein Framework abgeleitet, das die Überwachungsphase des CRISP-ML(Q)-Prozessmodells für die Zieldomäne konkretisiert, indem aktive und passive Strategien zur Erkennung von Konzeptdrift zusammen mit Entscheidungskriterien skizziert werden. Bestehende Strategien zur Erkennung von Konzeptdrift beruhen häufig auf Zwei-Stichproben-Tests unter der Annahme unabhängiger und identisch verteilter Daten, eine Annahme, die sich in den betrachteten Anwendungsfällen als ungültig erweist. Daher wird eine Vorverarbeitungsmethode namens Localized Reference Drift Detection (LRDD) für den Vergleichsdatensatz vorgeschlagen. Das entwickelte Framework und die LRDD-Methode werden anhand von drei Fallstudien auf ihre Anwendbarkeit und Leistungsfähigkeit hin überprüft. In der ersten Fallstudie wird ein Szenario zur Überwachung des Werkzeugzustands untersucht. Es wird gezeigt, wie Schwankungen in den Betriebsbedingungen die Leistung des ML-Modells beeinträchtigen und wie das Framework Drifts zuverlässig erkennen kann, wobei LRDD zur aktiven Erkennung von Konzeptdrift eingesetzt wird. In der zweiten Fallstudie wird der Anwendungsfall der Prozessüberwachung beim Fräsen analysiert. Es wird gezeigt, dass Konzeptdrift aufgrund der Alterung der Maschinenkomponenten zwischen den Versuchsläufen vorhanden ist. Die Drift wird durch aktive Konzeptdrift-Erkennung zuverlässig erkannt. In der dritten Fallstudie wird ein Anwendungsfall für die Zustandsüberwachung in einer Pigmentproduktionslinie in einem Unternehmen implementiert. In der Fallstudie wird eine passive Konzeptdrift-Erkennung implementiert. Es wird gezeigt, dass die passive Konzeptdrift-Erkennung in Verbindung mit einer automatischen Neutrainierung eine effektive Zustandsüberwachung ermöglicht. Insgesamt bietet diese Dissertation Lösungsansätze für den Umgang mit Konzeptdrift im Fertigungsbereich. Die vorgeschlagenen Methoden und Entscheidungskriterien können entweder direkt auf bestehende Anwendungsfälle angewendet werden oder als Inspiration und Anleitung für Anwendungsfälle dienen, die über den Rahmen der Fallstudien hinausgehen.

German
Status: Publisher's Version
URN: urn:nbn:de:tuda-tuprints-280438
Classification DDC: 600 Technology, medicine, applied sciences > 620 Engineering and machine engineering
Divisions: 16 Department of Mechanical Engineering > Institute of Production Technology and Machine Tools (PTW)
16 Department of Mechanical Engineering > Institute of Production Technology and Machine Tools (PTW) > CiP Center for industrial Productivity
Date Deposited: 05 Sep 2024 12:15
Last Modified: 09 Sep 2024 08:52
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/28043
PPN: 521208998
Export:
Actions (login required)
View Item View Item