TU Darmstadt / ULB / TUprints

Machine Teaching -- A Machine Learning Approach to Technology Enhanced Learning

Weimer, Markus (2010)
Machine Teaching -- A Machine Learning Approach to Technology Enhanced Learning.
Technische Universität Darmstadt
Ph.D. Thesis, Primary publication

[img]
Preview
PDF
Thesis_Markus_Weimer.pdf
Copyright Information: CC BY-NC-ND 2.5 Generic - Creative Commons, Attribution, NonCommercial, NoDerivs .

Download (2MB) | Preview
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Machine Teaching -- A Machine Learning Approach to Technology Enhanced Learning
Language: English
Referees: Mühlhäuser, Prof. Dr. Max ; Smola, Prof. Dr. Alex ; Gehring, Prof. Dr. Petra
Date: 27 March 2010
Place of Publication: Darmstadt
Date of oral examination: 24 September 2009
Abstract:

Many applications of Technology Enhanced Learning are based on strong assumptions: Knowledge needs to be standardized, structured and most of all externalized into learning material that preferably is annotated with meta-data for efficient re-use. A vast body of valuable knowledge does not meet these assumptions, including informal knowledge such as experience and intuition that is key to many complex activities. We notice that knowledge, even if not standardized, structured and externalized, can still be observed through its application. We refer to this observable knowledge as Practiced Knowledge. We propose a novel approach to Technology Enhanced Learning named Machine Teaching to convey this knowledge: Machine Learning techniques are used to extract machine models of Practiced Knowledge from observational data. These models are then applied in the learner's context for his support. We identify two important subclasses of machine teaching, General and Detailed Feedback Machine Teaching. General Feedback Machine Teaching aims to provide the learner with a "grade-like" numerical rating of his work. This is a direct application of supervised machine learning approaches. Detailed Feedback Machine Teaching aims to provide the learner with in-depth support with respect to his activities. An analysis showed that a large subclass of Detailed Feedback Machine Teaching applications can be addressed through adapted recommender systems technology. The ability of the underlying machine learning techniques to capture structure and patterns in the observational data is crucial to the overall applicability of Machine Teaching. Therefore, we study the feasibility of Machine Teaching from a machine learning perspective. Following this goal, we evaluate the General Feedback Machine Teaching approach using state-of-the-art machine learning techniques: The exemplary Machine Teaching system is sought to provide the learner with quality estimations of his writing as judged by an online community. The results obtained in this evaluation are supportive of the applicability of Machine Teaching to this domain. To facilitate Detailed Feedback Machine Teaching, we present a novel matrix factorization model and algorithm. In addition to addressing the needs of Machine Teaching, it is also a contribution to the recommender systems field as it facilitates ranking estimation. An Evaluation in a Detailed Feedback Machine Teaching scenario for software engineers supports the feasibility of Machine Teaching in that domain. We therefore conclude that machine learning models capable of capturing important aspects of practiced knowledge can be found in both, General and Detailed Feedback Machine Teaching. Machine Teaching does not assume the knowledge to be externalized, but to be observable and therefore adds another body of knowledge to Technology Enhanced Learning not amenable to traditional Technology Enhanced Learning approaches.

Alternative Abstract:
Alternative AbstractLanguage

Viele erfolgreiche E-Learning Systeme basieren auf strengen Annahmen: Das zu vermittelnde Wissen muss strukturiert und standardisiert in Lerninhalte externalisiert sein. Diese wiederum sollten mit Metadaten angereichert sein, um ihre Wiederverwendung zu ermöglichen. Diese strikten Anforderungen verhindern es, für viele Aktivitäten entscheidendes informelles Wissen, also unter anderem Erfahrung und Intuition, zu vermitteln. Wissen, auch wenn es weder standardisiert, strukturiert noch externalisiert wurde, manifestiert sich in Aktivitäten seiner Träger. Wir nennen dieses beobachtbare Wissen Praktiziertes Wissen. In dieser Dissertation wird Machine Teaching eingeführt, ein neuer Ansatz zum E-Learning, der diese Tatsache wie folgt ausnutzt: Aus Beobachtungsdaten werden mit Methoden des maschinellen Lernens Modelle extrahiert, die dann im Kontext des Lerners zu seiner Unterstützung eingesetzt werden. Innerhalb dieses Ansatzes werden zwei wichtige Teilaufgaben eines Machine Teaching Systems identifiziert: Generelles und Detailliertes Feedback. Ziel von Machine Teaching für Generelles Feedback ist es, die Arbeit des Lerners zu bewerten, etwa durch ,,Zensuren''. Dies kann durch aktuelle Verfahren des überwachten maschinellen Lernen geleistet werden. Machine Teaching für Detailliertes Feedback soll den Lerner hingegen mit feingranularen Hinweisen zu seiner Arbeit unterstützen. Wir zeigen, dass ein großer Anteil dieser Aufgabe mittels angepasster Recommender Systems Technologie bearbeitet werden kann. Die Nützlichkeit zukünftiger Machine Teaching Systeme wird vor allem davon abhängen, wie gut es mittels maschineller Lernverfahren möglich ist, das Praktizierte Wissen in Form von Mustern und Strukturen aus den Beobachtungsdaten zu extrahieren. Folglich wird in dieser Dissertation untersucht, ob und in wie weit dies möglich ist. Die erste Evaluation hierzu erfolgt am Beispiel eines Machine Teaching Systems für generelles Feedback. Es wird ein System evaluiert, das Texte automatisch bewertet. Dies geschieht auf Basis vergangener Bewertungen anderer Texte durch eine Internet Community. Aus der Leistung des Systems bei dieser Aufgabe folgt, dass Machine Teaching für generelles Feedback hier erfolgreich eingesetzt werden kann. Um Machine Teaching für detailliertes Feedback zu ermöglichen, stellen wir ein neues Modell für Recommender Systeme vor. Dieses Modell stellt eine Erweiterung des Matrixfaktorisierungsansatzes dar. Neben seiner Ausrichtung auf Machine Teaching ist der Algorithmus der erste, der Reihenfolgevorhersagen für Recommender Systeme ermöglicht. Wir evaluieren ihn in einem Machine Teaching Ansatz für detailliertes Feedback im Bereich Softwareentwicklung. Basierend auf einer Quelltextdatenbank soll dieser auf fehlende Aufrufe hinweisen. Auch hier lassen die empirischen Ergebnisse schliessen, dass Machine Teaching in dieser Domäne anwendbar ist. Machine Teaching stellt also eine machbare Erweiterung des E-Learning dar, dessen Einsatzbreite mit dem Fortschritt des maschinellen Lernens wächst. Es erweitert bisherige Ansätze um beobachtbares und damit eben auch informelles Wissen, das bisher im E-Learning nur schwer vermittelbar ist.

German
URN: urn:nbn:de:tuda-tuprints-21090
Classification DDC: 300 Social sciences > 370 Education
000 Generalities, computers, information > 004 Computer science
Divisions: 20 Department of Computer Science > Telecooperation
Date Deposited: 06 Apr 2010 06:10
Last Modified: 08 Jul 2020 23:43
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/2109
PPN: 222220104
Export:
Actions (login required)
View Item View Item