Lokale Suchmethoden sind nützliche Werkzeuge zum Lösen schwieriger kombinatorischer Optimierungsprobleme (KOP). Generelle Erfahrung aus dem Bereich der Mathematik haben gezeigt, dass es bei der Problemlösung sehr hilfreich ist, Regelmäßigkeiten und die ihnen zugrunde liegenden Gestzmäßigkeiten zu identifizieren und auch auszunutzen. Folglich erscheint es sinnvoll, dies auch für lokale Suchmethoden zu versuchen. Aufgrund der Komplexität der bearbeiteten KOP erscheint es besser, diesen Vorgang zu automatisieren, z.B. durch Anwendung von Techniken des maschinellen Lernens zur Erweiterung von lokalen Suchmethoden. Lernen braucht allerdings gewisse Rückmeldungen. Im Bereich von lokalen Suchmethoden kann so eine Rückmeldung aber nicht instruktiv sein, sondern nur bewertender Natur. Verstärkungslernen (VL) ist eine maschinelle Lerntechnik, die mit bewertenden Rückmeldungen arbeiten kann. Eine VL Methode ist das sogenannte Q-Lernen. Diese Arbeit entwickelt Ansätze für allgemeine, praktisch einsetzbare und automatisch lernende lokale Suchmethoden. Eine Möglichkeit lokale Suchmethoden mit Techniken des maschinellen Lernens zu erweitern besteht in der Anwendung von VL Methoden. Die direkte Anwendung von VL Methoden auf existierende lokale Suchmethoden wird durch das Konzept eines lokalen Suchagenten (LSA) ermöglicht. Das schrittweise Vorgehen einer trajektorien-basierten lokalen Suchmethode kann als Interaktion eines virtuellen Agenten mit der zu lösenden Instanz aufgefasst werden. Die Agentenzustände entsprechen hierbei den Lösungen und die Agentenaktionen bestehen aus beliebig hierarchisch aufgebauten Komposititionen von lokalen Suchoperatoren. Ein solcher durch VL Methoden erweiterter LSA kann als lernender LSA bezeichnet werden. Kostenveränderungen bzgl. der beteiligten Lösungen von Zustandstransitionen können als Belohnung verwendet werden and darauf basierend können Gewinnberechnungen erdacht werden, so dass eine Gewinnmaximierung mit dem langfristigen Ziel, eine globales oder ein sehr gutes lokales Optimum zu finden, übereinstimmt. Der hierarchische Aufbau von Agentenaktionen ermöglicht zudem die Verwendung von sogenannten ILS-Aktionen. Diese stimmen mit der Anwendung einer Iteration der bekannten iterierten lokalen Suche Metaheurstik (ILS) überein. Der Vorteil der ILS Metaheuristik und der Verwendung von ILS-Aktionen ist, dass nur Lösungen aus der relevanten Menge der lokalen Optima betrachtet werden müssen und führt somit eine Suchraumabstraktion ein. Ein lernender LSA, der ILS-Aktionen anwendet, wird dann, geführt durch seine Suchstrategie, adaptiv und iterativ lokale Optima besuchen. Die theoretische Methode, die eben skizziert wurde, wird dementsprechend geführte adaptive iterative lokale Suche genannt (GAILS, engl. Guided Adaptive Iterated Local Search). Um randomisierte GAILS-Algorithmen zu evaluieren, müssen empirische Experimente durchgeführt werden. Jeder GAILS-Algorithmus besteht aus drei größtenteils unabhängigen Teilen. Der erste Teil umfasst die Aktionen eines lerndenden LSA und sind spezifisch für einen Problemtyp. Die hierarchisch aufgebauten Aktionen werden schließlich durch elementare lokale Suchoperatoren realisiert. Der zweite Teil repräsentiert die benutzte VL Technik. Diese benutzt die Aktionen so, dass alle Eigenheiten, die spezifisch für einen Problemtyp sind, transparent für sie sind und ist demgemäß unabhängig vom Problemtyp. Der dritte Teil besteht aus Funktionsapproximatoren, die von den VL Techniken verwendet werden. Die Funktionsapproximatoren benötigen als Eingabe einen reellwertigen Vektor von einzelnen Features und sind damit auch unabhängig von den ersten beiden Teilen. Empirische Experimente können nun praktisch unterstützt werden, indem man ein Applikationsrahmenwerk entwickelt, welches die Trennung der drei Teile bei der Implementierung von GAILS-Algorithmen unterstützt, indem konkrete einzelne Teile beliebig wiederverwendet und kombiniert werden können. Insgesamt ermöglicht dies einen schnellen Prototypenbau. Das GAILS-Rahmenwerk ist solch ein Applikationsrahmenwerk, das die Trennung von GAILS-Algorithmen in drei unabhängige Teile berücksichtigt und das entwickelt wurde, um schnell GAILS-Algorithmen zu Experimentierzwecken zu implementieren. Es bietet generische Schnittstellen zwischen Komponenten aus den drei Teilen und somit auch eine Trennung zwischen Zuständen, die spezifischen für einen Problemtyp sind, und der Suchkontrolle. Außerdem ermöglicht das GAILS-Rahmenwerk die Trennung der Suchkontrolle von dem akutellen Zustand der Suchkontrolleinheit. Hierarchisch aufgebaute Aktionen werden auf Objekthierarchien abgebildet. Zwei konkrete GAILS-Algorithmen gemäß zweier Q-Lernen Algorithmen, Q(0) and Q(λ), die ILS-Aktionen verwenden, wurden entwickelt, implementiert und mit vergleichbaren ILS Metaheuristiken verglichen. Diese sogenannten Q-ILS Algorithmen wurden auf zwei verschiedenen Problemtypen und mit zwei verschiedenen Funktionsapproximatoren getestet. Die Resultate zeigen, dass das Lernen sinnvoller Suchstrategien möglich ist und dass das Gelernte auch über mehrere Probleminstanzen hinweg transferiert und eingesetzt werden kann. | German |