Diese Dissertation präsentiert Rahmenbedingungen zur Modellierungsmethoden großer Warteschlangensysteme, die integraler Bestandteil unseres täglichen Lebens sind und oftmals Verwendung in realen Prozessen und Systemen haben. Die Lastverteilung, ein wesentlicher Bestandteil von Warteschlangensystemen, umfasst die Verteilung eingehender Aufgaben auf verfügbare Ressourcen, um bestimmte Ziele wie die Minimierung von Wartezeiten oder das Vermeiden von Aufgabenverlusten zu erreichen. Trotz bestehender statischer Lastenausgleichsalgorithmen erfordert die wachsende Komplexität von Rechensystemen dynamische Ansätze, wie in dieser Arbeit argumentiert wird.

Große Warteschlangensysteme stehen vor Herausforderungen wie partieller Beobachtbarkeit und Netzwerkverzögerungen, was die Notwendigkeit skalierbarer Strategien betont, die im Fokus dieser Arbeit stehen.

Die Arbeit beginnt mit einem teilweise beobachtbaren Einzelagentensystem mit einer großen Anzahl von Warteschlangen, das als teilweise beobachtbarer Markov-Entscheidungsprozess modelliert und anschließend mithilfe des Monte Carlo Tree Search Algorithmus gelöst wird. Das Warteschlangensystem und der vorgeschlagene Lastenausgleich werden unter Verwendung verschiedener Verteilungen von Ankunfts- und Bedienzeiten sowie verschiedener Belohnungsfunktionen analysiert. Kaggle-Netzwerkverkehrsdaten wurden ebenfalls verwendet, um die zugrundeliegenden Verteilungen für Ankunfts- und Bedienprozesse für reale Systeme zu modellieren, und anschließend wurde die Leistung der vorgeschlagenen Strategien darauf analysiert.

Als Nächstes wurde dieses Einzelagentenmodell auf das Multi-Agenten Warteschlangensystem erweitert, wobei die Herausforderungen der Skalierbarkeit und Nichtstationarität durch die Modellierung dieses großen Warteschlangensystems als ein Mean-Field-Control- Problem mit beliebigen Synchronisationsverzögerungen bewältigt wurden. Die Lastaus- gleichsstrategie für den resultierenden Einzelagenten-Markov-Entscheidungsprozess wurde mithilfe des Proximal Policy Optimization Algorithmus aus dem Bereich des Reinforce- ment Learning erlernt. Dieser Beitrag betont die Notwendigkeit, eine Strategien für den Fall zu erlernen, wenn eine Synchronisationsverzögerungen weder niedrig sind (sodass Join-the-Shortest-Queue optimal ist) noch hoch (sodass die zufällige Zuweisung die beste Lastausgleichsstrategie ist). Der Beitrag bietet auch theoretische Garantien und weist empirisch nach, dass die im Mean-Field-System erlernten Strategien in großen endlichen Warteschlangensystemen gut funktionieren.

Der erfolgreiche Rahmen des Mean-Field-Control zur Modellierung eines großen Warteschlangensystems wurde dann weiterentwickelt, um die Lokalität der Interaktionen zwischen Agenten zu berücksichtigen, anstatt von einem vollständig verbunden Netzwerk auszugehen, in dem jeder Agent Zugriff auf jede andere Warteschlange haben kann. Um diese dezentralen Interaktionen zu modellieren, wurde die kürzlich entwickelte Sparse Mean-Field-Theorie verwendet und erweitert, um ein Sparse Mean-Field-Control-Rahmen werk zu erhalten. Der Proximal Policy Optimization Algorithmus wurde dann auf den resultierenden Mean-Field-Control-Markov-Entscheidungsprozess angewendet, um eine skalierbare und dezentrale Lastausgleichsstrategie zu erlernen. In allen vorgenannten Beiträgen haben unsere vorgeschlagenen, gelernten Lastausgleichsstrategien eine gute Leistung im Vergleich zu bestehenden Arbeiten auf dem neuesten Stand der Technik erzielt, was zukünftige Arbeiten in diese Richtung motiviert.