Da bei der Leistung von herkömmlichen Prozessoren in den vergangenen Jahren eine Stagnation bei der Verbesserung der Leistung zu verzeichnen war, wurde nach neuen Möglichkeiten gesucht die Leistung von Computersystemen zu steigern.

Heterogene Systeme haben sich als eine leistungsfähige Alternative herausgestellt. Im Kontext dieser Arbeit besteht ein heterogenes System in der Regel aus einem mit Software programmierbaren Prozessor und einem konfigurierbarem Hardwarebeschleuniger. Durch den für jede Anwendung speziell konfigurierten Hardwarebeschleuniger können heterogene Systeme eine bessere Leistung als ein herkömmlicher Prozessor erreichen.

Wegen ihrer größeren Komplexität ist es schwieriger für heterogene Systeme Anwendungen zu entwickeln als für ein herkömmliches, rein auf einem Software-Prozessor basiertem System. Da zur Programmierung der Soft- und Hardwareanteile verschiedene Sprachen verwendet werden müssen und zusätzliche, spezialisierte Hardware-Kenntnisse erforderlich sind, erhöht dies die Kosten der Entwicklung.

Diese Arbeit stellt das Compilerframework Nymble vor, welches es ermöglicht, ein heterogenes System allein mit einer Hochsprache zu programmieren. Nachdem der Entwickler in der Hochsprache festgelegt hat welche Teile in Hardware ausgeführt werden sollen, erzeugt Nymble ein Programm für den Prozessor, die Hardwarekonfiguration und alle Schnittstellen zwischen der Soft- und Hardware.

Alle von Nymble unterstützen Systeme haben gemeinsam, dass sich der Software- und Hardwareteil einer Anwendung einen gemeinsamen Speicher teilen. Da es sich bei dem Speicher um externen RAM mit hoher Zugriffslatenz handelt, ist es notwendig ein Cachesystem zwischen Speicher und Hardware einzufügen. Dies sorgt dafür, dass Speicherzugriffe zwischen sehr kurzer oder langer Latenz variieren können, in Abhängigkeit davon ob die Daten bereits im Cache verfügbar sind.

Um potentielle lange Latenzen zu überbrücken, präsentiert diese Arbeit ein innovatives Ausführungsmodell, das die simultane Ausführung mehrerer Threads in einem gemeinsamen Hardwarebeschleuniger erlaubt. Zusätzlich ermöglicht das Modell, an bestimmten Punkten in der gemeinsamen Pipeline die Reihenfolge der Threads dynamisch zu ändern. Diese Fähigkeit wird dazu verwendet, dass ein Thread, welcher auf einen Speicherzugriff warten muss, durch andere nicht wartende Threads überholt werden kann. Dadurch können diese unabhängig vom wartenden Threads ihre Berechnungen ausführen und so Latenzen überbrücken.

Bisherige Arbeiten verwendeten ein Ausführungsmodell, in dem jeweils nur ein Thread im Hardwarebeschleuniger aktiv sein konnte und im Falle eines Speicherzugriffs durch einen anderen Thread ausgetauscht wurde. Durch den Aufbau der Hardware kam es hier oft dazu, dass viele der Ressourcen einen signifikanten Anteil der Laufzeit brach lagen.

Durch seinen innovativen Aufbau verteilt das neue Ausführungsmodell mehrere Threads dynamisch über die Pipeline. Dadurch werden mehr Ressourcen gleichzeitig sinnvoll genutzt und eine bessere Auslastung erreicht. Weiter erreicht das simultane Ausführen mehrerer Threads einen ähnliche Durchsatz wie mehrere simultan ausgeführte Kopien eines Hardwarebeschleunigers, welcher jeweils nur einen Thread unterstützt.

Das neue Ausführungsmodell macht es möglich, den erhöhten Durchsatz mit einer verbesserten Effizienz zu kombinieren. Durch das gegenseitige Überholen von Threads ist es möglich das neue Modell effektiv mit einem geteilten Speicher über einen Cache zu verwenden.

Im Vergleich, zwischen vier Kopien eines Beschleunigers für jeweils einen Thread und einem Beschleuniger für vier Threads (beide durch Nymble erzeugt), wird eine Ressourceneffizienz von bis zu Faktor 2,6x erreicht. Dabei sind vier simultane Threads bis annähernd 4x mal so schnell wie vier auf einem Beschleuniger sequentiell ausgeführte Threads. Verglichen mit anderen, besser optimierten Compilern, erreicht Nymble immer noch eine bis zu 2x bessere Laufzeit mit einer 1,5x Ressourceneffizienz.