A HW/SW Framework for Increased Productivity in Designing Faster and More Secure Heterogeneous Computing Systems

In recent years, the performance scaling of general-purpose computing architectures has been unable to keep up with the ever-growing demand from artificial intelligence workloads. Therefore, a shift towards more specialized, custom architectures occurs. This results in heterogeneous computing systems consisting of CPUs paired with accelerators, such as GPUs or FPGAs.

However, the transition to more specialized, custom architectures has introduced a new level of complexity. Heterogeneous computing systems, by definition, are highly diverse in their compositions and are tailored to the specific needs of the target application. This diversity brings forth a new set of challenges: Designing individual computing units, establishing a robust infrastructure for communication between these units and memory, and implementing security measures to protect against potential attacks.

This cumulative thesis presents the Task-Parallel System Composer (TaPaSCo) as a framework for designing heterogeneous computing systems with FPGA accelerators and investigates different aspects of such a framework. One aspect is performance, where a hardware dispatcher for task launches achieves a 6x increase in task throughput and reduces the latency for on-chip launches by 35x. Another aspect is usability, where software-programmable accelerators, such as RISC-V cores and AMD AI engines, reduce the user's implementation effort. In contrast to existing frameworks, TaPaSCo enables hardware acceleration in a portable, high-performant, and easy-to-use way.

Lastly, this thesis examines security architectures for system-on-chips (SoCs). With DD-MPU and COSSEA, we present two runtime memory protection architectures to mitigate the risk of integrating potentially untrustworthy blocks into an SoC. Both architectures provide fine-granular memory protection, with a focus on dynamic updates or a global state machine, respectively. Evaluation using ASIC technology shows a low overhead.

In den vergangen Jahren konnte die Leistungssteigerung von herrkömmlichen Rechnerarchitekturen nicht mit der wachsenden Leistungsnachfrage in Anwendungen für künstliche Intelligenz Schritt halten. Daher gibt es einen Trend zu spezialisierten, anwendungsspezifischen Architekturen. Dies führt zu heterogenen Rechnersystemen, die aus CPUs in Kombination mit Beschnleunigern wie Grafikprozessoren oder FPGA bestehen.

Jedoch führt dieser Wandel zu spezialisierten, anwendungsspezifischen Architekturen zu einer erhöhten Komplexität. Heterogene Rechnersysteme sind per Definition sehr vielfältig zusammengesetzt und auf die speziellen Bedürfnisse der Zielanwendungen zugeschnitten. Diese Vielfalt führt zu neuen Herausforderungen: der Entwurf von individuellen Recheneinheiten, die Gestaltung einer robusten Kommunikationsinfrastruktur zwischen den Recheneinheiten und Speicher sowie Sicherheitsmaßnahmen zur Abwehr potentieller Angriffe.

Diese kumulative Dissertation stellt Task-Parallel System Composer (TaPaSCo) als Entwicklungs-Framework für heterogene Rechnerarchitekturen vor und untersucht verschiedene Eigenschaften davon. Ein Aspekt ist die Leistungsfähigkeit, die durch einen Hardware-Dispatcher den Durchsatz bei der Verarbeitung von Tasks um das 6-Fache erhöht. Das Starten eines neuen Tasks innerhalb des Systems reduziert die Latenz um bis zu 35x. Ein weiterer Aspekt ist die Benutzerfreundlichkeit, die mit software-programmierbare Beschleunigern, wie etwa Prozessoren basierend auf dem RISC-V Instruktionssatz und AI-Engines von AMD, den Implementierungsaufwand für Benutzer verringert. Im Gegensatz zu bestehenden Systemen ermöglicht TaPaSCo die Hardwarebeschleunigung in einer portierbaren, hochperformanten und benutzerfreundlichen Weise.

Zum Abschluss werden Sicherheitsarchitekturen für System-on-Chips (SoCs) untersucht. DD-MPU und COSSEA sind zwei Architekturen, welche den Speicher zur Laufzeit schützen. Dadurch kann das Risiko der Integration von potenziell nicht vertrauenswürdigen Blöcken in ein SoC gemindert werden. Beide Architekturen bieten einen feingranularen Speicherschutz, wobei der Schwerpunkt auf dynamischen Updates respektive einer globalen Zustandsmaschine liegt. Die Evaluation auf einer ASIC-Technologie zeigt einen geringen Overhead.