TU Darmstadt / ULB / TUprints

A microservice architecture for the processing of large geospatial data in the Cloud

Krämer, Michel :
A microservice architecture for the processing of large geospatial data in the Cloud.
Technische Universität, Darmstadt
[Ph.D. Thesis], (2018)

[img]
Preview
Text
2018-01-19_Kraemer_A-microservice-architecture-for-the-processining-of-large-geospatial-data-in-the-cloud-FINAL.pdf - Accepted Version
Available under CC-BY-SA 4.0 International - Creative Commons Attribution Share-alike 4.0.

Download (8MB) | Preview
Item Type: Ph.D. Thesis
Title: A microservice architecture for the processing of large geospatial data in the Cloud
Language: English
Abstract:

With the growing number of devices that can collect spatiotemporal information, as well as the improving quality of sensors, the geospatial data volume increases constantly. Before the raw collected data can be used, it has to be processed. Currently, expert users are still relying on desktop-based Geographic Information Systems to perform processing workflows. However, the volume of geospatial data and the complexity of processing algorithms exceeds the capacities of their workstations. There is a paradigm shift from desktop solutions towards the Cloud, which offers virtually unlimited storage space and computational power, but developers of processing algorithms often have no background in computer science and hence no expertise in Cloud Computing.

Our research hypothesis is that a microservice architecture and Domain-Specific Languages can be used to orchestrate existing geospatial processing algorithms, and to compose and execute geospatial workflows in a Cloud environment for efficient application development and enhanced stakeholder experience. We present a software architecture that contains extension points for processing algorithms (or microservices), a workflow management component for distributed service orchestration, and a workflow editor based on a Domain-Specific Language. The main aim is to provide both users and developers with the means to leverage the possibilities of the Cloud, without requiring them to have a deep knowledge of distributed computing. In order to conduct our research, we follow the Design Science Research Methodology. We perform an analysis of the problem domain and collect requirements as well as quality attributes for our architecture. To meet our research objectives, we design the architecture and develop approaches to workflow management and workflow modelling. We demonstrate the utility of our solution by applying it to two real-world use cases and evaluate the quality of our architecture based on defined scenarios. Finally, we critically discuss our results.

Our contributions to the scientific community can be classified into three pillars. We present a scalable and modifiable microservice architecture for geospatial processing that supports distributed development and has a high availability. Further, we present novel approaches to service integration and orchestration in the Cloud as well as rule-based and dynamic workflow management without a priori design-time knowledge. For the workflow modelling we create a Domain-Specific Language that is based on a novel language design method.

Alternative Abstract:
Alternative AbstractLanguage
Mit der wachsenden Zahl an Geräten, die spatio-temporale Informationen aufnehmen können sowie immer besser werdenden Sensoren, steigt auch die Menge an Geodaten. Vor der Benutzung müssen die rohen gesammelten Informationen verarbeitet werden. Zurzeit greifen Experten auf desktop-basierte Geographische Informationssysteme zurück, um Prozessierungsworkflows durchzuführen. Allerdings übersteigt das Datenvolumen sowie die Komplexität der Verarbeitungsalgorithmen längst die Kapazität ihrer Workstations. Zurzeit findet ein Paradigmenwechsel von Desktop-Lösungen zur Cloud statt, aber die Entwickler von Prozessierungsalgorithmen sind oft keine Informatiker und haben deshalb wenig Erfahrung im Bereich Cloud-Computing. Unsere Forschungshypothese ist, dass eine Microservice-Architektur und domänenspezifische Sprachen genutzt werden können, um existierende Algorithmen zu orchestrieren und Workflows für die Prozessierung von Geodaten in der Cloud auszuführen, und damit eine effiziente Anwendungsentwicklung ermöglichen und die Erfahrung von Stakeholdern verbessern. Wir präsentieren eine Softwarearchitektur, die Erweiterungspunkte für Prozessierungsalgorithmen (oder Microservices) enthält, eine Workflow-Management-Komponente für die verteilte Service-Orchestrierung, und einen Workflow-Editor basierend auf einer domänenspezifischen Sprache. Ziel ist es, Benutzern und Entwicklern ohne tiefergehendes Wissen in verteilten Systemen den Zugang zur Cloud zu ermöglichen. Unsere Forschungsmethode basiert auf der Design Science Research Methodology. Wir führen eine Analyse der Problemdomäne durch und sammeln Anforderungen und Qualitätsattribute für unsere Architektur. Um unsere Forschungsziele zu erreichen, entwickeln wir die Architektur sowie Ansätze für Workflow-Management und -Modellierung. Wir stellen den Nutzen unserer Lösung dar, indem wir sie auf zwei praktische Anwendungsfälle anwenden. Außerdem evaluieren wir ihre Qualität anhand von definierten Szenarien. Abschließend führen wir eine kritische Bewertung unserer Ergebnisse durch. Unsere wissenschaftlichen Beiträge können in drei Bereiche gegliedert werden. Wir präsentieren eine skalierbare und erweiterbare Microservice-Architektur für die Geodatenprozessierung, die eine verteilte Entwicklung ermöglicht sowie eine hohe Verfügbarkeit bietet. Außerdem präsentieren wir neue Ansätze für die Service-Integration und -Orchestrierung in der Cloud sowie regelbasiertes und dynamisches Workflow-Management ohne a priori Wissen im Entwurf. Für die Workflow-Modellierung entwickeln wir eine domänenspezifische Sprache sowie eine neue Methode fürs Sprachdesign. Die Ergebnisse unserer Arbeit stützen unsere Forschungshypothese. Die Microservice-Architektur ermöglicht eine effiziente Entwicklung eines verteilten Systems. Die domänenspezifische Sprache sowie unser Ansatz zur Service-Integration verbessern die Erfahrung der Stakeholder. Unsere Arbeit stellt einen großen Schritt im Paradigmenwechsel zur Cloud dar und bietet Möglichkeiten für weitere Forschung.German
Place of Publication: Darmstadt
Classification DDC: 000 Allgemeines, Informatik, Informationswissenschaft > 004 Informatik
Divisions: 20 Department of Computer Science
Date Deposited: 25 Jan 2018 07:49
Last Modified: 25 Jan 2018 07:49
URN: urn:nbn:de:tuda-tuprints-69562
Referees: Fellner, Prof. Dr. Dieter W. and Boehm, Dr. Jan
Refereed: 7 November 2017
URI: http://tuprints.ulb.tu-darmstadt.de/id/eprint/6956
Export:
Actions (login required)
View Item View Item

Downloads

Downloads per month over past year