TU Darmstadt

ULB

TUprints

On Collaborative Intrusion Detection

Vasilomanolakis, Emmanouil (2016)
On Collaborative Intrusion Detection.
Technische Universität Darmstadt
Ph.D. Thesis, Primary publication

Preview

Text
main.pdf
Copyright Information: CC BY-NC-ND 4.0 International - Creative Commons, Attribution NonCommercial, NoDerivs.
Download (14MB) | Preview

Item Type:

Ph.D. Thesis

Type of entry:

Primary publication

Title:

On Collaborative Intrusion Detection

Language:

English

Referees:

Mühlhäuser, Prof. Dr. Max ; Nadjm-Tehrani, Prof. Dr. Simin

Date:

11 July 2016

Place of Publication:

Darmstadt

Date of oral examination:

10 May 2016

Abstract:

Cyber-attacks have nowadays become more frightening than ever before. The growing dependency of our society on networked systems aggravates these threats; from interconnected corporate networks and Industrial Control Systems (ICSs) to smart households, the attack surface for the adversaries is increasing. At the same time, it is becoming evident that the utilization of classic fields of security research alone, e.g., cryptography, or the usage of isolated traditional defense mechanisms, e.g., firewalls and Intrusion Detection Systems ( IDSs ), is not enough to cope with the imminent security challenges.

To move beyond monolithic approaches and concepts that follow a “cat and mouse” paradigm between the defender and the attacker, cyber-security research requires novel schemes. One such promis- ing approach is collaborative intrusion detection. Driven by the lessons learned from cyber-security research over the years, the aforesaid notion attempts to connect two instinctive questions: “if we acknowledge the fact that no security mechanism can detect all attacks, can we beneficially combine multiple approaches to operate together?” and “as the adversaries increasingly collaborate (e.g., Distributed Denial of Service (DDoS) attacks from whichever larger botnets) to achieve their goals, can the defenders beneficially collude too?”. Collabora- tive intrusion detection attempts to address the emerging security challenges by providing methods for IDSs and other security mech- anisms (e.g., firewalls and honeypots) to combine their knowledge towards generating a more holistic view of the monitored network.

This thesis improves the state of the art in collaborative intrusion detection in several areas. In particular, the dissertation proposes methods for the detection of complex attacks and the generation of the corresponding intrusion detection signatures. Moreover, a novel approach for the generation of alert datasets is given, which can assist researchers in evaluating intrusion detection algorithms and systems. Furthermore, a method for the construction of communities of collab- orative monitoring sensors is given, along with a domain-awareness approach that incorporates an efficient data correlation mechanism. With regard to attacks and countermeasures, a detailed methodology is presented that is focusing on sensor-disclosure attacks in the con- text of collaborative intrusion detection.

The scientific contributions can be structured into the following categories:

Alert data generation: This thesis deals with the topic of alert data generation in a twofold manner: first it presents novel approaches for detecting complex attacks towards generating alert signatures for IDSs ; second a method for the synthetic generation of alert data is pro- posed. In particular, a novel security mechanism for mobile devices is proposed that is able to support users in assessing the security status of their networks. The system can detect sophisticated attacks and generate signatures to be utilized by IDSs . The dissertation also touches the topic of synthetic, yet realistic, dataset generation for the evaluation of intrusion detection algorithms and systems; it proposes a novel dynamic dataset generation concept that overcomes the short- comings of the related work.

Collaborative intrusion detection: As a first step, the the- sis proposes a novel taxonomy for collaborative intrusion detection ac- companied with building blocks for Collaborative IDSs ( CIDSs ). More- over, the dissertation deals with the topics of (alert) data correlation and aggregation in the context of CIDSs . For this, a number of novel methods are proposed that aim at improving the clustering of mon- itoring sensors that exhibit similar traffic patterns. Furthermore, a novel alert correlation approach is presented that can minimize the messaging overhead of a CIDS.

Attacks on CIDSs: It is common for research on cyber-defense to switch its perspective, taking on the viewpoint of attackers, trying to anticipate their remedies against novel defense approaches. The the- sis follows such an approach by focusing on a certain class of attacks on CIDSs that aim at identifying the network location of the monitor- ing sensors. In particular, the state of the art is advanced by proposing a novel scheme for the improvement of such attacks. Furthermore, the dissertation proposes novel mitigation techniques to overcome both the state of art and the proposed improved attacks.

Evaluation: All the proposals and methods introduced in the dis- sertation were evaluated qualitatively, quantitatively and empirically. A comprehensive study of the state of the art in collaborative intru- sion detection was conducted via a qualitative approach, identifying research gaps and surveying the related work. To study the effective- ness of the proposed algorithms and systems extensive simulations were utilized. Moreover, the applicability and usability of some of the contributions in the area of alert data generation was additionally supported via Proof of Concepts (PoCs) and prototypes.

The majority of the contributions were published in peer-reviewed journal articles, in book chapters, and in the proceedings of interna- tional conferences and workshops.

Alternative Abstract:

Alternative Abstract

Language

Cyberangriffe entwickeln sich zu immer ausgeklügelteren Pro- zessen mit zunehmend schwerwiegenderen Folgen für die Angegriffenen. Gleichzeitig sind immer mehr Aspekte un- seres Lebens durch Cyber-Systeme verbunden, werden über diese gesteuert und von diesen beeinflusst – von großen Industrieanalagen über Firmennetzwerke bis hin zu privaten Häusern und Endgeräten. Diese beiden Veränderungen beeinflussen sich gegenseitig und stellen die Forschung an Schutzmaßnahmen vor stets neue Herausforderun- gen. Klassische Forschungsfelder der Cybersicherheit, wie z.B. die Kryptografie, sowie monolithische und isoliert betriebene Schutzsys- teme, wie z.B. Firewalls und Eindringlingserkennungssysteme (intru- sion detection systems, IDS), sind in der heutigen Form nicht mehr ausreichend, um mit den neuen Herausforderungen angemessen um- zugehen.

Die Arbeit im Feld der Cybersicherheit benötigt neue Ansätze, um bisherige monolithische Schutzsysteme und das weiter beschleuni- gende Rennen zwischen Angreifern und Verteidigern zu gewinnen. Der Einsatz von kollaborativen Eindringlingserkennungssystemen (col- laborative intrusion detection systems, CIDS) ist ein solcher, vielver- sprechender Ansatz. Die Methodik hinter CIDS fußt auf zwei Grun- dannahmen: 1. Einzelne Schutzsysteme können niemals alle Angriffe erkennen, daher werden verschiedene Schutzsysteme miteinander kom- biniert. 2. Da Angreifer zunehmend kollaborieren (wie beispielsweise bei DDoS-Angriffen oder der Nutzung von Botnets), müssen dies auch Schutzsysteme tun. CIDS begegnen den o.g. neuen Herausfor- derungen mit neuen Methoden für IDS und für andere Schutzmech- anismen (z.B. Firewalls und Honeypots); dabei ist es das Ziel, das Wissen dieser Systeme zu einer umfassenderen Sicht auf das zu über- wachende Netzwerk zusammenzufassen.

Diese Dissertation erweitert den Stand der Wissenschaft in der kol- laborativen Angriffserkennung in mehreren Bereichen. Insbesondere werden Methoden zur Erkennung komplexer Angriffe sowie die Erzeu- gung der dazu passenden Angriffs-Signaturen vorgeschlagen. Weiter- hin wird auch ein neuartiger Ansatz zur Erstellung von Warn-Daten- sätzen vorgestellt, welcher Wissenschaftler bei der Evaluierung von zukünftigen IDS-Algorithmen und Systemen unterstützten kann. In Bezug auf Angriffs- und Schutzmechanismen wird eine detaillierte Methodik zur Angriffserkennung mittels Sensoren im Kontext von kollaborativer Angriffserkennung vorgestellt.

beiträge Die wissenschaftlichen Beiträge dieser Dissertation lassen sich wie folgt kategorisieren:

Aggregation von Warnungen: Die Herausforderung der Ag- gregation von Warnungen wird hier in zwei Schritten bearbeitet: Er- stens werden neuartige Ansätze zur Erkennung von komplexen An- griffen einschließlich der Generierung von Signaturen für IDSs vorge- stellt. Zweitens wird eine Methode zur Erzeugung von synthetischen Warnungen vorgestellt. Im Detail wird ein neuer Sicherheitsmecha- nismus für mobile Geräte vorgeschlagen, welcher Benutzer bei der Beurteilung der Sicherheit von Netzwerken unterstützt. Diese Meth- ode kann ausgefeilte Angriffe erkennen und daraus Signaturen erzeu- gen, welche dann von IDSs verwendet werden können. Diese Disser- tation betrachtet auch die Erzeugung von synthetischen, aber den- noch realistischen Datensätzen, welche die Evaluierung von IDS-Al- gorithmen und Systeme unterstützen. Dazu wird ein neues Konzept zur dynamischen Generierung von Datensätzen verwendet, welches die Einschränkungen der verwandten Arbeiten löst.

Kollaborative Angriffserkennung: In einem ersten Schritt wird eine neuartige Taxonomie zusammen mit Bausteinen für kollab- orative IDSs (CIDSs) vorgestellt. Weiterhin behandelt diese Disserta- tion die Themen der Korrelation von Warnmeldungen bzw. Daten, sowie deren Aggregation im Kontext von CIDSs. Dafür wird eine Reihe von neuen Methoden vorgeschlagen, die auf eine Verbesserung der Gruppierung (engl. clustering) von Sensoren abzielen, welche ähnliche Muster im Netzwerkverkehr aufweisen. Weiterhin wird ein neuer Ansatz zur Korrelation von Warnungen vorgestellt, welcher den Nachrichten-Overhead von CIDSs verringert.

Angriffe auf CIDSs: Für die Forschung in der Cyber-Sicherheit ist es typisch, einen Perspektivwechsel vorzunehmen, um aus der Sicht der Angreifer die Reaktion auf neue Schutz-Mechanismen zu bestimmen. Diese Dissertation folgt diesem Ansatz und fokussiert dabei auf Klassen von Angriffen gegen CIDSs, die darauf abzielen, die Position von Sensoren im Netzwerk zu bestimmen. Hier wird der Stand der Wissenschaft durch eine Verbesserung dieser Positions- bestimmung erweitert. Weiterhin werden neue Schutzmechanismen vorgestellt, um Angriffe nach dem Stand der Wissenschaft als auch deren Verbesserungen zu unterbinden.

Evaluierung: Alle vorgestellten Methoden wurden sowohl qual- itativ als auch quantitativ und empirisch evaluiert. Mit dem qualita- tiven Ansatz wurde eine umfassende Studie über den Stand der Wis- senschaft in kollaborativen Angriffserkennungs-Systemen angefertigt, um Forschungsfragen zu identifizieren und verwandte Arbeiten zu erfassen. Die Effektivität der vorgeschlagenen Algorithmen und Sys- teme wurde anhand von umfassenden Simulationsstudien gezeigt. Weiterhin wurden die Beiträge im Bereich der Korrelation von War- nungen auf ihre Anwendbarkeit und Benutzbarkeit anhand von Proof of Concepts (PoCs) sowie Prototypen überprüft.

Die meisten hier vorgestellten Beiträge wurden im Peer-Review- Verfahren von Wissenschaftlern geprüft und in Journalen, Buchkapiteln und Tagungsbänden internationaler Konferenzen und Workshops ver- öffentlicht.

German

Uncontrolled Keywords:

collaborative intrusion detection

URN:

urn:nbn:de:tuda-tuprints-55964

Classification DDC:

000 Generalities, computers, information > 004 Computer science

Divisions:

20 Department of Computer Science > Telecooperation

Date Deposited:

29 Jul 2016 12:20

Last Modified: