Die Erkennung von Ereignissen besitzt viele Anwendungsszenarien, beispielsweise Textzusammenfassung, automatisierte Generierung von Zeitlinien oder die automatisierte Erstellung von Wissensdatenbanken. Allerdings existiert keine weithin akzeptierte Definition, was eigentlich ein Ereignis ist, stattdessen gibt es viele unterschiedliche Definitionen, Annotationsschema und Datensätze. Oftmals zielen diese Definitionen und Datensätze auf spezifische Anwendungsszenarien ab. Dies bedeutet aber, dass für neue Anwendungen oftmals eine neue Definition geschafft werden muss. Anschließend müssen Daten annotiert werden und ein lernendes System muss auf diesen Daten trainiert werden.

Aufgrund dessen sind wir an Lernverfahren interessiert, die nicht nur auf einem Datensatz gut funktionieren, sondern universell für das Erkennen von Events eingesetzt werden können. Daher analysieren wir in dieser Doktorarbeit eine Architektur, die auf bidirectional long short-term memory networks (BiLSTM) und conditional random fields (CRF) basiert. Die BiLSTM-CRF Architektur wurde bereits erfolgreich für unterschiedlichste Anwendungen aus dem Bereich Sequence Tagging verwendet und ist damit ein vielversprechender Ansatz für die Erkennung von Events. Ein Nachteil der BiLSTM-CRF Architektur ist die hohe Anzahl an Hyperparametern und die hohe Anzahl an konzeptionellen Erweiterungen der Architektur, die von unterschiedlichsten Forschungsgruppen publiziert wurden. Diese Parameter und Designentscheidungen können einen großen Einfluss auf die Performance des Systems haben und es ist nur wenig bekannt, wie die Parameter korrekt zu setzen sind. Dies führt zu einem hohen Aufwand wenn man die Architektur auf einen neuen Datensatz anwenden möchte, da unzählige Parameter und Parameterkombinationen ausprobiert werden müssen. Dies ist besonders kritisch bei der Erkennung von Ereignissen in Texten, da unterschiedlichste applikationsspezifische Datensätze existieren.

Um Aufwand der Adaption für neue Datensätze zu reduzieren, führen wir eine umfassende Analyse der BiLSTM-CRF Architektur durch. Wir identifizieren, welche Parameter und Komponenten der Architektur wichtig für das Erzielen einer guten Performance sind. Darauf aufbauend präsentieren wir eine Standardkonfiguration, die gut funktioniert für eine hohe Anzahl an Datensätzen. Für diese Konfiguration zeigen wir dann, dass diese auch gut für verschiedene Ereignis-Erkennungs-Probleme funktioniert.

In den meisten Anwendungen möchte man nicht nur erkennen, dass ein Ereignis beschrieben wird, sondern man möchte ebenfalls wissen wann dieses Ereignis passiert ist. Es existieren verschiedene Methoden um zeitliche Informationen in Texten zu erfassen und eine Verbindung zu den beschriebenen Ereignissen herzustellen. Wie wir aber in einer Annotationsstudie zeigen, besitzen die existenten Annotationsverfahren, zumindest bei Nachrichtenartikeln, große Nachteile. Existente Annotationsverfahren liefern für einen Großteil der Ereignisse nicht die vom Benutzer gewünschten zeitlichen Informationen. Das Problem existenter Annotationsverfahren ist, dass diese den Annotationsumfang auf denselben bzw. auf benachbarte Sätze beschränken. Zeitliche Informationen für ein Ereignis, dass außerhalb liegt, kann oftmals nicht berücksichtigt werden. Wie wir aber zeigen, kann eine große Anzahl an Sätzen zwischen dem Ereignis und der zeitliche Informationen liegen. Wir entwickelten deswegen ein neues Annotationsverfahren, welches die Nachteile existenter Verfahren adressiert und zeitgleich 85% weniger Annotationsaufwand erfordert.

Während dieses Annotationsverfahren mit weniger Aufwand für die Annotatoren verbunden ist, stellt es automatisierte Verfahren vor neue Herausforderungen. Existente Annotationsschemata lassen sich als paarweise Klassifikation zwischen dem Ereignis und der zeitlichen Information modellieren. Mit dem neuen Annotationsverfahren ist dies nicht mehr möglich. Stattdessen müssen automatisierte Verfahren das gesamte Dokument betrachten und entscheiden, welche Teile im Text relevant sind. Um diese Herausforderungen zu lösen, präsentieren wir einen Entscheidungsbaum, der in den Knoten convolutional neural networks verwendet. Diese neuronale Netzwerke arbeiten auf dem gesamten Textdokument und erzeugen Schrittweise die zeitliche Information für jedes Ereignis im Text. Im Vergleich zu anderen automatisierten System arbeitet das präsentierte System deutlich präziser. Ebenso generalisiert es gut auf neue Daten und Anwendungen. Wir evaluierten es, ohne Anpassung auf den SemEval-2015 Task 4 Datensatz zur Erzeugung automatischer Zeitlinien. Dabei konnte es eine Verbesserung von 4.01 Prozentpunkten erzielen im Vergleich zu anderen Verfahren.

Der letzte Teil der Doktorarbeit beschäftigt sich mit der Evaluation von Lernverfahren. Der Vergleich von Verfahren ist eine treibende Kraft in unserer Forschungsgemeinschaft, die stets versucht, neue und bessere Methoden zu entwickeln. Hierbei entsteht die Frage, wie gut unsere Evaluationsmethoden sind? Wir untersuchen zwei Evaluationsmethoden, die besonders oft in wissenschaftlichen Arbeiten verwendet werden, und zeigen für diese, dass sie ungeeignet sind um Lernverfahren zu vergleichen. Die Schwächen der Evaluationmethoden führen zu einer hohen Gefahr, dass falsche Schlussfolgerungen gezogen werden. Wir identifizieren verschiedene Faktoren, die die Performance von Lernverfahren beeinflussen, und die in der Evaluationsmethode adressiert werden sollten.