TU Darmstadt / ULB / TUprints

Natural Language Processing: Integration of Automatic and Manual Analysis

Eckart de Castilho, Richard (2014)
Natural Language Processing: Integration of Automatic and Manual Analysis.
Technische Universität Darmstadt
Ph.D. Thesis, Primary publication

[img]
Preview
Text
rec-thesis-final.pdf - Published Version
Copyright Information: CC BY-NC-ND 2.5 Generic - Creative Commons, Attribution, NonCommercial, NoDerivs .

Download (2MB) | Preview
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: Natural Language Processing: Integration of Automatic and Manual Analysis
Language: English
Referees: Gurevych, Prof. Dr. Iryna ; Henrich, Prof. Dr. Andreas ; Manning, PhD. Christopher D.
Date: 2014
Place of Publication: Darmstadt
Date of oral examination: 10 February 2014
Abstract:

There is a current trend to combine natural language analysis with research questions from the humanities. This requires an integration of automatic analysis with manual analysis, e.g. to develop a theory behind the analysis, to test the theory against a corpus, to generate training data for automatic analysis based on machine learning algorithms, and to evaluate the quality of the results from automatic analysis. Manual analysis is traditionally the domain of linguists, philosophers, and researchers from other humanities disciplines, who are often not expert programmers. Automatic analysis, on the other hand, is traditionally done by expert programmers, such as computer scientists and more recently computational linguists. It is important to bring these communities, their tools, and data closer together, to produce analysis of a higher quality with less effort. However, promising cooperations involving manual and automatic analysis, e.g. for the purpose of analyzing a large corpus, are hindered by many problems:

- No comprehensive set of interoperable automatic analysis components is available.

- Assembling automatic analysis components into workflows is too complex.

- Automatic analysis tools, exploration tools, and annotation editors are not interoperable.

- Workflows are not portable between computers.

- Workflows are not easily deployable to a compute cluster.

- There are no adequate tools for the selective annotation of large corpora.

- In automatic analysis, annotation type systems are predefined, but manual annotation requires customizability.

- Implementing new interoperable automatic analysis components is too complex.

- Workflows and components are not sufficiently debuggable and refactorable.

- Workflows that change dynamically via parametrization are not readily supported.

- The user has no control over workflows that rely on expert skills from a different domain, undocumented knowledge, or third-party infrastructures, e.g. web services.

In cooperation with researchers from the humanities, we develop innovative technical solutions and designs to facilitate the use of automatic analysis and to promote the integration of manual and automatic analysis. To address these issues, we set foundations in four areas:

- Usability is improved by reducing the complexity of the APIs for building workflows and creating custom components, improving the handling of resources required by such components, and setting up auto-configuration mechanisms.

- Reproducibility is improved through a concept for self-contained, portable analysis components and workflows combined with a declarative modeling approach for dynamic parametrized workflows, that facilitates avoiding unnecessary auxiliary manual steps in automatic workflows.

- Flexibility is achieved by providing an extensive collection of interoperable automatic analysis components. We also compare annotation type systems used by different automatic analysis components to locate design patterns that allow for customization when used in manual analysis tasks.

- Interactivity is achieved through a novel "annotation-by-query" process combining corpus search with annotation in a multi-user scenario. The process is supported by a web-based tool.

We demonstrate the adequacy of our concepts through examples which represent whole classes of research problems. Additionally, we integrated all our concepts into existing open-source projects, or we implemented and published them within new open-source projects.

Alternative Abstract:
Alternative AbstractLanguage

Es besteht ein aktueller Trend, natürliche Sprachverarbeitung zur Beantwortung von Forschungsfragen aus dem Bereich der Geisteswissenschaften einzusetzen. Dies erfordert eine Integration automatischer und manueller Analyseschritte, z.B. um zunächst eine Theorie zu entwickeln, um diese Theorie dann anhand einer Korpusstudie zu überprüfen, um Trainingsdaten für ein maschinelles Lernverfahren zu generieren, um ein solches zur automatischen Analyse einzusetzen oder um die Qualität der automatischen Analyse auszuwerten. Manuelle Analysen werden meist von Linguisten, Philosophen und Forschern anderer geisteswissenschaftlichen Disziplinen durchgeführt. Automatische Analysen hingegen werden häufig von Forschern mit umfassenden Programmierkenntnissen durchgeführt, z.B. von Informatikern und zunehmend von Computerlinguisten. Es ist wichtig diese unterschiedlichen Forschergruppen, deren Werkzeuge und Daten näher zusammenzubringen, um in kürzerer Zeit und mit weniger Aufwand Ergebnisse von höherer Qualität zu erzielen. Allerdings werden vielversprechende Kooperationen, die sowohl manuelle als auch automatische Analyseschritte umfassen, z.B. die Analyse großer Korpora, derzeit von vielerlei Problemen behindert:

- Es existiert keine umfassende Sammlung von interoperablen Softwarekomponenten zur automatischen Textanalyse.

- Einen automatischen Analyseablauf aus solchen Komponenten zusammenzustellen gestaltet sich zu schwierig.

- Werkzeuge zur automatischen Textanalyse, Textexploration, und zur Erstellung von Annotationen sind nicht interoperabel.

- Die Portabilität von automatischen Analyseabläufen zwischen verschiedenen Computern ist nicht gegeben.

- Arbeitsabläufe sind nicht einfach auf Clusterumgebungen zu übertragen.

- Es existieren keine angemessenen Werkzeuge zur selektiven Annotation innerhalb großer Korpora.

- Bei der automatischen Analyse sind Annotationstypen vorgegeben, während bei der manuellen Analyse eine flexible Gestaltung der Annotationstypen erforderlich ist.

- Die Implementierung neuer Analysekomponenten ist zu aufwändig.

- Analysekomponenten und -abläufe können nicht leicht auf Fehler untersucht oder einer Refaktorisierung unterzogen werden.

- Analyseabläufe, deren Struktur sich anhand ihrer Parametrisierung dynamisch ändert, werden nicht direkt unterstützt.

- Der Benutzer behält keine Kontrolle über automatische Analyseabläufe, wenn zu deren Nutzung fremdes Expertenwissen, undokumentiertes Wissen, oder externe Infrastrukturen, z.B. Webservices, notwendig sind.

In Zusammenarbeit mit Wissenschaftlern aus den Geisteswissenschaften erarbeiten wir innovative technische Lösungen und Entwürfe, welche die Verwendung automatischer Textanalyse erleichtern und deren Integration in manuelle Analyseverfahren fördern. Dazu bearbeiten wir vier Bereiche, in denen wir jeweils Grundlagen schaffen, um die oben genannten Probleme zu adressieren:

- Wir verbessern die Benutzbarkeit automatischer Analysekomponenten und -abläufe, z.B. durch einfachere Programmierschnittstellen und durch einen Selbstkonfigurationsmechanismus für Analysekomponeten.

- Wir adressieren die Reproduzierbarkeit von Analyseergebnissen durch Konzepte, welche die Portabilität und Automatisierbarkeit von Analyseabläufen verbessern. Dadurch werden unnötige manuelle Zwischenschritte in Analyseabläufen vermieden und der Austausch von Abläufen und Ergebnissen zwischen Forschern erleichtert.

- Wir schaffen Flexibilität durch die Bereitstellung einer umfangreichen Sammlung interoperabler Analysekomponenten. Darüber hinaus untersuchen wir die Annotationstypen unterschiedlicher Komponentensammlungen auf wiederkehrende Entwurfsmuster, die Raum für Anpassungen im Rahmen manueller Analysen bieten.

- Wir schaffen Interaktivität im Umgang mit automatisch erstellten Analyseergebnissen, indem wir die Suche über Korpusdaten direkt in einen mehrbenutzerfähigen Annotationsprozess integrieren. Diesen neuartigen Ansatz der "Annotation durch Suche", unterstützen wir weiterhin durch ein neues webbasiertes Annotationswerkzeug.

Wir demonstrieren die Tragfähigkeit unserer Konzepte anhand von Beispielen, die prototypisch für ganze Klassen von Forschungsproblemen stehen. Zudem haben wir alle vorgestellten Konzepte in bestehende Open-Source-Projekte integriert, oder als neue Open-Source-Projekte umgesetzt und veröffentlicht.

German
Uncontrolled Keywords: Natural Language Processing, Software Engineering, Automatic Text Analysis, Manual Text Analysis, Annotation Tool, Annotation Type Systems
URN: urn:nbn:de:tuda-tuprints-41517
Classification DDC: 000 Generalities, computers, information > 004 Computer science
400 Language > 400 Language, linguistics
Divisions: 20 Department of Computer Science
20 Department of Computer Science > Ubiquitous Knowledge Processing
Date Deposited: 14 Nov 2014 09:04
Last Modified: 09 Jul 2020 00:47
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/4151
PPN: 350016240
Export:
Actions (login required)
View Item View Item