TU Darmstadt / ULB / TUprints

On the Statistics of Trustworthiness Prediction

Hauke, Sascha (2015)
On the Statistics of Trustworthiness Prediction.
Technische Universität Darmstadt
Ph.D. Thesis, Primary publication

[img]
Preview
Text
ClassicThesis.pdf - Accepted Version
Copyright Information: CC BY-NC-ND 3.0 Unported - Creative Commons, Attribution, NonCommercial, NoDerivs.

Download (6MB) | Preview
Item Type: Ph.D. Thesis
Type of entry: Primary publication
Title: On the Statistics of Trustworthiness Prediction
Language: English
Referees: Mühlhäuser, Prof. Dr. Max ; Jensen, Prof. Christian D.
Date: 14 January 2015
Place of Publication: Darmstadt
Date of oral examination: 16 March 2015
Abstract:

Trust and trustworthiness facilitate interactions between human beings worldwide, every day. They enable the formation of friendships, making of profits and the adoption of new technologies, making life not only more pleasant, but furthering the societal development. Trust, for lack of a better word, is good. When human beings trust, they rely on the trusted party to be trustworthy, that is, literally worthy of the trust that is being placed in them. If it turns out that the trusted party is unworthy of the trust placed into it, the truster has misplaced its trust, has unwarrantedly relied and is liable to experience possibly unpleasant consequences. Human social evolution has equipped us with tools for determining another’s trustworthiness through experience, cues and observations with which we aim to minimise the risk of misplacing our trust.

Social adaptation, however, is a slow process and the cues that are helpful in real, physical environments where we can observe and hear our interlocutors are less helpful in interactions that are conducted over data networks with other humans or computers, or even between two computers. This presents a challenge in a world where the virtual and the physical intermesh increasingly. A challenge that computational trust models seek to address by applying computational evidence-based methods to estimate trustworthiness.

In this thesis, the state-of-the-art in evidence-based trust models is extended and improved upon – in particular with regard to their statistical modelling. The statistics behind (Bayesian) trustworthiness estimation will receive special attention, their extension bringing about improvements in trustworthiness estimation that encompass the fol- lowing aspects: (i.) statistically well-founded estimators for binomial and multinomial models of trust that can accurately estimate the trustworthiness of another party and those that can express the inher- ent uncertainty of the trustworthiness estimate in a statistically meaningful way, (ii.) better integration of recommendations by third parties using advanced methods for determining the reliability of the received recommendations, (iii.) improved responsiveness to changes in the behaviour of trusted parties, and (iv.) increasing the generalisability of trust-relevant information over a set of trusted parties. Novel estimators, methods for combining recommendations and other trust- relevant information, change detectors, as well as a mapping for integrating stereotype-based trustworthiness estimates, are bundled in an improved Bayesian trust model, Multinomial CertainTrust.

Specific scientific contributions are structured into three distinct categories:

1. A Model for Trustworthiness Estimation: The statistics of trustworthiness estimation are investigated to design fully multinomial trustworthiness estimation model. Leveraging the assumptions behind the Bayesian estimation of binomial and multinomial proportions, accurate trustworthiness and certainty estimators are presented, and the integration of subjectivity via informed and non-informed Bayesian priors is discussed.

2. Methods for Trustworthiness Information Processing: Methods for facilitating trust propagation and accounting for concept drift in the behaviour of the trusted parties are introduced. All methods are applicable, by design, to both the binomial case and the multinomial case of trustworthiness estimation.

3. Further extension for trustworthiness estimation: Two methods for addressing the potential lack of direct experiences with new trustee in feedback-based trust models are presented. For one, the dedicated modelling of particular roles and the trust delegation between them is shown to be principally possible as an extension to existing feedback- based trust models. For another, a more general approach for feature-based generalisation using model-free, supervised machine-learners, is introduced.

The general properties of the trustworthiness and certainty estimators are derived formally from the basic assumptions underlying binomial and multinomial estimation problems, harnessing fundamentals of Bayesian statistics. Desired properties for the introduced certainty estimators, first postulated by Wang & Singh, are shown to hold through formal argument. The general soundness and applicability of the proposed certainty estimators is founded on the statistical properties of interval estimation techniques discussed in the related statistics work and formally and rigorously shown there.

The core estimation system and additional methods, in their entirety constituting the Multinomial CertainTrust model, are implemented in R, along with competing methods from the related work, specifically for determining recommender trustworthiness and coping with changing behaviour through ageing. The performance of the novel methods introduced in this thesis was tested against established methods from the related work in simulations.

Methods for hardcoding indicators of trustworthiness were implemented within a multi-agent framework and shown to be functional in an agent-based simulation. Furthermore, supervised machine-learners were tested for their applicability by collecting a real-world data set of reputation data from a hotel booking site and evaluating their capabilities against this data set. The hotel data set exhibits properties, such as a high imbalance in the ratings, that appears typical of data that is generated from reputation systems, as these are also present in other data sets.

Alternative Abstract:
Alternative AbstractLanguage

Vertrauen und Vertrauenswürdigkeit erleichtern Menschen täglich und weltweit das Zusammenleben. Durch Vertrauen und Vertrauenswürdig- keit werden Freundschaften erst ermöglicht, Geschäftsgewinne erwirtschaftet und neue Technologien angenommen – in der Gesamt- sicht wird durch Vertrauen nicht nur das Leben für jeden einzelnen angenehmer, sondern auch die Gesellschaft als Ganzes gestärkt. Vertrauen ist, einfach ausgedrückt, etwas gutes. Wenn man nun jemandem Vertrauen entgegenbringt, verlässt man sich darauf, dass die Seite, die das Vertrauen erhält auch vertrauenswürdig ist, d.h. sich buchstäblich des entgegengebrachten Vertrauens als würdig erweist. Sollte dies nicht der Fall sein, so hat der Vertrauende mit den unangenehmen Konsequenzen zurechtzukommen, die ungerechtfertigtes Vertrauen bedingt. Um sich vor solchen unwillkommenen und möglicherweise schmerzhaften Konsequenzen zu schützen, haben uns soziale Evolutionsprozesse mit Werkzeugen ausgestattet, um die Ver- trauenswürdigkeit eines anderen zu beurteilen; durch gesammelte Er- fahrungen, Beobachtungen des Auftretens des Gegenübers und subtil wahrgenommene Signale wird versucht, das Risiko des unbegründeten Vertrauens zu minimieren.

Dieser soziale Prozess und die erlernten sozialen Werkzeuge sind hilfreich im alltäglichen Leben und in der gewohnten, physischen Umgebung, in der wir Gesprächspartner beobachten können. Weniger hilfreich sind sie dort, wo uns die gewohnten Signale fehlen, besonders wenn Interaktionen in elektronischen Netzen stattfinden und unter Umständen das Gegenüber gar kein Mensch ist – oder gar die Kommunikation nur zwischen Maschinen stattfindet. In einer Umgebung, in der das Virtuelle und das Reale sich immer mehr miteinander verbinden, stellte die Abschätzung von Vertrauenswürdigkeit eine wissenschaftliche Herausforderung dar. Hierzu entwickelte Vertrauensmodelle nutzen datenbasierte Schätzmethoden, um Vertrauenswürdigkeit rechnerisch zu bestimmen.

Im Rahmen dieser Arbeit werden solche Vertrauensmodelle erweitert und verbessert. Hierbei liegt ein besonderes Augenmerk auf deren statistischer Methodik. Indem die (Bayes’sche) Statistik, die in solchen Modellen der Vertrauenswürdigkeitsabschätzung zugrunde liegt, betrachtet und für Erweiterungen genutzt wird, werden Verbesserungen bezüglich folgender Aspekte erreicht: (i.) statistisch wohlbegründete Schätzer zur Bestimmung von Vertrauenswürdigkeit und der bei der Schätzung auftretenden, inhärenten Unsicherheit sowohl für binomial, als auch für multinomiale Modelle, (ii.) eine Verbesserung der Integration von Empfehlungen durch dritte, die insbesondere durch fortgeschrittene Methoden zur Bestimmung der Zuverlässigkeit der Empfehlenden ermöglicht wird, (iii.) Verbesserung der Empfindlichkeit bei der Entdeckung von Verhaltensänderungen im Zusammenhang mit vertrauenswürdigem Verhalten und (iv.) Verbesserung der Generalisierbarkeit von Daten, die für die Vertrauenswürdigkeitsabschätzung herangezogen werden können.

Die entwickelten neuartigen Schätzer, Methoden zur Kombination von vertrauensrelevanten Informationen, Detektoren für Verhaltensänderungen, genauso wie eine Schnittstelle zur Integration von Vertrauenswürdigkeitsabschätzungen anhand von Stereotypen aus maschinellem Lernen, sind integriert in ein fortschrittliches Bayes’sches Vertrauensmodell, genannt Mutlinomial CertainTrust.

Die erbrachten Beiträge gliedern sich in drei Kategorien: 1. Ein Modell für Vertrauenswürdigkeitsabschätzung: Die statistischen Grundlagen der Vertrauenswürdigkeitsanschätzung werden untersucht, um darauf aufbauend ein vollständig multinomiales Vorhersagemodell für Vertrauenswürdigkeit zu entwickeln. Hierzu werden, ausgehend von den Grundannahmen Bayes’scher Schätzverfahren für binomial und multinomiale Verhältnisse, genaue Schätzer für Vertrauenswürdigkeit und Unsicherheit vorgestellt; zudem wird die Integration von subjektiven Information über informative und nicht-informative Bayes’sche A-priori-Wahrscheinlichkeiten diskutiert.

2. Methoden zur Verarbeitung von vertrauensrelevanten Informationen: Zur Verbesserung der Propagation von Vertrauen und der Detektion von Verhaltensänderungen werden entsprechende Methoden dem Vertrauensmodell hinzugefügt. Alle Methoden sind hierbei sowohl für binomial als auch für multinomial Vertrauenswürdigkeitsabschätzung anwendbar.

3. Weitere Methoden zur Vertrauenswürdigkeitsbestimmung: Zwei Ansätze, die den etwaigen Mangel an direkten Erfahrungen mit einzelnen In- teraktionspartnern addressieren, werden vorgestellt. Zum einen wird das dedizierte Abbilden von Rollen innerhalb von erweiterten Vertrauensbeziehungen und die Delegation zwischen diesen als prinzipielle Möglichkeit gezeigt. Zum anderen wird eine generellerer Ansatz durch die Anwendung von überwachtem maschinellen Lernen auf Basis von modellfreien Lernverfahren eingeführt.

Die Eigenschaften der Schätzer für Vertrauenswürdig- keit und Unsicherheit werden formal anhand der statistischen Eigenschaften des Bayes’schen Schätzverfahrens gezeigt. Gewünschte Eigenschaften für Unsicherheitsschätzer, eingeführt vorn Wang & Singh, werden anhand von formaler Argumentation nachgewiesen. Durch die Zurückführung der Schätzverfahren auf etablierte grundlegende statistische Modelle von Punkt- und Intervalschätzern sind die generellen Eigenschaften der Schätzer durch die verwandte Literatur im Bereich Statistik und Schätztheorie gestützt Das Modell zur Vertrauenswürdigkeitsabschätzung als Basis, sowie zusammen mit den weiteren entwickelten Methoden, wurden in der Programmiersprache R implementiert, ebenso wie Methoden aus der Literatur. Die in dieser Arbeit eingeführten Verfahren, insbesondere zur Bestimmung der Zuverlässigkeit von Empfehlungen und der Detektion von Verhaltensänderungen wurden gegen Methoden aus der verwandten Literatur getestet und mit diesen verglichen.

Die Methoden zur Vertrauenswürdigkeitsgeneralisierbarkeit mit- tels Rollen wurde in einer Multiagentensimulation implementiert und getestet. Die Anwendbarkeit von maschinellem Lernen wurde anhand eine Datensatzes, der aus einem Reputationssytem für Hotelbuchungen gewonnen wurde, evaluiert. Der verwendete Datensatz zeigte Eigenschaften, die als repräsentativ für Datensätze betrachtet werden können, wie sie von Vertrauens- und Reputationssystäemen typischerweise generiert werden.

German
Uncontrolled Keywords: Computational Trust, Trust Model
URN: urn:nbn:de:tuda-tuprints-49914
Classification DDC: 000 Generalities, computers, information > 004 Computer science
Divisions: 20 Department of Computer Science
20 Department of Computer Science > Telecooperation
Date Deposited: 08 Oct 2015 12:09
Last Modified: 09 Jul 2020 01:06
URI: https://tuprints.ulb.tu-darmstadt.de/id/eprint/4991
PPN: 386810907
Export:
Actions (login required)
View Item View Item