In dieser Dissertation leiste ich einige Beiträge zur Entwicklung des Repräsentationslernens im Kontext externer Zwänge und lauter Supervision. Eine Einstellung externer Einschränkungen bezieht sich auf das Szenario, in dem der Lernende gezwungen ist, eine latente Darstellung der gegebenen Datenpunkte auszugeben, während er bestimmte Bedingungen durchsetzt. Diese Bedingungen können geometrische Einschränkungen sein, z. B. das Erzwingen, dass die Vektoreinbettungen basierend auf bestimmten Beziehungen nahe beieinander liegen, oder das Erzwingen, dass die Einbettungsvektoren in einer bestimmten Mannigfaltigkeit liegen. wie die Mannigfaltigkeit von Vektoren, deren Elemente sich zu 1 summieren, oder noch komplexere Einschränkungen.

Die interessierenden Objekte dieser Arbeit sind Elemente einer Sammlung X in einem abstrakten Raum, der mit einer Ähnlichkeitsfunktion ausgestattet ist, die quantifiziert, wie ähnlich zwei Objekte sind. Eine Sammlung ist definiert als eine Menge von Elementen, bei denen die Reihenfolge ignoriert wird, aber die Multiplizität relevant ist. Auf dem Gebiet des maschinellen Lernens werden verschiedene Arten von Sammlungen als Eingaben oder Ausgaben verwendet. Die gebräuchlichsten sind vielleicht Sequenzen und Mengen.

Neben der Untersuchung von Repräsentationslernansätzen in Gegenwart externer Einschränkungen behandeln wir in dieser Arbeit den Fall, in dem die Auswertung dieser Ähnlichkeitsfunktion nicht direkt möglich ist. In den letzten Jahren hat die Einstellung des maschinellen Lernens, nur binäre Antworten auf einige Vergleiche für Tupel von Elementen zu haben, an Interesse gewonnen. Es ist von grundlegender Bedeutung, gute Darstellungen aus einem Szenario zu lernen, in dem keine eindeutigen Entfernungsinformationen erhalten werden können. Dieses Problem steht im Gegensatz zu der Standardeinstellung für maschinelles Lernen, bei der die Ähnlichkeitsfunktion zwischen Elementen direkt ausgewertet werden kann. Außerdem gehen wir den Fall an, dass dem Lernenden verrauschte Supervisionssignale gegeben werden, mit einer gewissen Wahrscheinlichkeit, dass das Etikett falsch ist. Eine weitere Forschungsfrage, die in dieser Arbeit untersucht wurde, ist, wie die Qualität der erlernten Repräsentationen beurteilt werden kann und wie ein Lernender die Unsicherheit über diese Repräsentation vermitteln kann.

Nach dem einleitenden Kapitel 1 ist die Arbeit in drei Hauptteile gegliedert. Im ersten Teil präsentiere ich die Ergebnisse des Repräsentationslernens basierend auf Datenpunkten, die Sequenzen sind. Der Schwerpunkt in diesem Teil liegt auf Sätzen und Permutationen, bestimmten Arten von Sequenzen. Der erste Beitrag dieses Teils besteht darin, analoge Beziehungen zwischen Sätzen durchzusetzen, und der zweite besteht darin, geeignete Darstellungen für Permutationen zu lernen, die bestimmte mathematische Objekte sind, indem neuronale Netze verwendet werden. Der zweite Teil dieser Arbeit befasst sich mit der Frage des Lernens wahrnehmungsbezogener Einbettungen aus binären und verrauschten Vergleichen. Beim maschinellen Lernen wird dieses Problem als ordinales Einbettungsproblem bezeichnet. Dieser Teil enthält zwei Kapitel, die zwei unterschiedliche Aspekte des Problems herausarbeiten: die angemessene Vermittlung der Unsicherheit der Darstellung und das Lernen der Einbettungen aus aggregiertem und verrauschtem Feedback. Schließlich enthält der dritte Teil der Arbeit Anwendungen der Ergebnisse des vorherigen Teils, nämlich die unüberwachte Ausrichtung von Wolken von Einbettungsvektoren und die Erweiterung von Entitätsmengen.