Einer der Schlüsselfaktoren für den Erfolg des maschinellen Lernens beim Verstehen von Szenen ist die Entwicklung von datengesteuerten Ansätzen, die automatisch Informationen aus den riesigen Datenmengen extrahieren können. Das Lernen multimodaler Repräsentationen hat sich als einer der anspruchsvollsten Bereiche herausgestellt, um sinnvolle Informationen aus den Eingabedaten zu gewinnen und eine dem Menschen ähnliche Leistung zu erzielen. Die Herausforderungen beim Erlernen von Repräsentationen lassen sich auf die Heterogenität der verfügbaren Datensätze zurückführen, bei denen die Informationen aus verschiedenen Modalitäten oder Bereichen stammen, z. B. visuelle Signale in Form von Bildern und Videos oder textuelle Signale in Form von Sätzen. Außerdem stößt man auf weitaus mehr unbeschriftete Daten in Form von hochgradig multimodalen, komplexen Bildverteilungen. In dieser Arbeit entwickeln wir das Feld des multimodalen Repräsentationslernens für die vielfältige Synthese mit Anwendungen im Bereich des Sehens, der Sprache und der komplexen Bilder weiter. Wir verfolgen einen probabilistischen Ansatz und nutzen tiefe generative Modelle, um die Multimodalität der zugrundeliegenden wahren Datenverteilung zu erfassen, was einen großen Vorteil beim Lernen aus unbeschrifteten Daten bietet.

Zu diesem Zweck konzentrieren wir uns im ersten Teil auf bereichsübergreifende Daten von Bildern und Text. Wir entwickeln gemeinsame tiefe generative Frameworks, um die gemeinsamen Repräsentationen der beiden Verteilungen zu kodieren, die unterschiedlichen generativen Prozessen folgen. Die latenten Räume sind so strukturiert, dass sie semantische Informationen aus den gepaarten Trainingsdaten und sogar die domänenspezifischen Variationen in den Daten kodieren. Darüber hinaus führen wir komplizierte datenabhängige Prioritäten ein, um die Multimodalität der beiden Verteilungen zu erfassen. Die Vorteile der von uns vorgestellten Verfahren sind vielfältig. Die halbüberwachten Techniken bewahren die strukturellen Informationen der Eingabedarstellungen in jeder Modalität mit dem Potenzial, jegliche Informationen einzubeziehen, die in anderen Modalitäten fehlen könnten, was zu Einbettungen führt, die über Datensätze hinweg verallgemeinert werden können. Die Ansätze lösen folglich die Mehrdeutigkeiten der gemeinsamen Verteilung auf und ermöglichen Many-to-Many-Mappings. In dieser Arbeit führen wir auch eine neuartige Faktorisierung im latenten Raum ein, die kontextuelle Informationen unabhängig von den Objektinformationen kodiert und verschiedene kontextuelle Beschreibungen aus den Annotationen von Bildern nutzen kann, die ähnliche kontextuelle Informationen teilen, was zu einem angereicherten multimodalen latenten Raum und somit zu einer größeren Vielfalt in den generierten Beschriftungen führt.

Die Wahrnehmung spielt eine entscheidende Rolle für das menschliche Verständnis der Umwelt. Da Bilddaten immer umfangreicher und komplexer werden, ist es für KI-Systeme unumgänglich, die zugrunde liegende Struktur dieser multimodalen Verteilungen zu erlernen, um ein allgemeines Verständnis der Szene zu ermöglichen. Obwohl gängige tiefe generative Modelle wie GANs und VAEs für Bildverteilungen Fortschritte gemacht haben, gibt es immer noch Lücken bei der Erfassung der zugrunde liegenden wahren Datenverteilung. GANs sind nicht darauf ausgelegt, Dichteschätzungen zu liefern, und VAEs nähern sich der zugrundeliegenden datenerzeugenden Verteilung nur mit unlösbaren Likelihoods an, was sowohl beim Training als auch bei der Inferenz eine Herausforderung darstellt. Um diese Einschränkungen zu beheben, konstruieren wir im zweiten Teil der Arbeit leistungsfähige normalisierende Flüsse und autoregressive Ansätze für Bildverteilungen. Normalisierende Flüsse und autoregressive generative Methoden gehören zu der Klasse der exakten Inferenzmodelle, die die exakte Log-Likelihood der Daten optimieren. Unser erster Ansatz verbessert die Darstellungsleistung von flussbasierten Modellen, die aufgrund der Invertierbarkeit der Flussschichten eingeschränkt sind, indem wir kanalweise Abhängigkeiten in ihren latenten Raum durch mehrskalige autoregressive Prioren einführen. Der sorgfältig entworfene Prior kann Abhängigkeiten in komplexen multimodalen Daten besser erfassen und führt zu hochmodernen Dichteschätzungsergebnissen und einer verbesserten Qualität der Bilderzeugung. Unsere zweite Methode konzentriert sich auf autoregressive Modelle mit ihren äußerst flexiblen Funktionsformen. Die sequentielle Anordnung der Dimensionen macht diese Modelle rechenintensiv. Um dieses Problem zu lösen, schlagen wir einen block-autoregressiven Ansatz vor, der eine verlustfreie Pyramidenzerlegung mit skalenspezifischen Darstellungen verwendet. Die spärliche Abhängigkeitsstruktur macht es einfacher, die gemeinsame Verteilung der Bildpixel zu kodieren. Unser Ansatz liefert Ergebnisse auf dem neuesten Stand der Technik für die Dichteschätzung auf verschiedenen Bilddatensätzen, insbesondere für hochauflösende Daten, und weist Abtastgeschwindigkeiten auf, die sogar leicht parallelisierbaren flussbasierten Modellen überlegen sind.