Die Schätzung des optischen Flusses, also die Vorhersage der Bewegung in einer Bildsequenz, ist ein grundlegendes Problem im Bereich der Computer Vision. Die Information über den optischen Fluss wird insbesondere als Grundlage für verschiedene weitere Aufgaben verwendet, wie etwa Navigation, Objektverfolgung oder Bildregistrierung. Bei der Schätzung von Flussfeldern sind einige Bildregionen besonders herausfordernd - entweder wegen aufgabenspezifischer Schwierigkeiten wie Beleuchtungsänderungen und Verdeckungen oder aufgrund häufiger Schätzfehler, beispielsweise bei großen Verschiebungen und nahe am Übergang zwischen unterschiedlichen Bewegungen. Über das Bild betrachtet kann die Verlässlichkeit einer Schätzung des optischen Flusses somit stark variieren.

Der erste Teil dieser Arbeit konzentriert sich daher auf probabilistische Methoden für optischen Fluss, welche eine A-Posteriori Verteilung über das Flussfeld bedingt auf den Eingabebildern vorhersagen. Die erste Methode nutzt Variationsinferenz, um eine A-Posteriori Verteilung zu approximieren, welche von energiebasierten Flussmodellen abgeleitet ist. Mit ProbFlow zeigt dabei ein vollständig probabilistischer Ansatz zum ersten Mal kompetitive Ergebnisse auf populären Benchmark Datensätzen. Das modell-inhärente Konfidenzmaß zeigt sich überlegen gegenüber früheren Arbeiten und die Unsicherheiten können gewinnbringend zur Verbesserung des optischen Flusses sowie einer nachfolgenden Bewegungssegmentierung eingesetzt werden.

In einer Folgearbeit wird SVIGL entwickelt, um stochastische Ansätze für Variationsinferenz mit Gradientenlinearisierung zu kombinieren - ein Verfahren, welches aufgrund seiner guten Optimierungseigenschaften häufig bei Energiemethoden für optischen Fluss eingesetzt wird. SVIGL zeigt eine schnellere Konvergenz und eine höhere Robustheit als Standardansätze bei der stochastischen Variationsinferenz komplexer A-Posteriori Verteilungen. Zusätzlich ermöglicht SVIGL die Bestimmung eines probabilistischen optischen Flusses mit gleichbleibend guten Ergebnissen aber ohne die aufwändige Ableitung von Updateschritten, welche für ProbFlow erforderlich sind.

Obwohl Konfidenzschätzungen in der Lage sind, unzuverlässige Bereiche zu erkennen, verbessern sie nicht direkt die geschätzten Flussfelder. Der zweite Teil dieser Arbeit befasst sich daher mit der Verfeinerung optischer Flussvorhersagen im Kontext neuronaler Netze. Hierbei wird die Nachbearbeitung des Flusses durch die Eingabebilder beeinflusst, da diese wertvolle Informationen über die Struktur korrekter Vorhersagen beinhalten. Der erste Ansatz basiert auf einer bestehenden Methode für bildadaptive Faltungen in einem hochdimensionalen Raum, welcher von unterschiedlichen Merkmalsdimensionen aufgespannt wird. Diese werden in der vorliegenden Arbeit aus Daten gelernt, um das bei der Filterung verwendete Konzept der Pixelähnlichkeit zu verbessern. Der resultierende semantic lattice wird daraufhin angewandt, um das einfache bilineare Upsampling moderner neuronaler Netze zu ersetzen. Dadurch zeigt sich eine klare Verbesserung der Schätzungen, insbesondere an Bewegungskanten.

Im letzten Beitrag werden die beiden Ziele dieser Arbeit kombiniert und die Konfidenzschätzung an jedem Pixel zur bildadaptiven Verfeinerung optischer Flussvorhersagen genutzt. Hierfür werden Pixel in einer Nachbarschaft durch die vorgeschlagenen probabilistic pixel-adaptive convolutions (PPACs) nicht nur abhängig von gelernten Ähnlichkeitsmerkmalen gewichtet, sondern auch basierend auf ihrer individuellen Zuverlässigkeit. Die beschriebenen PPAC-Netzwerke führen zu wesentlichen Verbesserungen im Vergleich zu den zugrunde liegenden Schätzungen des optischen Flusses. Die erzielten Ergebnisse sind state-of-the-art auf mehreren Benchmarks und zeigen gleichmäßige Flussfelder mit scharfen Bewegungsgrenzen sowie verbesserten Schätzungen in unzuverlässigen Regionen.