Transparency Detection in Computer Vision Applications

Transparency is all around us. From windows to glass encased shopping malls. From drinking glasses to aquariums. And from safety goggles to protective encasings. It is one of the signs of technological advancement and prosperity, widely utilized in art and engineering. In contrast, it is not clearly understood how humans even perceive transparency. To build advanced autonomous moving agents or vision aids, we need to at least solve this intriguing challenge for computer vision applications. This thesis highlights and examines possible adverse effects that transparency related effects introduce to computer vision applications. Common depth estimation techniques only account for one depth per pixel, while a drinking glass already adds two possible depths. Looking through transparency, distortions and reflections affect object detection methods. Transparent objects transmit light differently, when dust accumulates or scratches interrupt their surface. This leads to gradually worse results from, e.g., condition monitoring setups behind protective glasses. Disregarding human made transparencies, there are also natural phenomena like heat shimmers and water droplets that play a role in industrial applications like condition monitoring or for autonomous agents. Solving those issues is not always possible, due to the ill posed task of restoring a pre transparency influenced image state. However, I introduce several possibilities of detecting and mitigating transparency related effects. A common issue with machine learning related solutions for novel challenges oftentimes lies in the scarcity of suitable data and/or the massive labor cost involved in creating new data from scratch, as in the wider case of transparency. To enable further research concerning transparency related effects on computer vision applications, I introduce a state-of-the-art luminance keying dataset acquisition method that greatly facilitates the translation from real world objects into annotated datasets. It combines a black 99,99% light absorbing background with a post processing pipeline that leads to automated annotation masks. It is also the first easy setup that works with transparent objects, resolving the most demanding side effects from common chroma keying: no color bleeding, fuzzy edges, foreground background mixing, or shadows. In summary, this thesis showcases the importance and challenging aspects of transparency for computer vision applications and introduces novel prospects to facilitate further research.

Transparenz findet sich überall um uns herum. Von Glasfenstern zu nahezu komplett verglasten Einkaufszentren. Von Wassergläsern zu Aquarien. Und von Schutzbrillen zu speziellen Sicherheitsverglasungen. Glas ist ein Zeichen von technologischem Fortschritt und Wohlstand, welches großen Anklang in Architektur und Kunst gefunden hat. Im Gegensatz zu der weiten Verbreitung wurde bisher kaum verstanden, wie Menschen wirklich kognitiv mit Transparenz umgehen. Um aber hoch entwickelte Roboter oder Sehhilfen zu entwickeln, braucht es Möglichkeiten, in der Computer Vision mit transparenten Objekten umzugehen. Diese Doktorarbeit präsentiert und erforscht mögliche Nebenwirkungen, welche durch Transparenz bedingte Eigenschaften in Computer-Vision-Anwendungen auftreten können. Übliche Verfahren zur Tiefenerkennung berechnen nur eine Tiefe pro Bildpunkt. Ein übliches Wasserglas bietet schon mindestens 2 sichtbare Tiefenpunkte. Wenn man durch solch ein transparentes Objekt sieht, verändern Verzerrungen und Reflexionen die Wahrnehmung des Objektes und seines Hintergrundes. Sobald sich auf dem Objekt Kratzer bilden oder sich Schmutz sammelt, ändern sich diese Eigenschaften noch weiter. Das führt unter anderem zu schleichend schlechteren Ergebnissen von Kamerasystemen, welche einen Prozess durch eine Schutzscheibe überwachen. Ganz unabhängig von menschengemachten Transparenzen gibt es auch natürliche Vorkommnisse wie Hitzeflimmern und Wassertropfen. Beides spielt eine große Rolle in Industrieprozessen und für autonomes Fahren. Solche Probleme zu lösen, ist nicht immer einwandfrei möglich. Das liegt vor allem an der Unmöglichkeit, eine Bildaufnahme eindeutig in einen Zustand, ohne transparente Nebenwirkungen zu überführen. Jedoch ist es möglich, diese Nebenwirkungen zu detektieren und zu mitigieren. Zusammenfassend zeigt diese Doktorarbeit die wichtigen Herausforderungen von Transparenz in der Computer Vision auf und stellt neue Verfahren vor, um mit diesen umzugehen. Eine weitere Herausforderung für neuartige Computer-Vision-Anwendungen des maschinellen Lernens ist die begrenzte Verfügbarkeit von annotierten Trainingsdaten und die horrenden Kosten, neue Daten zu erstellen. Dies trifft insbesondere auf transparente Objekte zu. Um die künftige Forschung zu erleichtern, stelle ich in dieser Arbeit ein Verfahren vor, welches eben jene Datensatzerstellung deutlich erleichtert. Diese neuartige Methode kombiniert 99,99 % lichtabsorbierendes Hintergrundmaterial mit einer automatisierten Weiterverarbeitung. Hierbei werden die Annotationen automatisch erstellt und es ist das erste Verfahren, das gleichzeitig sehr vielversprechend und arbeitsunintensiv mit transparenten Objekten umgehen kann. Zusammenfassend zeigt diese Doktorarbeit die wichtigen Herausforderungen von Transparenz in der Computer Vision auf und stellt neue Verfahren vor, um mit diesen umzugehen.