Durch das Handyspiel Pokémon Go, das innerhalb von wenigen Tagen mehr als 75 Millionen Nutzer begeisterte, ist die „Augmented Reality“ im Alltag der Menschen angekommen. Bilder oder Videos von einer realen Umgebung werden hier mit am Computer generierten Informationen erweitert, indem sie über das Bild gelegt oder eingeblendet werden. Wissenschaftler des Max-Planck-Instituts für Informatik haben nun eine Software entwickelt, mit deren Hilfe sich Informationen so fotorealistisch verändern lassen, dass der Unterschied zur realen Aufnahme nicht mehr erkennbar ist. Die Forscher aus Saarbrücken sind überzeugt, dass dies ein Quantensprung für Anwendungen der „erweiterten Realität“ ist.
Pokémon Go, ein Spiel für Mobilgeräte wie Smartphone und Tabletcomputer, hat der Technologie „Augmented Reality“ einen großen Schub gegeben. Informatiker aus Saarbrücken heben diese Technologie nun auf eine neue Qualitätsstufe, indem sie nicht mehr das reale, digitale Bild mit visuellen Informationen überlagern, sondern das Bild realitätsgetreu verändern. „Den Farbwert, den eine Kamera während der Aufnahme einzelnen Bildpunkten, sogenannten Pixeln, zuordnet, ist, etwas vereinfacht gesagt, immer das Produkt aus Reflexion und Beleuchtung“, erklärt Christian Theobalt, Leiter einer Forschergruppe am Saarbrücker Max-Planck-Institut für Informatik und Informatik-Professor der Universität des Saarlandes. „Das Problem ist jedoch, dass die beiden Komponenten dieser Rechnung nur indirekt im Bild enthalten sind und damit nicht messbar sind“, so Theobalt.
Zusammen mit den beiden Max-Planck-Forschern Abhimitra Meka und Michael Zollhöfer sowie Christian Richardt, der an der University of Bath arbeitet, löst er dieses Problem auf besondere Weise. Die von den Forschern entwickelte Software schafft dies sogar in Echtzeit für jedes Pixel eines Bildes, das von einer herkömmlichen Webcam stammt. Der Aufbau des Demonstrators ist einfach, das Ergebnis daher noch beeindruckender: Eine junge Frau steht in einem Raum vor einem fahrbaren Whiteboard und einer großen Pflanze. Sie trägt ein rotes T-Shirt mit einem breiten, weißen Schriftzug. Eine Webcam filmt sie, auf dem Bildschirm des angeschlossenen Monitors ist das T-Shirt jedoch in Blau und damit in einer völlig anderen Farbe zu sehen. Es ist der einzige Unterschied, der zwischen der Szene im Raum und der Szene auf dem Bildschirm zu erkennen ist.
„Indem wir blitzschnell für jedes Pixel die Beleuchtung und den Grad der Reflexion abschätzen und lediglich einen der beiden Faktoren verändern, bleibt der realistische Eindruck erhalten“, erklärt Theobalt. Diese Abschätzung basiert auf mathematischen Optimierungsverfahren. Indem die Software diese parallel berechnet, sind die Änderungen so schnell umsetzbar, dass es sogar bei Live-Aufnahmen möglich ist. Und die Software macht nicht bei Farben halt. Ändern die Wissenschaftler den Reflexionsgrad, lassen sich sogar andere Materialien vortäuschen. So kann die Software ein abgefilmtes Hemd aus Baumwolle während der Ausstrahlung in ein Samthemd verwandeln.
„Kein anderes Verfahren schafft dies momentan so schnell und mit Hilfe einer einfachen Kamera“, erklärt Abhimitra Meka, der die Software als Teil seiner Doktorarbeit an der Universität des Saarlandes entwickelt hat. Die Wissenschaftler aus Saarbrücken sind daher gespannt, in welche Anwendungen die Software einfließen wird. Computerspielindustrie und Mode seien naheliegend. Laut Theobalt könne auch der Online-Handel davon profitieren: „Stellen Sie sich vor, Sie denken über ein neues Sofa in einer anderen Farbe nach. Mit unserem Programm können Sie prüfen, ob die angedachte Farbe zu den Lichtverhältnissen im Wohnzimmer passt. Sie müssen dafür noch nicht mal aufstehen.“
Hintergrund: Saarland Informatics Campus
Den Kern des Saarland Informatics Campus bildet die Fachrichtung Informatik an der Universität des Saarlandes. In unmittelbarer Nähe forschen auf dem Campus sieben weitere, weltweit renommierte Forschungsinstitute. Neben den beiden Max-Planck-Instituten für Informatik und Softwaresysteme sind dies das Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI), das Zentrum für Bioinformatik, das Intel Visual Computing Institute, das Center for IT-Security, Privacy and Accountability (CISPA) und der Exzellenzcluster „Multimodal Computing and Interaction“.
Intrinsic video decomposition refers to the fundamentally ambiguous task of separating a video stream into its constituent layers, in particular reflectance and shading layers. Such a decomposition is the basis for a variety of video manipulation applications, such as realistic recoloring or retexturing of objects. We present a novel variational approach to tackle this underconstrained inverse problem at real-time frame rates, which enables on-line processing of live video footage. The problem of finding the intrinsic decomposition is formulated as a mixed variational l2–lp-optimization problem based on an objective function that is specifically tailored for fast optimization. To this end, we propose a novel combination of sophisticated local spatial and global spatio-temporal priors resulting in temporally coherent decompositions at real-time frame rates without the need for explicit correspondence search. We tackle the resulting high-dimensional, non-convex optimization problem via a novel data-parallel iteratively reweighted least squares solver that runs on commodity graphics hardware. Real-time performance is obtained by combining a local-global solution strategy with hierarchical coarse-to-fine optimization. Compelling real-time augmented reality applications, such as recoloring, material editing and retexturing, are demonstrated in a live setup. Our qualitative and quantitative evaluation shows that we obtain high-quality real-time decompositions even for challenging sequences. Our method is able to outperform state-of-the-art approaches in terms of runtime and result quality – even without user guidance such as scribbles.
Quelle und weitere Informationen:
Video und Paper
http://gvv.mpi-inf.mpg.de/projects/LiveIntrinsicVideo/
Fragen beantwortet:
Prof. Dr. Christian Theobalt
Max-Planck-Institut für Informatik
Saarland Informatics Campus der Universität des Saarlandes
http://gvv.mpi-inf.mpg.de/