Digital Dumplings

Film, Digital Video & Creative Media

Freitag, November 11, 2005

Bald nur noch digitales Schärfeziehen?

Ein Wissenschaftler der Universität Stanford hat es geschafft, eine digitale Fotokamera mit Hilfe eines speziellen Linsenrasters so zu modifizieren, dass mit Hilfe einer Software nachträglich am Computer auf eine beliebige Schärfeebene fokusiert werden kann. Und das völlig verlustfrei. Auch weitere Anwendungen wie nachträgliche Brennweitenveränderungen werden eindrucksvoll demonstriert.

Eigentlich wollte ich diesen Blog ja nur mit einem simplen "Hello World" starten, doch das was da SPIEGEL ONLINE über die Erfindung eines amerikanischen Wissenschaftlers berichtet, klingt fast schon zu revolutionär um wahr zu sein. Und um es gleich vorwegzunehmen: Das beigefügte Demo-Video von dieser "Plenoptischen Kamera" ist es wirklich!

Die erstaunliche Erfindung von Ren Ng vom Computer Graphics Laboratory der Universität Stanford basiert auf einem dünnen Raster aus winzigen Linsen, das an der Stelle liegt, an dem normalerweise der Sensorchip der Kamera verbaut ist. Der Sensor liegt stattdessen etwas weiter hinten und "blickt" sozusagen durch dieses Raster aus zehntausenden von Mini-Linsen. Ein Lichtpunkt, der auf der Ebene des Raster eigentlich "scharf" sein sollte, wird durch die Linsen auf ihrem weiteren Weg bis zum Sensorchip zu einem kleinen Lichtkegel. Es wird also kein einzelner Punkt mehr sondern vielmehr ein etwas größerer "Lichtfleck" vom Chip belichtet. Dabei verraten die Lichtstrahlen auch die Richtung aus der sie kamen: Je nachdem wo genau der Strahl eintrifft (also wie weit seitlich), daraus lässt sich wohl auch der Vektor erkennen.

Für das digitale Schärfeziehen kann man nun mit einer Software offensichtlich entweder den RGB-Mittelwert eines "Lichtflecks" berechnen und damit das Bild erzeugen, das die Kamera ohne die Linsen-Vorrichtung geschossen hätte wenn der Chip direkt belichtet worden wäre, oder aber - und da wird es jetzt richtig spannend - berechnen, welche Strahlen sich ein bisschen weiter vorn oder hinten im Strahlengang getroffen hätten - und damit eine beliebige Schärfeebene quasi verlustfrei rekonstruieren.

Und das was Ren Ng da in seinem Demovideo zeigt, ist wirklich fast unglaublich: Eine Schärfefahrt durch einen mit kurzer Verschlußzeit im Makro-Modus fotografierten Wasserstrahl. Oder aber ein weiteres höchst spannendes Anwendungsfeld dieser Technologie: Das nachträgliche verändern der Brennweite. Die Demonstration zeigt, wie in einem Bild übergangslos der Fluchtpunkt-Winkel verschoben wird - und die Tiefenwirkung eines Weitwinkel- und Isometrie-Objektives simuliert wird. Ganz ehrlich: Ich habe seit Hitchcocks "Vertigo"-Fahrt nichts eindrucksvolleres in Sachen Optik-Tricks gesehen. Selbst nachträgliche 3D-Rotationen des Bildes, die bisher nur durch aufwändiges 3D Camera Mapping und auch nur mit bestimmten geometrie-lastigen Motiven möglich waren, werden aus dem Ärmel geschüttelt.

Einziger Wehrmutstropfen dieser Technologie: Die nutzbare Auflösung des Chips verringert sich, da diese "Lichtflecken" natürlich viel mehr Pixel belegen als ein einzelner Lichtpunkt. Allerdings, wird betont, sei das Prinzip auch in gröberen Versionen vorstellbar, bei denen dann weniger Auflösung verloren geht. Offenbar haben auch schon einige Kamera-Hersteller ihr Interesse an dieser Technologie signalisiert. Mehr Infos zum technischen Prinzip hinter diesen großartigen Aufnahmen enthüllt übrigens ein Tech Report, den es als PDF-Download Ren Ngs Homepage gibt.

Leute, diese Technologie könnte Fotografie und digitalen Film in schon naher Zukunft revolutionieren. Ähnlich wie mit RAW-Dateien könnte es möglich werden, nachträglich in der Postproduktion die Schärfeebene frei zu bestimmen und für Bewegtbilder auch zu animieren. Consumer-Kameras könnten mit einem ultraschnellen Autofokus ausgestattet werden, bei dem erst im Postprocessing erkannt wird welche Ebene denn scharf sein soll - und wenn's dem Fotograf nicht passt kann er sie trotzdem noch ändern. Es könnten ultrageile Visual Effects-Spielereien möglich werden. Zum Beispiel in Verbindung mit 3D-Tracking, Camera Mappings, 3D-Rekonstruktion der fotografierten/abgefilmten Szenerie. Wohl gemerkt: Das ist keine Zukunftsvision. Das Demo-Video zeigt, dass es tatsächlich funktioniert - und zwar richtig, richtig gut. Klar, es ist nur ein erster Prototyp. Aber ich bin auf jeden Fall verdammt gespannt, was uns da im Laufe des nächsten Jahrzehnts so alles erwarten wird...

4 Comments:

At 4:18 nachm., Anonymous Olli said...

Das könnte das Ende der klassichen Analogfotograhpie bedeuten. Jede simple Billigknipsen-Aufnahme könnte so in der Nachbearbeitung vollkommen im Charakter verändert werden.
Unfassbar, was mittlerweile mit „simpler“ Mathematik möglich ist.
Ein ähnlich interessanter Algorithmus wurde im Übrigen auf der diesjährigen IBC von theFoundry für die kommende Version 3.0 von „Furnace“ (Plugin für div. Compositing-Anwendungen) vorgestellt:
http://www.fxguide.com/article292.html&mode=nested
Hier wird anhand von Bewegungsinformation in Bewegtbildern (so ähnlich wie beim Parallaxenscrolling in alten Videospielen - was weiter vorn liegt, bewegt sich schneller in der horizontalen Ebene) Tiefenunschärfe etc. erzeugt.

 
At 10:08 nachm., Anonymous dronus said...

ganz ruhig bleiben...

also ich nehm nicht an das diese Kamera mit ihrem Wunder mehr Lichtstrahlen als eine andere mit gleich großem Objektiv einfangen kann...

Wie schon _als kleine Notiz_ gesagt, die Chipauflösung muss ein vielfaches höher sein... Dass ist bedeutet also wahlweise das Äquivalent zu einer Kamera mit viel weniger Lichstärke... Also müsste man die Optik und Chip entsprechend groß bauen... (oder verflucht sehr viel Licht haben). Alternativ kann man auch viele kleinere Kameras nehmen, die alle auf verschiedenen Schärfeebenen eingestellt sind, und zwischen diesen Bildern überblenden.

vermutlich kommt am Ende immer dasselbe heraus: Die gleiche Menge an Photonen wird für die gleiche Menge an Brillianz und Unschärfewahlmöglichkeit gebraucht...

Die plenoptische Kamera könnte ja auch ein absolut tiefenscharfes Bild erzeugen... ähnlich einer Lochkamera. Doch auch dann kann sie nicht aus ihrer Haut, und muss das irgendwie bezahlen, vermutlich durch entsprechend grottige Lichtstärke...

Ich hoffe ich irre mich damit :-) aber ich glaube ein Wunder ist in der Optik nicht mehr möglich...

In der Forschung vewendet man ein "konfokales Mikroskop", das nur Lichtstrahlen aus der Schärfeebene nutzt, um Schnittbilder zu bekommen. Auch hier bezahlt man mit einer notwendigen winzigen Blende...

 
At 10:48 nachm., Blogger Grys said...

Alternativ kann man auch viele kleinere Kameras nehmen, die alle auf verschiedenen Schärfeebenen eingestellt sind, und zwischen diesen Bildern überblenden.

Das ist wohl wahr, allerdings hast du damit ähnliche Probleme wie beim erzeugen von HDRI-Bildern:
Entweder du schießt die einzelnen Bilder NACHEINANDER, was kurze Verschlußzeiten absolut ausschließt und damit IMHO für 90% der Fälle unbrauchbar wäre. Oder aber du baust diese einzelnen "Kameras" / Optik/Chip-Kombis nebeneinander. Dann hast du allerdings - neben deutlich höheren Kosten für die Herstellung eines solchen Gerätes (du brauchst schließlich mehrere Chips und wahrscheinlich sogar Objektive) Verzerrungen. Die könnte man zwar nun mathematisch irgendwie wieder rausrechnen, aber das wäre - ganz im Gegensatz zur plenoptischen Lösung - verlustbehaftet und damit ein "Digital-Fake".
Das was an der plenoptischen Kamera so revolutionär ist, ist die Tatsache dass über einen simplen optischen Trick herausgefunden wird wo das Licht herkommt - und erst digital durch komplexe mathematische Berechungen Veränderungen equivalent auf jeden einzelnen Pixel angewendet werden können. Die "Wahrheit" des Bildes wird dabei nicht verändert - man nutzt lediglich ALLE Bildinformationen aus, die die Bilddatei am Ende noch aufweist. Und wie man sieht geht es hier wirklich nur teilweise um das Thema Schärfe und Unschärfe.
Ich will mir ehrlich gesagt noch gar nicht ausmalen, was möglich ist wenn zusätzlich zu dieser "equivalenten" Veränderung aller Bildpunkte, die man im Video z.B. bei der Rotation sieht, ein selektiver Eingriff (z.B. "Lösche alle Bildpunkte, deren Licht von einem steileren Radius als xx Grad kamn") möglich wird.

Wie gesagt: Es geht nicht nur um Schärfe. Wenn erstmal Kameras zur Verfügung stehen, die diesen zusätzlichen Faktor "Lichtrichtung" als Daten ausgeben, können die Software-Programmierer erst richtig loslegen.

Es stimmt, in Sachen Optik sind kaum noch Revolutionen möglich - die Verbindung mit der Digitalwelt / Mathematik könnte allerdings durchaus noch zu unerwarteten Wendungen in der Technik führen.

 
At 3:42 nachm., Anonymous dronus said...

das ist schon richtig.. nur solange man eben nicht mehrere der pixel der "zellen" benutzt sinkt die lichtstärke immens ab.. ein scharfes bild der plenoptik ist also eine simulation der lochkamera, und die ist extrem lichtschwach, wenn scharf...
die "vielen kleinen objetkive" auf dem chip kann man auch mit einem insektenauge vergleichen, falls man aus allen zellen je ein pixel mittelt, und als lochkamera, wenn man pro zelle nur ein pixel nutzt. ersteres ist schlecht aufgelöst, letztere ist extrem lichtschwach.
die beliebige wahl der schärfenebene geht also nur mit sehr viel licht; bzw bei weniger licht/zeit kann man alles nur weniger scharf auswerten (um das rauschen der pixel der zellen herrauszumitteln) ...
bei dem "herkömmlichen" fotoapperat kann ich bei wenig licht wenigstens eine ebene scharf bekommen :-)
nichzt destotrotz ist bei sonne oder im studio der effekt natürlich voll nutzbar; nur im dunkeln da wo "herkömmliche" kameras ihre schwierigkeiten haben, wird dieses ding erst recht nicht hinkommen.

 

Kommentar veröffentlichen

Links to this post:

Link erstellen

<< Home