Blog-Eintrag

OmniStereo Aufnahmetechnik

Omni & Stereo – alles (in) stereo.
Mit OmniStereo bezeichne ich eine Panoramatechnik, bei der ein voll sphärisches Panorama, also nahezu der ganze Raum mit 180°x360° in stereoskopischem 3D („s3D“) erfasst wird. Am einfachsten geht das - wenn man in dem Zusammenhang überhaupt von einfach reden kann - mit einem Fisheye-Objektiv in single-row-Technik. Ein multi-row-Ansatz ist für OmniStereo unsinnig und kaum realisierbar.

Im letzten Beitrag „Stereo-Panorama“ habe ich die grundlegenden Techniken zur Aufnahme eines Stereo-Panoramas aufgezeigt. Hier will ich jetzt die Aufnahmetechnik vertiefen, insbesondere für die Aufnahme eines großen vertikalen Bildwinkels.

Der Weg zum s3D-Panorama ist anspruchsvoll. Die richtige Aufnahmetechnik ist nur der erste Schritt. Der zweite Schritt ist das sphärische Stitchen zweier korrespondierender Panoramen aus Quellbildern, die sich à priori nicht fehlerfrei stitchen lassen. Das Generieren einer stereoskopischen Darstellung, die den Anforderungen der räumlichen Wahrnehmung genügt, ist der dritte und die tatsächliche Wiedergabe als stereoskopisches 3D-Bild der vierte Schritt.

Grundsätzlich unterscheide ich zwischen einem monokularen und einem binokularen Aufnahme-Setup. Bei der monokularen Technik verwendet man eine Kamera mit einem Objektiv wie beim gewöhnlichen Mono-Panorama. Aber man rotiert die Kamera nicht um die Eintrittspupille („Nodalpunkt“), sondern um eine vertikale Achse, die die optische Achse zwischen Eintrittspupille und Sensorebene schneidet. So läuft die Eintrittspupille, das perspektivische Zentrum der Kamera, auf einer Kreisbahn um die Rotationsachse. Linke und rechte Perspektive werden dann aus einer einzigen Aufnahmenserie bzw. deren rechten und linken Teilbildern gestitcht. Der wesentliche Vorteil beim monokularen Aufnahme-Setup besteht darin, dass man eben nur eine Kamera braucht und die Stereo-Basis beliebig klein gewählt werden kann. So ein Setup wurde 1999 von Shmuel Peleg und Moshe-Ben-Ezra erstmals beschrieben. Die Autoren nannten das zwar bereits "omnistereo", arbeiteten aber mit einem rectilinearen Objektiv mit kleinem Bildwinkel. Die Bezeichnung "omnistereo" dafür ist daher irreführend.
Für "omnistereo" erwartet man Stereo und einen großen Bildwinkel, horizontal und vertikal. Einen großen vertikalen Bildwinkel bis 180° erfasst nur ein Fisheye-Objektiv. Ich verwende für diese Technik immer ein Fisheye-Objektiv und stitche Teilbereiche der so generierten Quellbilder sphärisch (und nicht flach, wie von S. Peleg et al. beschrieben).
Nur so lässt sich ein Stereo-Panorama auch mit großem vertikalen Bildwinkel generieren, das dem Anspruch "OmniStereo" gerecht werden kann. 

Beim Betrachten eines stereoskopischen 3D-Bildes ist nur dann die räumliche Tiefe entspannt wahrnehmbar, wenn die Breite der Stereo-Basis passend zur Tiefe und der Nahpunktdistanz gewählt wurde. Ist die Stereobasis zu klein gewählt, ist die Tiefenwirkung in der s3D-Darstellung gering. Bei zu groß gewählter Stereo-Basis ist Augenakrobatik notwendig. Der räumliche Bildeindruck zerfällt. Ich wähle die Stereo-Basis meistens als 1/25 des Abstandes zum Nahpunkt im Sujet.

Als Richtwert für die Stereo-Basis im monokularen Setup verwende ich 40mm Basis pro Meter Abstand zum Nahpunkt.

Die  monokulare Aufnahmetechnik ist prädestiniert für Stereo-Panoramaaufnahmen im Nahbereich. Hier eine OmniStereo-Panorama-Tour als Beispiel, aufgenommen mit einem Fullframe Fisheye. Der grundsätzliche Nachteil der monokularen Technik besteht darin, dass „linke“ und „rechte“ Perspektive zeitlich versetzt aufgenommen werden (Diese Aussage wird allerdings erst beim vollen Verständnis für den Stitchprozess verständlich. Sorry). Linke und rechte Perspektive sind also zeitlich nicht synchronisiert. Die monokulare Technik kommt daher nur für statische Sujets in Frage. Alle belebten Sujets verlangen nach der Synchronisation der Aufnahmen für linke und rechte Perspektive. Das ist nur mit zwei synchron ausgelösten Kameras, also einem binokularen Setup, zu erreichen.

Das binokulare Aufnahme-Setup verwendet dazu zwei (möglichst identische) Kameras, deren optische Achsen genau parallel ausgerichtet sind. Im Rahmen unserer Evaluierung habe ich mir einen Art Baukasten geschaffen, mit dem ich alle denkbaren Aufnahme-Setups realisieren kann: Monokular Hochformat, Querformat und „slanted“ mit beliebiger Stereo-Basis, binokular Hochformat und „slanted“ mit Stereo-Basis von 65mm bis 95cm.
Das Problem beim binokularen Setup besteht darin, dass die Stereo-Basis durch die Geometrie der verwendeten Kamera-Bodies nach unten hin limitiert ist. Selbst wenn man zwei Kamera-Bodies am Kameraboden „Boden-an-Boden“ verschrauben könnte, wäre der Abstand der beiden optischen Achsen, also die Breite der Stereo-Basis, genau 2 mal die Höhe der optischen Achse. Die „theoretisch“ minimale Stereo-Basis bei Verwendung zweier Nikon D800 wäre dann 100mm. Praktisch realisieren lässt sich mit der D800 nur ein Setup mit minimal 110mm Stereo-Basis. 

Bei die Auswahl besser geeigneter Systemkameras sind m.E. folgende Merkmale entscheidend:

  1. Verfügbarkeit eines kompakten Fullframe Fisheyes für die Kamera
  2. Möglichst tief liegende optische Achse
  3. Gut zugängliche manuelle Belichtungssteuerung
  4. Remote- und Synchronisationsfähigkeit der Kameraauslösung
  5. Bracketing-Tauglichkeit
  6. Guter Dynamikumfang
  7. Günstiger Kaufpreis

Mit unserer umfangreichen Kameradatenbank ließ sich schnell eine entsprechende Vorauswahl infrage kommender Kameras treffen und dank der Unterstützung von Produktingenieuren und befreundeten Fotografen konnte ich Praxistests mit diversen Systemkameras von den kleinsten MFTs, diversen APS-C-Kameras bis zur Sony A7/II und der Nikon D750 vornehmen. Natürlich wäre ein binokulares Setup mit zwei Sony A7-Bodies bestückt mit je einem rasierten Samyang f2,8/8mm Fisheye eine Traum-Kombi. Doch die sprengt jedes Budget. Nach eingehender Bewertung aller Kriterien identifizierte ich die Fuji X-M1 oder X-T10 mit dem Samyang Fisheye f2,8/8mm V2 als die ideale Kamera für OmniStereo-Panoramafotografie. Ihre sehr tief liegende optische Achse, die Auflösung von über 30 Pixel pro Grad, die hervorragende Dynamik des X-Trans-Sensor (APS-C) und das problemlose Handling auch im manuellen Modus und nicht zuletzt die einfache Remote- und Synchronisierbarkeit – alles bestens, besser geht kaum, und schon gar nicht zu diesem Preis. Gleich drei X-M1-Bodies finden sich inzwischen in unserem Kamerakoffer neben weiteren Fuji-X und diversen anderen Kameras.

Speziell konfigurierter KISSMein favorisiertes monokulares OmniStereo-Aufnahme-Setup ist denkbar einfach: Es besteht aus einem speziell konfigurierten KISS, der für die Stereo-Basis einen Bereich von 0...80mm abdeckt. Dafür habe ich einen KISS konfiguriert für einen Nodalpunktversatz von 0, -5mm, -10mm, -15mm, -20mm, -30mm und -40mm. Die Kamera steht am KISS immer im Hochformat.
Alternativ lässt sich der UniQ-NPA mit einem stufenlos einstellbaren Basisbereich von 0 .... 110mm einsetzen. Dabei ist die Kameraorientierung im Hoch- und Querformat möglich. Im Hochformat beträgt mit der o.g. Kamera der vertikale Bildwinkel 150°, im Querformat knapp 100°.

Beim monokularen Setup wird die Stereobasis primär durch den Versatz der Eintrittspupille gegenüber Rotationsachse definiert: Die resultierende Stereo-Basis ist der doppelte Versatz der Nodalpunktposition, d.h. bei einem Versatz von 20mm beträgt die Stereobasis maximal 40mm.

Die Bedingungen für Mono- und Stereo-Panoramafotografie lassen sich in geschlossener Form mathematisch formulieren. Ohne hier die Berechnung ausbreiten zu wollen, fasse ich die wesentlichen Ergebnisse für ein monokulares Setup zusammen:

  1. Faustregel: Stereo-Basis = 40mm pro Meter Nahpunktdistanz (siehe oben).
  2. Der Versatz der Eintrittspupille gegenüber der Rotationsachse ist dann die Hälfte der erforderlichen Stereo-Basis
  3. Die Anzahl der erforderlichen Aufnahmen (Rastung) ergibt sich rein rechnerisch aus dem Versatz und dem horizontalen Bildwinkel der verwendeten Kamera. Dazu fand ich folgende 
    Goldene Regel: Bei einem auf die Nahpunktdistanz normierten Versatz von x mm/m sind genau x Aufnahmen innerhalb des horizontalen Bildwinkels des Objektivs erforderlich. Im Klartext für o.g. Referenz-Setup im Hochformat: Bei einem Aufnahmeabstand von 1m und einem Versatz von 20mm sind 20 Aufnahmen pro 100° erforderlich, also 72 Aufnahmen auf 360°.
  4. Der maximale Stitchingfehler beträgt dann im optimal gestitchten Panorama 0,2% der horizontalen Kantenlänge des Sensor. Das sind in o.g. Referenz-Setup maximal 6,5 Pixel.

Die Quintessenz wird Aspiranten für die Stereo-Panoramafotografie zunächst schockieren: Für eine gute Stitchingqualität sind bei optimaler Wahl der Stereo-Basis mit einem Fullframe Fisheye mindestens 60, besser 72 Aufnahmen erforderlich. Mit einem Portrait- oder zirkularen Fisheye lässt sich die Anzahl deutlich reduzieren - oder man verzichtet auf die maximale Tiefenwirkung und nutzt eine kleinere Stereo-Basis (s.a. Anmerkung 4).
Für Stereo-Panoramafotografie mit nur einer Kamera ist daher die Verwendung eines Motorkopfs sinnvoll, wenn nicht notwendig. Der Motorkopf muss sehr schlank sein, damit er bei den Fisheye-Aufnahmen im Nadir nicht aufs Bild kommt. Der alte Seitz VR-Drive (die "rotierende Cola-Dose") ist dafür erste Wahl.

Nun zum binokularen Setup. 
TwinSet mit MFTsBelebte Szenen kann man in s3D nur mit zwei synchron ausgelösten Kameras aufnehmen. Grundsätzlich gilt auch hier der o.g. Richtwert für die Stereobasis.
Mit einer Stereo-Basis entsprechend Augenabstand kommt das binokulare Setup vorzugsweise bei einem Aufnahmeabstand ab 1,5m zum Einsatz. Allerdings reize ich gerne die Grenzen aus und verwende es bis 1m Abstand.
Ideal ist es, wenn die Höhe der optischen Achse über Grund, also die Stativhöhe, den normalen Sehbedingungen ("Augenhöhe") entspricht (also 1,5m...2m) bei einer Stereo-Basis von 65...70mm entsprechend Augenabstand.
Grundsätzlich gilt auch für das binokulare Setup, dass stitchingfehlerfreie Tiefenwahrnehmung über ein Mehr an Aufnahmen (im Vergleich zum normalen Mono-Setup) erkauft werden muss. Je mehr Aufnahmen man macht, desto kleiner ist der Drehwinkel zwischen den Aufnahmen, desto schmäler sind die Bildbereiche, die zum Stitchen herangezogen werden, und desto kleiner ist die Parallaxe  benachbarter Aufnahmen. Mit dem binokularen Setup sind bei gleicher Stitching-Methode weniger Auslösungen erforderlich als beim monokularen Setup: Mit einem gut geführten Stitchingprozeß kommt man mit 24...36 Auslösungen aus. Dafür kommen zusätzliche Anforderungen ins Spiel. Man löst dann ja immer zwei Kameras synchron aus, deren optische Achsen genau parallel ausgerichtet sein müssen, der Bildwinkel muss identisch sein usw.

Mit dem Stereo-NPA-Baukasten konnte ich mit zwei Fuji-Kameras zunächst minimal 75mm Stereo-Basis realisieren (Kameras im Hochformat). Trotzdem war es möglich, mit diesem Setup ordentlich stitchende s3D-Panoramen mit 36 Auslösungen und ca. 60cm Nahpunktdistanz aufzunehmen, z.B. hier.
variable StereoBasisNach oben lässt sich mit dem Baukasten die Stereobasis bis auf fast 1m stufenlos variieren (für Aufnahmen in den Bergen), sowohl im Hoch- und Querformat als auch slanted. So konnte ich die Gültigkeit der Berechnungen über einen weiten Bereich verifizieren – und auch das sphärische Stitchen eigentlich nicht stitchbarer Aufnahmeserien ausgiebig üben.


Natürlich stellte ich mir die Frage, ob wir denn so etwas wie den Stereo-NPA-Baukasten in unser Produktportfolio aufnehmen könnten. Für den s3D-Panorama-Einsteiger wäre das durchaus ein lehrreiches System, das alle Möglichkeiten bietet.

TwinSet mit 75mm-BasisABER es widerspricht meinem Produktkonzept ein „Produkt“ anzubieten, das aufwendig konfiguriert werden muss, mit diversen Schrauben und Werkzeugen, die man unterwegs leicht verliert. Wenn schon ein Stereo-NPA, dann muss der möglichst einfach sein, möglichst universell einsetzbar, zuverlässig und produktionstauglich sein. Bei der Vielzahl von denkbaren Kamera-Objektivkombinationen schien das aber kaum machbar - und wirtschaftlich nicht darstellbar.

slanted TwinSet PrototypDoch der Wunsch, so ein idiotensicheres Stereo-Panoramasystem zu besitzen und für meine eigenen Zwecke zu nutzen, ließ mir keine Ruhe. Mehrere Entwürfe, auch in Hardware umgesetzt, habe ich bald wieder verworfen, bis ich auf ein sehr einfaches Konzept kam. Das lässt sich leicht für eine Vielzahl von Systemkamera-Bodies realisieren. Ob MFT, APS-C oder sogar Sony A7, solange entweder das 7,5mm Samyang Fisheye oder ein Samyang f2,8/8mm Fisheye verwendet wird, kann der neue Twin-NPA verwendet werden.

BINOKEL - TwinSet hier mit 65mm-BasisDiesen Twin-NPA "BINOKEL" haben wir inzwischen als Gebrauchsmuster geschützt. Die Kamera-Bodies können dabei im Hochformat auf Minimalabstand gebracht werden und erlauben so 150° vertikalen Bildwinkel. Die Stereo-Basis beträgt minimal 65mm mit den Fujis, das ist ideal, gerade Augenabstand.  
Der komplette NPA besteht natürlich aus nur wenigen Komponenten und kann ohne irgend ein Werkzeug verwendet werden – auch auf dem Rotator „plus“ wie hier im Bild. Dessen Rastung R24 ist perfekt für einen Nahpunktabstand von mindestens 1,2m.
Dieses s3D-Pano wurde genau so aufgenommen - wohlgemerkt: bei ca. 1m Nahpunktdistanz mit einem Nodalpunkt-OFFSET von über 3cm (!), automatisch gestitcht ohne manuelle Eingriffe und ohne Retusche o.ä.

BINOKEL-80 mit Kameras in slanted OrientierungWir werden den BINOKEL für 65mm und 70mm Stereo-Basis produzieren, zunächst aber nur für die oben genannten Fisheye-Objektive.

Ein Prototyp mit 80mm-Basis erlaubt es uns, größere Kamerabodies wie die Sony A7 oder A7II zu verwenden - oder zwei kleine Fujis im slanted-Mode. Damit sind dann Stereo-Panoramen mit nahezu 180° vertikalem Bildwinkel machbar.


Stereo auf fast 180°x360° - das ist "verax omnistereo".

 

Nachtrag 25.3.2017
Hier ein Beispiel einer belebten Szene mit ca. 1,2m Nahpunktdistanz, vorgestern aufgenommen mit dem abgebildeten BINOKEL TwinSet mit 65mm Stereobasis und zwei synchron ausgelösten Fuji X-M1 (24 Auslösungen, Belichtungszeit 1/40 s, Blende 8).
Zum Stitchen verwendete ich die unbearbeiteten JPGs direkt aus der Kamera (!), ohne jegliche Bearbeitung oder Photoshop. Die Panos wurden mit PTGUI mit reduzierter Auflösung generiert, direkt nach krpano gespielt und dann die Tour auf den Server geladen.
Die abgebildeten Personen sind keine Statisten, sondern Besucher, die zufällig ins Bildfeld geraten sind, während ein Seitz-Motorkopf seine 24 Schritte abspulte und ich an der Theke den Cappuccino genoss.  Der angeschnittene Schatten der Person auf dem Motorrad zeigt am Boden die Schnittlinie zwischen dem ersten und letzten Quellbild der Serie.
Zum Anschauen in stereoskopischem 3D brauchen Sie eine VR-Brille und ein Smartphone.

 


Anmerkungen:

1. Man fragt sich, mit welcher Berechtigung wir sonst den Leuten erklären, dass sie einen auf Bruchteile von Millimetern genau konfigurierten Nodalpunktadapter für Panoramafotografie brauchen, wenn man auch Panoramen aus Aufnahmeserien stitchen kann, die mit einem halben Meter Nodalpunktversatz aufgenommen wurden. 
Die Erklärung ist folgende:
1.1 Der zulässige Versatz der Rotationsachse gegenüber der Eintrittspupille nimmt mit dem Aufnahmeabstand zu.
1.2 Man erkauft sich jedes Mehr an Versatz durch entsprechend mehr Aufnahmen, von denen man nur Teilbereiche zum Stitchen heranzieht. Letztlich verteilt man den insgesamt zwangsläufig auftretenden Stitchingfehler auf so viele "Nähte", dass er kaum mehr in Erscheinung tritt.
1.3 Der Stitching-Prozess bei derart aufgenommen Aufnahmeserien muss dazu entsprechend kontrolliert geführt werden. Diese Stitch-Kunst soll Thema eines künftigen Blog-Beitrags sein.

 
2. Alle Aussagen in diesem Beitrag bzgl. Stereo-Basis und notwendiger Anzahl von Aufnahmen gelten unter der Prämisse, dass man den Stitchingprozeß optimal aufsetzt und beherrscht. Ich habe Monate gebraucht, bis ich so weit war. Als zulässigen Stitchingfehler im nativen Panorama habe ich 0,2% der Sensorbreite im Hochformat festgelegt. Bei einem 16 Megapixel-Sensor sind das knapp 7 Pixel.


3. Stereo-Panoramen betrachtet man in der Regel auf der VR-Brille bei reduzierter Auflösung. Dabei werden Stitchingfehler ebenfalls skaliert. Der unter 2. genannte Stitchingfehler im nativen Panorama ist dann auf der VR-Brille nicht mehr sichtbar.


4. Die o.a. Goldene Regel zur Berechnung der Anzahl erforderlicher Aufnahmen abhängig vom Nahpunktabstand und der Stereo-Basis gilt, wenn man "normal" stitcht, so wie man es mit einem monoskopischen Panorama gewohnt ist.
Tatsächlich lässt sich diese Limitierung mit PTGUI Pro aushebeln, indem man nur genau definierte Bildbereiche zum Stitchen heranzieht. Ich nenne das multiperspektivisch sphärisches Stitchen. Damit lässt sich bei gleicher Stitching-Qualität die Anzahl der Aufnahmen von optimal 72 auf 24 Aufnahmen reduzieren.
Weiteres dazu zu gegebener Zeit.
Das Stereo-Panorama unbedingt mit der VR-Brille anschauen !


5. Die Stereo-Fotografen in Deutschland haben sich in der Deutschen Gesellschaft für Stereoskopie e.V. "DGS e.V." organisiert und Regeln für Stereo-Fotografie formuliert, die grundsätzlich auch für Stereo-Panoramafotografie gelten. 

Unter folgenden Links gibt es viel Information zur Stereo-Fotografie:
https://www.stereoskopie.org/de/
https://www.stereoskopie.org/de/stereoskopie/goldene-regeln.html
https://www.stereoskopie.org/images/pdf/dgs-standard.pdf

 

Kommentare

Hallo Herr Hopf, wieder mal bin ich beeindruckt von Ihrem Einsatz, Lösungsansatz und physikalischem Hintergrund! Für solch ein System hätte ich sofort Interesse,- Bezahlbarkeit vorausgesetzt. Zur Vorgabe, nur statisches Umfeld aufnehmen zu können: Wenn es noch die Möglichkeit gäbe, vorne einen entsprechenden flächigen ND-Filter anzubringen, könnte man ja v.a. bei genügend Licht draußen und entsprechend langen Verschlußzeiten die Menschen "ausblenden", was ja bei belebten Orten ohnehin zu empfehlen ist. Wäre das möglich? Damit würde sich der Einsatzbereich enorm erhöhen!

Es ist grundsätzlich möglich, ein ND-Filter zu verwenden. Allerdings haben die Fisheyes kein Filtergewinde. Man muss also etwas basteln. Mit einem binokularen Setup, also zwei synchron ausgelösten Kameras, kann man aber auch belebte Szenen aufnehmen und fehlerfrei stitchen. Ich habe ein entsprechendes s3D-Panorama aus der BMW-Welt in München nachträglich angehängt.

sehr beeindruckend, ihr Beispiel !
Dann braucht es natürlich keinen ND-Filter mehr.

Neuen Kommentar schreiben