Augmented and Mixed Reality

Inhaltverzeichnis

1. Einleitung

2. Augmented und Mixed Reality – eine Bestandsaufnahme
2.1 Mixed Reality
2.1.1 Augmented Virtuality
2.1.2 Augmented Reality
2.2 Exkurs: Spekulation über den Realitätsgrad und die Möglichkeit der Täuschung durch Mixed Realities
2.3 Basis - Komponenten und -Verfahren der Augmented Reality
2.3.1 Darstellungstechniken und Display-Technologien
2.3.2 Optische Augmentierung
2.3.3 Videobasierte Augmentierung
2.3.4 Spatial Augmented Reality oder projektionsbasierte Augmentierungen
2.3.5 Handheld Displays und die „Point and Click“ – Metapher
2.4 Technische Voraussetzungen für AR -Systeme
2.4.1 Tracking
2.4.1.1 Marker und die Verlinkung der Welt
2.4.1.2 Markerless Tracking und die Verlinkung der Welt
2.4.2 Real-Time-Rendering
2.4.3 Weitere technische Forschungsfelder
2.4.3.1 Interaction Devices and Techniques
2.4.3.2 Authoring
2.4.3.3 Presentation und Applications
2.5 Anwendungsfelder der AR

3. Remediation
3.1 Immediacy
3.2 Hypermediacy
3.3 Remediation und Mediation/Mediatisierung
3.3.1 Remediation as the mediation of mediation
3.3.2 Remediation as the Inseperability of reality and mediation
3.3.3 Remediation as Reform
3.4 AR und Remediation

4. Raumkonzepte früherer Medien
4.1 Raum der AR
4.2 Der performative Raum

5. Performativität der AR
5.1 Grundlagen der Performativität
5.2 Live-Performances, medialisierte Performances und Performativität der AR

6. Fazit und Ausblick
6.1 Fazit
6.2 Ausblick

7. Literaturverzeichnis

8. Abbildungen

1. Einleitung

In den letzten 20 Jahren haben der Computer und das Internet das Fernsehen als Leitmedium der Gesellschaft abgelöst und bemerkenswerte Veränderungen der medienbenutzenden Kultur bewirkt. Der Computer als „avancierte Kommunikationstechnologie“ prägt heute die „leib- und kontextgebundenen Modi des Alltagswissens, die Menschen dazu befähigen, sich eine Welt des Handelns zu erschließen“^[1], auf bislang noch nicht dagewesene Weise. Seine „ausgiebige Nutzung ist Teil des gewöhnlichen Lebens mit all seinen unbefragten Selbstverständlichkeiten und Routinehandlungen geworden.“^[2]

So bedingte die Entwicklung und globale Vernetzung der Computersysteme, dass durch das Internet und die Virtual Reality „räumliche Nähe als Bedingung für personelle Kommunikation aufgehoben“ und „weltweite Kommunikationen die ebenso interaktiv sind wie Gespräche“^[3], ermöglicht wurden. „Das Internet vereinigt Einkaufszentrum, Radio, Film, Fernsehen, Fax und andere Medien.“^[4]

Es gibt kaum noch Informationen und Medieninhalte, die man nicht auch im verzweigten Netzwerk des Internet finden könnte. Die Gemeinschaft der Internetnutzer erstreckt sich über die ganze Welt und hat ihr Medien-Konsumverhalten an die Strukturen des Netzes angeglichen. Durch Hyperlinks geleitet, die jegliche Seiten und Inhalte im Netz mit thematisch ähnlichen Inhalten verbinden können, navigiert der User durch den Cyberspace und gestaltet sein eigenes Programm, seinen Vorlieben folgend.^[5]

Seit einigen Jahren deutet sich durch die Vermehrung mobiler, internetfähiger Computersysteme eine Weiterentwicklung dieser Leitmedien an. Die Mobilisierung der Computer ermöglicht neue Medienkanäle, Phänomene und Anwendungen, sowie die, in der Medienwahrnehmung bislang recht unbeachteten Augmented und Mixed Reality.

Durch dieses Phänomen können, wie durch die Leitmedien Computer und Internet, nahezu alle älteren Medienformen vereinigt werden, dies jedoch in neuer Umgebung.

Durch die Augmented Reality werden die Funktionsweisen des Desktops der Computer und der Hyperlinks des Internets, aus dem herkömmlichen Rezeptionskontext der stationären Benutzung in den eigenen vier Wänden in die Außen- bzw. Umwelt verlagert. Die Entwicklung des mobilen Computings und die dadurch ermöglichte Augmented Reality könnten möglicherweise den Computer und das Internet als Leitmedien ablösen.

Diese Arbeit soll das Phänomen der Augmented Reality in die Medienwissenschaft einführen und einen Überblick über die durch ihr Auftreten zu erwartenden Veränderungen in der Mediennutzung geben.

Hierfür soll im ersten Teil dieser Arbeit der Begriff der Augmented Reality definiert und die technischen Vorausetzungen und Bedingungen für Augmented-Reality-Systeme dargestellt werden. Anhand einiger Anwendungsbeispiele sollen dann die Funktionsweisen solcher Systeme noch einmal verdeutlicht werden, die die uns umgebende Welt, so wie es der Untertitel dieser Arbeit postuliert, zu einem „verlinkten“ Raum umgestalten.

Im Anschluss soll das Phänomen der Augmented Reality in den Kontext von Jay D. Bolters Theorie der Remediation eingegliedert werden. Die Remediations-Theorie stellt eine Medientheorie dar, die die Wechselwirkung zwischen Medienformen thematisiert. Da das Phänomen der Augmented Reality sich, wie schon angedeutet, durch die Vermengung älterer Medien in einer neuen Konstellation auszeichnet, scheint dies eine vielversprechende Herangehensweise zu sein.

Die angesprochene neue Konstellation, in der ältere Medien vermengt werden, und damit die genuine Besonderheit der Augmented Reality, stellt die Anreicherung der Umwelt durch digitale, virtuelle Repräsentationen dar. Die Benutzung der physischen Welt als Projektionsfläche bzw. –raum durch Augmented Reality -Systeme scheint eine Analyse der Bedeutung des Raumes der Augmented Reality zu fordern.

Diese Analyse soll im dritten Teil dieser Arbeit vorgenommen werden.

Im letzten Teil der Arbeit sollen dann die gewonnenen Erkenntnisse über die Räumlichkeit augmentierter Realitäten, auf die These angewandt werden, dass der physische Raum durch Anreicherung und Verlinkung mit virtuellen Inhalten zum performativen Raum gewandelt wird.

Mit Erika Fischer-Lichtes Ästhetik des Performativen sollen dann die Bedingungen für Performativität erläutert und die Frage nach der Performativität der Augmented Reality beantwortet werden.

2. Augmented und Mixed Reality – eine Bestandsaufnahme

Welche Anwendungen und Medienphänomene können überhaupt mit dem Siegel Augmented Reality (kurz AR) und welche mit dem Siegel Mixed Reality (kurz MR) bezeichnet werden?

In diesem Teil der Arbeit wird ein Überblick über schon realisierte und noch in der Entwicklung befindliche Anwendungen gegeben, um so die, durchaus miteinander verbundenen, Begrifflichkeiten systematisch voneinander abzugrenzen.

Man könnte jegliche Anreicherung und Modifikation der Realität durch Medien als Mixed Reality betrachten. So ist die im Kaufhaus abgespielte Musik eine Vermengung der Realität mit künstlichen Tonquellen und, von noch weiterer Warte betrachtet, sind sowohl unsere Bildung als auch unsere Phantasie Vermengungen der Realität mit fiktiven oder supplementären Informationen. Diese Betrachtungsweise allerdings würde den Rahmen dieser Arbeit durch eine zu starke Erweiterung des Arbeitsfeldes sprengen, weshalb von nun an mit Mixed Reality, dem wissenschaftlichen Diskurs folgend und damit eine beschränkte Definition bevorzugend, die Wechselwirkung zwischen virtuellen und realen (oder zumindest photorealistisch repräsentierten) Objekten zu beschreiben versucht wird.

Es wird zweckdienlich sein in diesem Kontext einen Blick auf das von Milgram und Kishino entworfene Virtuality Continuum zu werfen, um anhand dessen die Zusammenhänge der verschiedenen Ansätze zu erklären:

Abbildung in dieser Leseprobe nicht enthalten^[6]

Wie man diesem Schaubild entnehmen kann, steht der Begriff Mixed Reality übergreifend für eine Vermengung von virtuellen und realen Inhalten in virtuellen oder realen Umgebungen. Die Extreme des Kontinuums von Milgram sind die reale Umgebung auf der einen Seite sowie die vollkommen synthetische bzw. simulierte Umgebung der Virtualität, die den Cyberspace erzeugt, auf der anderen. Während wir unsere Existenz in der realen, physischen Umgebung durch die physische Verortung unseres Körpers in derselben wahrnehmen, soll die computergestützte Errichtung eines Cyberspace durch möglichst ganzheitliches Ansprechen der menschlichen Wahrnehmung zu einem Immersionseffekt führen. Als Immersion ist hier das Eintauchen eines Rezipienten in einen künstlichen Raum zu verstehen, bei dem der technisch vermittelte Rahmen vergessen werden und eine Annahme des künstlichen Raumes als realem Raum einsetzen soll. Eine solche Immersion ist, trotz großer Fortschritte in der Erzeugungstechnik von Virtual Environments, immer noch abhängig von der Kooperation des Rezipienten und scheitert derzeit meist noch an der ausbleibenden Affektion der Nahsinne. Ungeachtet dessen haben sich die Immersionstechniken seit der Zeit des Eintauchens in die erzählte Welt eines Romans, über das Filmerlebniss im Kino hin zu einem interaktiven Aufenthalt in virtuellen Welten der First-Person-Shooter oder auch MUD´s^[7] wie Second Life^[8] ständig weiterentwickelt und ausdifferenziert, sodass wir bei virtuellen Umgebungen den Begriff Virtual Reality (kurz VR) gebrauchen bzw. gebrauchen können. In diesem Begriff steckt augenscheinlich ein semantischer Widerspruch, welcher bei genauerer Betrachtung jedoch keiner ist: virtuel, was im Französischen so viel heißt wie möglich oder des Wirkens fähig und sich in diesem Kontext aus dem Lateinischen am besten als Tat- oder Wirkkraft übersetzen lässt, ist nicht, wie volkstümlich angenommen, das Gegenteil von real, sondern von physisch. Virtualität bezeichnet etwas faktisch und physisch nicht Gegebenes, aber der Möglichkeit nach Vorhandenes. In diesem Sinne wäre VR eine wirklichkeitswirksame Modalität der physischen Realität, indem sie fähig ist, Illusionen zu erzeugen und Kognitionen in Gang zu setzen. In diesem Zusammenhang ist dann auch Immersion zu verstehen als geistiges Eintauchen und für wahr nehmen.

Stefan Münker beschreibt in seinem Artikel zur Medienphilosophie der Virtual Reality^[9] eine voll entwickelte VR als nicht mehr unterscheidbar von der Realität. In ihr würde der User zum Beispiel einen berührten Gegenstand fühlen und den Geruch einer vorbeigehenden Person riechen können.

Obwohl die heutigen Technologien noch weit entfernt sind eine solche VR herstellen zu können, ist es interessant, sich mit der Frage auseinanderzusetzen, inwiefern die VR die Wahrnehmung des eintauchenden Menschen täuschen kann. Die voll entwickelte VR, die der Film Matrix^[10] vorstellt, gibt dem Benutzer nicht mehr die Möglichkeit, zwischen Realität und Virtualität zu unterscheiden, da er von Geburt an in ihr und nicht in der Realität handelt und so die VR für die Realität hält.

Dieser Zustand der Täuschung stellt sich nur dadurch ein, dass der Benutzer sich nicht bewusst ist, dass er eine VR benutzt. Die heutigen Technologien können eine solche Täuschung jedoch nicht erzeugen, da der User stets den Rahmen der technischen Vermittlung vor Augen hat. Die Fähigkeit einer VR ein immersives Erlebniss hervorzurufen, hängt also auch immer von der Kooperation und der Akzeptanz ihres Betrachters ab.

So erhält eine VR ihre Wirklichkeit und Existenz erst durch die Rezeption und die dadurch einsetzenden kognitiven Prozesse eines menschlichen Bewusstseins.

2.1 Mixed Reality

2.1.1 Augmented Virtuality

Da für viele computergestützte Anwendungen eine totale Immersion gar nicht erwünscht ist, wird seit Anfang der Neunziger Jahre auch an teil-immersiven Umgebungen geforscht. Diese befinden sich in den Bereichen des Kontinuums von Milgram zwischen den Extremen und stellen die eigentlichen Phänomene der MR dar. Milgram und Kishino schlagen vor, zwei weitere Positionen in das Kontinuum einzufügen, wobei die eine auf reale Umgebungen ausgerichtet ist und die andere auf virtuelle. Die Besonderheit der MR -Anwendungen ist es, dass sie reale und virtuelle Strukturen in einer Darstellung verbinden können.

Die dem Kontinuum zur Veranschaulichung beigefügten Abbildungen zeigen die Funktionsweisen der MR -Anwendungen. Zum einen besteht die Möglichkeit, über Kameras und Sensoren eine photorealistische Repräsentation von real-weltlichen Gegenständen, Personen oder Örtlichkeiten in eine virtuelle Umgebung zu implementieren. Dieser Vorgang kreiert eine Augmented Virtuality (kurz AV). Das Beispiel zeigt eine Anwendung der Firma SONY, welche zu dem üblichen Interface^[11] der Playstation 2 - dem Joypad - noch die Steuerung des Spielgeschehens durch Gesten ermöglicht. Die Anwendung mit dem Namen EyeToy:Play^[12] basiert auf der Nutzung einer Webcam, welche den vor dem Bildschirm stehenden Spieler aufzeichnet, ins Spielgeschehen einfügt und seine Bewegungen mit den virtuellen Objekten verrechnet, sodass eine Interaktion zwischen realer und virtueller Welt möglich ist und repräsentiert wird. Die, in der TV-Praxis nicht mehr wegzudenkende, Technik des chroma-keying oder auch blue-screen, man denke hier zum Beispiel an den realen Nachrichtensprecher vor der virtuellen Wetterkarte, ist ein weiteres Beispiel für die Erzeugung einer AV. Die Besonderheit der AV besteht darin, dass sie erlaubt, vorhandene, reale Strukturen in jegliche simulierte Umgebung einzubetten. Auch in vielen Kinofilmen wird diese Technik angewandt und ist als Teil der Special Effects mit der Bezeichnung CGI^[13] weitläufig bekannt.^[14]

2.1.2 Augmented Reality

Die Augmented Reality / AR hingegen funktioniert komplementär zur AV. Sie ermöglicht es, virtuelle Objekte, Räumlichkeiten oder Effekte in die reale Umgebung einzufügen. Der Begriff Augmented leitet sich ab von dem lateinischen Verb augere, was so viel bedeutet wie vermehren oder vergrößern. Aus dem Englischen wird es meist, in Verbindung mit dem Nomen Reality, in der Bedeutung erweitert übersetzt.

Während wir es also bei der VR und ihrer Unterart der AV mit der Darstellung einer möglichen Realität zu tun haben, welche die physische Realität vor allem substituieren soll, stellt die AR im Gegenzug eine Ergänzung der Realität dar, deren Funktion es ist, diese vor allem zu supplementieren.

Eines der bekanntesten Beispiele für AR in der TV-Praxis stellt die Einblendung von Grafiken in Live-Sport-Übertragungen dar. So z.B. die eingeblendete Abseitslinie beim Fußball oder die Einblendung von Platzierungen bei Live-Übertragungen von Formel 1-Rennen^[15]. Hierbei ist es wichtig hervorzuheben, dass diese Einblendungen in Echtzeit vorgenommen werden und in den gezeigten Raum integriert werden müssen. Einer der Pioniere der MR -Forschung, Ronald Azuma, schlägt nämlich in seiner 1997 erschienenen Schrift A Survey of Augmented Reality ^[16] drei Kriterien für die Bestimmung der AR vor:

1. Kombination von Realem und Virtuellem
2. Interaktion in Echtzeit
3. Registrierung^[17] in drei Dimensionen

Demnach wäre eine AR erst eine solche, wenn die Vermengung von virtuellen Objekten und Informationen mit der Realität eine Interaktion der Realität mit der virtuellen Augmentierung darstellt, welche im dreidimensionalen Raum (oder zumindest seiner zweidimensionalen Repräsentation) stattfindet. In Abbildung 4 sehen wir ein Idealbeispiel für eine solche Augmentierung. Die, in das Bild eingefügten, virtuellen Rekonstruktionen von Tempelanlagen und Gebäuden, fügen sich für den User des ARCHEOGUIDE-Systems^[18], nahtlos in die Umgebung ein. Die Veränderung des Blickwinkels auf die Umgebung führt gleichzeitig auch zu einer Veränderung der Ansicht der Augmentierung. Unter dieser Angleichung der Perspektiven kann unter anderem die Interaktivität der AR verstanden werden.

Dieser ersten Definition folgend würde die Bauchbinde bei einem Fernseh-Interview oder der Spielstand bei einer Fußball-Übertragung nicht zur Kategorie AR zählen, da sie sich weder in die Umgebung einfügen noch mit der Perspektive verändert werden. Diese Beschränkung der AR führt allerdings bei einigen neueren MR -Anwendungen zu Schwierigkeiten bei der Einordnung, weshalb Azuma in seinem 2001 erschienenen Artikel Recent Advances in Augmented Reality^[19], der als Aktualisierung seiner 1997 veröffentlichten Schrift gesehen werden soll, die Definition noch einmal ausdifferenzierte:

„we define an AR system to have the following properties:

- combines real and virtual objects in a real environment;
- runs interactively, and in real time; and
- registers (aligns) real and virtual objects with each other.”^[20]

Nach dieser Definition bestünde nur noch die Notwendigkeit, dass das virtuelle Element in einer räumlichen Beziehung zum realen Raum steht und sich nicht unbedingt in diesen einfügen muss. Eine dreidimensionale Einbettung virtueller Objekte wäre demnach ein Variante der AR und entspricht der Idealvorstellung einer Augmentierung, ist aber nicht notwendige Bedingung für das Siegel AR. So können auch zweidimensionale virtuelle Informationen (oft sind dies schriftbildliche Informationen) als AR -Anwendung mit dem realen Raum verbunden werden und sich wie eine Desktop-Ebene über die reale Umgebung legen. Moderne Anwendungen wie z.B. Wikitude ^[21] ermöglichen nämlich genau dies. Sie legen eine Suplementär-Ebene auf die indirekte Repräsentation des Raumes oder den direkten Blick^[22] auf die Realität und verweisen mit ihren Informationsflächen auf bzw. in diese. Durch eine solche Technik wird die Realität mit Etiketten versehen, die der User bei Informationsbedarf betrachten kann.

Desweiteren besteht durch die Technologien der AR die Möglichkeit, Erscheinungen der Realität auszublenden oder zu überlagern. Diese Funktionsweise wird auch als Mediated oder Diminished Reality bezeichnet.

2.2 Exkurs: Spekulation über den Realitätsgrad und die Möglichkeit der Täuschung durch Mixed Realities

Der Begriff der AR verbindet sich nicht ausschließlich mit der visuellen Augmentierung der Umgebung, sondern durchaus auch mit der Anreicherung der Realität durch künstlich erzeugte auditive, haptische, olfaktorische oder sogar gustatorische Reize. Eine AR, die all diese Reize ansprechen könnte, entspräche - in Analogie zu einer voll entwickelten VR - einer voll entwickelten AR.

Wie bei der Immersion in eine voll entwickelte VR besteht auch bei der AR eine technisch vermittelte Rahmung, sodass die Wirklichkeit der AR abhängig ist von der Benutzung und Akzeptanz eines Betrachters. Selbst eine voll entwickelte AR kann nicht über die technisch unvermittelte Realität hinwegtäuschen oder diese ersetzen, solange sich der Benutzer ihrer technischen Vermittlung bewusst bleibt.

Dies schließt natürlich nicht aus, dass die Effekte einer voll entwickelten AR nicht auch in der Realität spürbar werden könnten. Ivan E. Sutherland, ein amerikanischer Internet-Pionier und Informatik-Professor beschreibt in seinem Essay The ultimate Display ^[23] von 1965 die Vision einer voll entwickelten VR mit diesen Worten:

The ultimate display would, of course, be a room within which the computer can control the existence of matter. A chair displayed in such a room would be good enough to sit in. Handcuffs displayed in such a room would be confining, and a bullet displayed in such a room would be fatal. With appropriate programming such a display could literally be the Wonderland into which Alice walked.

Ein User, der wissend einen solchen Raum betreten würde und in diesem durch eine dargestellte Kugel umkäme, würde nicht der Täuschung unterliegen, dass er durch die dem Display zu Grunde liegende Realität getötet wurde, sondern wüsste um die Künstlichkeit der Kugel. Lediglich das Resultat in der Realität wäre das gleiche, sodass für eine Unterscheidung zwischen Realität und Virtualität die Frage nach einer Täuschung nicht mehr bestünde.

Eine solche Virtualität würde nun nämlich nicht mehr von der Realität getrennt sein, sondern als ihre Modalität Teil der Realität werden, auch wenn man um ihre Künstlichkeit wüsste. Eine voll entwickelte und unbeschränkte AR oder VR, die die Fähigkeit besitzt, Materialität zu erschaffen und diese zu kontrollieren, täuscht keine Realität mehr vor, sie ist ein künstlicher Teil der Realität, indem die Möglichkeit des Virtuellen in die Existenz des Physischen überführt wird.

In einem solchen Szenario würde dann natürlich die Dichotomie physisch/virtuell aufgehoben und durch die neue Dichotomie natürlich/künstlich ersetzt.

2.3 Basis - Komponenten und -Verfahren der Augmented Reality

Da die Wissenschaft von der Realisierung solcher ultimativen Displays noch weit entfernt ist, liegt der Schwerpunkt der Forschung und Entwicklung, dem oft postulierten Primat des visuellen Leitsinns Rechnung tragend, auf der Weiterentwicklung der visuellen Augmentierungen. Zur Vermengung und Einbettung von visuellen, virtuellen Informationen mit der und in die reale Umgebung, bedarf es natürlich immer einer technischen Vermittlung in Form eines Anzeigegerätes oder Displays.

Milgram und Kishino beschreiben für die Mixed Reality im Allgemeinen:

„As indicated in the figure, the most straightforward way to view a Mixed Reality environment, therefore, is one in which real world and virtual world objects are presented together within a single display, that is, anywhere between the extrema of the virtuality continuum.”^[24]

Im Folgenden soll nun ein Blick auf solche Displays und die technischen Voraussetzungen geworfen werden, die eine Augmented Reality-Anwendung erst ermöglichen.

2.3.1 Darstellungstechniken und Display-Technologien

Ein Blick auf die Geschichte der Bildmedien zeigt schon in frühen Epochen die Verwendung von optischen Erweiterungen oder Veränderungen des realen Raums.

Im 18. Jahrhundert wurden zum Beispiel erste Panoramen gezeichnet, welche dann im 19. Jahrhundert weiterentwickelt und als architektonische Einrichtungen zu bekannten Attraktionen und den ersten optischen Massenmedien im strengen Sinne wurden. Durch sie wurde der reale Raum mittels künstlicher, anfangs noch gezeichneter, später auch fotografierter, Darstellungen umrahmt und dem Zuschauer eröffnete sich eine neue Erfahrung der räumlichen Verortung.^[25] Die Erfahrungen in einem solch angereicherten Raum können mit der Immersion in eine VR verglichen werden. Im Zusammenhang mit dem Panorama nennt man auch oft den Begriff panoramatische Apperzeption, der ähnlich wie der Begriff Immersion den Eintritt des Beobachters in den Bildraum thematisiert.

Ein Panorama stellt eines der ersten immersiven Mixed Reality-Displays dar. Doch auch teil-immersive Techniken sind in der Geschichte der Malerei und der bildenden Kunst in verschiedensten Formen zu finden.^[26] Die illusionistischen trompe-l’œil Gemälde der Renaissance, die Deckenmalerei des Barock sowie die Fresken-Malerei von der Antike bis in die Neuzeit öffneten bestehende Örtlichkeiten durch die meist perspektivische Bemalung von Flächen hin zu künstlichen, fiktiven Räumen. So kann zum Bespiel die Anreicherung einer Gartenmauer durch eine Landschaftsmalerei die Grenzen des Gartens unsichtbar machen.

Während das Panorama also als immersive Technik versucht, die gesamte Umgebung als Display zu nutzen und die reale Umgebung zu ersetzen, beruhen die letztgenannten Techniken auf Anreicherung der realen Umgebung durch künstlichen Inhalt auf begrenzten Flächen. Die analogen, vor-digitalen Beispiele benutzen materielle Flächen wie Leinwände oder Mauern, gestalten diese mit Farben oder plastischen Mitteln und sind frühe Formen von Displays.

Diese analogen Beispiele lassen sich in ihrer darstellenden Funktion mit den digitalen Techniken der Mixed Realities vergleichen.

Der Funktionsweise des Panoramas folgend ersetzen VR –Systeme die reale Umgebung durch künstliche Darstellungen von alternativen Räumlichkeiten.

Dies kann mit Hilfe modernerer sogenannter CAVE^[27] – Systeme, die dem Aufbau des Panoramas sehr ähnlich sind, geschehen oder mit den schon seit 1966 verwendeten Head-Mounted Displays^[28] (kurz HMD´s). Beiden Displayformen ist gemein, dass sie das Außen der realen Umgebung ausblenden, weshalb erst durch diese Techniken die Immersivität der VR wirklich ausgenutzt werden kann. Die Benutzung einer VR -Umgebung an einem gewöhnlichen Monitor bleibt diesen Techniken gegenüber defizitär, da der Rahmen des Monitors stets auch die technische Rahmung vor Augen führt.

Die teil-immersive Augmented Reality hingegen folgt eher den Funktionsweisen der zweitgenannten Kategorien. Sie vermengt die gegebenen Räumlichkeiten mit virtuellen Objekten und Räumlichkeiten, anstatt sie zu ersetzen.

Um dies zu ermöglichen, müssen andere Displays verwendet werden, als diese für die VR üblich sind. Die Anfänge der AR wurden durch Modifikation der HMD`s ermöglicht. Anstatt auf den Bildschirmen dieser Displays nur eine virtuelle Realität anzuzeigen, wurde versucht, die reale Umgebung in die Darstellung aufzunehmen und diese mit virtuellen Objekten anzureichern. Dies wird durch zwei verschiedene Mechanismen ermöglicht:

2.3.2 Optische Augmentierung

Abbildung in dieser Leseprobe nicht enthalten^[29]

Bei der optischen Augmentierung wird dem User der direkte Blick in die Realität ermöglicht. Ein Optical See-Through HMD (wie oben abgebildet) besteht aus einer am Kopf des Users angebrachten Einheit, aus einer durchsichtigen Projektionsfläche sowie einem Projektor, der zusätzliche Informationen auf diese Fläche projiziert. Die Kopfposition des Users wird über Sensoren an den Szenen-Generator vermittelt, sodass dieser die Augmentierungen dem Blickwinkel des Users anpassen kann. Der Vorteil dieser Technik ist der direktere Zugang zur Realität. Allerdings sind die Technologien für optische Augmentierungen noch wenig ausgereift und die Bildqualität der Augmentierungen noch gering. Desweiteren ist die Registrierung der virtuellen Augmentierungen bei dieser Technik aufwändiger als bei der videobasierten Augmentierung. Bei dieser Methode koexistieren virtuelle Welt und reale Umgebung und werden im Auge des Betrachters zusammengesetzt. Auf dem Virtuality-Continuum von Milgram liegt diese Anwendung weiter links als die

videobasierte Augmentierung.

2.3.3 Videobasierte Augmentierung

Abbildung in dieser Leseprobe nicht enthalten^[30]

Die videobasierte Augmentierung wird durch ein Video See-Through HMD ermöglicht. Dieses trennt zunächst, wie die für die VR benutzten HMD´s, den User von seiner Umgebung. Allerdings wird die Umgebung durch eine an dem HMD montierte Kamera dem Blickwinkel des Users entsprechend aufgenommen und auf einem vor den Augen des Users angebrachten Monitor wiedergegeben. Auch in diesem Fall wird die Kopfposition des Users durch Sensoren an einen Szenen-Generator weitergegeben, sodass die Augmentierungen und das Videomaterial der realen Welt von einem Videomischer vermengt werden können. Diese Methode liefert zwar nur einen indirekten Blick auf die reale Welt und führt unter Umständen zu einer geringeren Darstellungsqualität der Umwelt, vereinfacht aber die Registrierung und Darstellung der Augmentierungen. Hier wird die reale Welt in die Virtualität projiziert, weshalb diese Methode auf dem Virtuality-Continuum näher an der AV anzusiedeln ist als die optische Augmentierung. Beide genannten Verfahren der Augmentierungen reduzieren sich meist auf die individuellen Erfahrungen des Display-Users. Ausnahmen bilden die sogenannten Collaborative Augmented Environments zu denen im Kapitel Anwendungsbereiche noch Genaueres beschrieben wird.

[...]

^[1] Vgl. Ellrich, Lutz: Medienphilosophie des Computers. In: Systematische Medienphilosophie, hrsg. von Mike Sandbothe und Ludwig Nagl, Berlin: Akademie Verlag 2005. S.354

^[2] ebd.

^[3] Vgl. Poster, Mark: Medienphilosophie des Internets. In: Systematische Medienphilosophie, hrsg. von Mike Sandbothe und Ludwig Nagl, Berlin: Akademie Verlag 2005. S.362

^[4] ebd. S.363

^[5] vgl. ebd. S.362

^[6] „Virtuality Continuum“ nach Milgram und Kishino entnommen aus: Oppermann, Leif: Interaktionsflächen in Augmented Reality. Diplomarbeit Hochschule Harz, Wernigerode, Germany, Aug. 29, 2003 http://projekt.medieninformatik.de/argui/Diplom_Leif_Oppermann_ARGUI.pdf

(04.03.2010) in der Folge Oppermann2003

^[7] MUD – Multi User Domain

^[8] siehe Abb. 1 unter Virtual Environment

^[9] vgl. Münker, Stefan: Medienphilosophie der Virtual Reality. In: Systematische Medienphilosophie, hrsg. von Mike Sandbothe und Ludwig Nagl, Berlin: Akademie Verlag 2005.

^[10] matrix, USA 1999, R: Andy und Larry Wachowski

^[11] Der Begriff Interface bezeichnet im Zusammenhang der Datenverarbeitung eine Schnittstelle zwischen Benutzer und elektronischem Datenverarbeitungssystem. Die wohl bekanntesten Beispiele hierfür sind in zeiten des PC die Maus und das Keyboard. Aber auch der Bildschirm oder das Display als Anzeigemittel der Computerinformation werden als Graphical User Interface, kurz GUI bezeichnet

^[12] Eye Toy: Play, Logitech, Playstation 2, 2003

^[13] Computer-generated imagery oder auch CG für computer-graphics

^[14] vgl. z.B. Abbildung 2: hier Einbettung der Darsteller in eine phantastische, virtuell erzeugte Szenerie

^[15] vgl. Abbildung 3

^[16] Azuma, Ronald: "A Survey of Augmented Reality," in: Presence: Teleoperators and Virtual Environments. vol. 6, no. 4, Aug. 1997, pp. 355-385. http://www.cs.unc.edu/~azuma/ARpresence.pdf (04.03.2010)

^[17] „Link to the real environment is called registration. It is a spatial relation between the environment and the augmentation.“ Vgl. Bimber, Oliver und Raskar, Ramesh: Spatial Augmented Reality: Merging Real and Virtual Worlds. A K Peters, Juli 2005. In der Folge Bimber2005

^[18] ARCHEOGUIDE ist ein von der EU gefördertes Multi-User-Augmented-Reality-System für die Besucher von Stätten des kulturellen Erbes. Der User wird mit einem Interface ausgestattet, welches ihm erlaubt, bei der Besichtigung der Stätten nicht mehr vorhandene Architekturen in die Umgebung zu projizieren. Vgl. Abbildung 4

^[19] Azuma, Ronald. Baillot, Yohan. Behringer, Reinhold. Feiner, Steven. Julier, Simon und MacIntyre, Blair: "Recent Advances in Augmented Reality,"IEEE Computer Graphics and Applications, vol. 21, no. 6, pp. 34-47, Nov./Dec. 2001, doi:10.1109/38. http://www.cs.unc.edu/~azuma/cga2001.pdf (04.03.2010)

^[20] ebd.

^[21] Vgl. Abbildung 5

^[22] zur Unterscheidung von direktem und indirektem Blick wird im nächsten Kapitel noch genaueres beschrieben, hier sei schon einmal erklärt, dass der direkte Blick auf die Realität technisch unvermittelt ist was durch die Technologie der see-through HMD´s ermöglicht wird, während der indirekte Blick das Bild der photorealistisch auf einem Bildschirm wiedergegebenen Realität erfasst.

^[23] Sutherland, Ivan: The Ultimate Display, 1965 in: Proceedings of IFIP Congress, pp. 506-508, 1965.

http://www.eng.utah.edu/~cs6360/Readings/UltimateDisplay.pdf (04.03.2010)

^[24] Milgram, Paul and Kishino, Fumio: A Taxonomy of Mixed Reality visual displays in:

IEICE Transactions on Information Systems, Vol E77-D, No.12 December 1994

http://vered.rose.utoronto.ca/people/paul_dir/IEICE94/ieice.html (04.03.2010)

^[25] vgl. Abbildung 6

^[26] vgl. Abbildung 7

^[27] CAVE = Cave Automatic Virtual Environment, ein Raum zur Projektion einer dreidimensionalen Illusionswelt, der aus bis zu sechs Flächen besteht, auf die von Außen Umgebungen projiziert werden, die durch die Bewegung des Benutzers innerhalb des CAVE kontrolliert werden. Vgl Abb. 8

^[28] 1966 expirimentierte Ivan Sutherland an den ersten Prototypen der HMD´s. Durch die Nähe der in den Daten-Helm oder die Daten-Brille integrierten Bildschirme oder Projektoren zum Auge wird der Immersionsgrad im Vergleich zur Benutzung eines Monitors erheblich gesteigert. Die Bewegung des Kopfes wird durch Sensoren in neueren HMD´S, direkt mit der dargestellten Umgebung verrechnet, sodass das eine Drehbewegung des Kopfes zu einem schweifenden Blick in der VR führt.

^[29] Abbildung 9 aus Oppermann2003 entnommen

^[30] Abbildung 10 ebd.