Sprach- und Schrifterkennung in virtueller Realität
©2003
Bachelorarbeit
82 Seiten
Zusammenfassung
Inhaltsangabe:Einleitung:
Es besteht das Problem, dass in virtuellen Umgebungen die Konzentration immer wieder von der 3D-Umgebung oder dem aktuellen Projekt abgelenkt wird, wenn Tastatureingaben oder Steuerbefehle ausgeführt werden müssen. Das Einbringen einer Schrifterkennung soll die Tastatur ersetzen und Texteingaben einfach zugänglich machen. Der Einsatz von Spracherkennung für Steuerbefehle soll vor allem den Arbeitsfluss erleichtern, da Kommandos direkt gegeben werden können.
Gang der Untersuchung:
Die vorliegende Arbeit beschäftigt sich mit der Umsetzung dieser Idee, ihren Grundlagen/Vorbedingungen und möglichen Schwierigkeiten.
Im ersten Kapitel sollen zunächst einige Grundbegriffe - die für die Arbeit notwendig sind - erklärt werden. Zuerst werden Begriffe wie Realität, virtuelle Realität und erweiterte Realität erklärt, dann werden projektspezifische Themen, z.B. die Studierstube und das Tracking, angesprochen. Dies geschieht vor den Erklärungen zu dem Projekt KoKoBel, da einige dieser Grundlagen das Verständnis von KoKoBel erleichtern.
Die beiden letzten Kapitel der Grundlagen (2.7 und 2.8) befassen sich mit der Handschrift- und Spracherkennung. Dabei werden mögliche Methoden zur Erkennung und verschiedene Systeme betrachtet.
Im dritten Kapitel werden die Anforderungen an das Teilprojekt Handschrift- und Spracherkennung dargelegt. Es folgt eine Analyse der vorhandenen Möglichkeiten, ehe auf die verschiedenen Realisierungen eingegangen wird.
Das vierte Kapitel beinhaltet eine Zusammenfassung und eine Bewertung der einzelnen Projektteile. Zudem werden einige Denkanstöße für die Weiterentwicklung des Projektes gegeben. Dabei werden sowohl Verbesserungsvorschläge als auch zukünftige Ideen vorgestellt.
Inhaltsverzeichnis:Inhaltsverzeichnis:
1.Einleitung3
2.Grundlagen5
2.1Definition des Begriffs Realität5
2.2Virtual Reality - Virtuelle Realität6
2.3Augmented Reality - Erweiterte Realität8
2.4Studierstube9
2.4.1Definition des Begriffs Studierstube9
2.4.2Benutzerinteraktion11
2.4.33D Windows13
2.4.4Workspace14
2.4.5Szenengraphen14
2.5Tracking16
2.5.1Tracking allgemein16
2.5.2OpenTracker allgemein19
2.5.3OpenTracker-Datenfluss19
2.6KoKoBel23
2.6.1Das Projekt23
2.6.2Benutzerschnittstelle24
2.6.3Intelligente Objekte25
2.6.4OpenTracker im Projekt […]
Es besteht das Problem, dass in virtuellen Umgebungen die Konzentration immer wieder von der 3D-Umgebung oder dem aktuellen Projekt abgelenkt wird, wenn Tastatureingaben oder Steuerbefehle ausgeführt werden müssen. Das Einbringen einer Schrifterkennung soll die Tastatur ersetzen und Texteingaben einfach zugänglich machen. Der Einsatz von Spracherkennung für Steuerbefehle soll vor allem den Arbeitsfluss erleichtern, da Kommandos direkt gegeben werden können.
Gang der Untersuchung:
Die vorliegende Arbeit beschäftigt sich mit der Umsetzung dieser Idee, ihren Grundlagen/Vorbedingungen und möglichen Schwierigkeiten.
Im ersten Kapitel sollen zunächst einige Grundbegriffe - die für die Arbeit notwendig sind - erklärt werden. Zuerst werden Begriffe wie Realität, virtuelle Realität und erweiterte Realität erklärt, dann werden projektspezifische Themen, z.B. die Studierstube und das Tracking, angesprochen. Dies geschieht vor den Erklärungen zu dem Projekt KoKoBel, da einige dieser Grundlagen das Verständnis von KoKoBel erleichtern.
Die beiden letzten Kapitel der Grundlagen (2.7 und 2.8) befassen sich mit der Handschrift- und Spracherkennung. Dabei werden mögliche Methoden zur Erkennung und verschiedene Systeme betrachtet.
Im dritten Kapitel werden die Anforderungen an das Teilprojekt Handschrift- und Spracherkennung dargelegt. Es folgt eine Analyse der vorhandenen Möglichkeiten, ehe auf die verschiedenen Realisierungen eingegangen wird.
Das vierte Kapitel beinhaltet eine Zusammenfassung und eine Bewertung der einzelnen Projektteile. Zudem werden einige Denkanstöße für die Weiterentwicklung des Projektes gegeben. Dabei werden sowohl Verbesserungsvorschläge als auch zukünftige Ideen vorgestellt.
Inhaltsverzeichnis:Inhaltsverzeichnis:
1.Einleitung3
2.Grundlagen5
2.1Definition des Begriffs Realität5
2.2Virtual Reality - Virtuelle Realität6
2.3Augmented Reality - Erweiterte Realität8
2.4Studierstube9
2.4.1Definition des Begriffs Studierstube9
2.4.2Benutzerinteraktion11
2.4.33D Windows13
2.4.4Workspace14
2.4.5Szenengraphen14
2.5Tracking16
2.5.1Tracking allgemein16
2.5.2OpenTracker allgemein19
2.5.3OpenTracker-Datenfluss19
2.6KoKoBel23
2.6.1Das Projekt23
2.6.2Benutzerschnittstelle24
2.6.3Intelligente Objekte25
2.6.4OpenTracker im Projekt […]
Leseprobe
Inhaltsverzeichnis
ID 8077
Saga, Christian Georg: Sprach- und Schrifterkennung in virtueller Realität
Hamburg: Diplomica GmbH, 2004
Zugl.: Fachhochschule Darmstadt, BA-Thesis / Bachelor, 2003
Dieses Werk ist urheberrechtlich geschützt. Die dadurch begründeten Rechte, insbesondere die
der Übersetzung, des Nachdrucks, des Vortrags, der Entnahme von Abbildungen und Tabellen,
der Funksendung, der Mikroverfilmung oder der Vervielfältigung auf anderen Wegen und der
Speicherung in Datenverarbeitungsanlagen, bleiben, auch bei nur auszugsweiser Verwertung,
vorbehalten. Eine Vervielfältigung dieses Werkes oder von Teilen dieses Werkes ist auch im
Einzelfall nur in den Grenzen der gesetzlichen Bestimmungen des Urheberrechtsgesetzes der
Bundesrepublik Deutschland in der jeweils geltenden Fassung zulässig. Sie ist grundsätzlich
vergütungspflichtig. Zuwiderhandlungen unterliegen den Strafbestimmungen des
Urheberrechtes.
Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem
Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche
Namen im Sinne der Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten
wären und daher von jedermann benutzt werden dürften.
Die Informationen in diesem Werk wurden mit Sorgfalt erarbeitet. Dennoch können Fehler nicht
vollständig ausgeschlossen werden, und die Diplomarbeiten Agentur, die Autoren oder
Übersetzer übernehmen keine juristische Verantwortung oder irgendeine Haftung für evtl.
verbliebene fehlerhafte Angaben und deren Folgen.
Diplomica GmbH
http://www.diplom.de, Hamburg 2004
Printed in Germany
Einleitung
1
Bachelor-Arbeit
Sprach- & Schrifterkennung in Virtual- / Augmented Reality
Inhaltsverzeichnis
1
Einleitung ... 3
2
Grundlagen ... 5
2.1
Definition des Begriffs Realität...5
2.2
Virtual Reality Virtuelle Realität...6
2.3
Augmented Reality Erweiterte Realität ...8
2.4
Studierstube...9
2.4.1
Definition des Begriffs Studierstube...9
2.4.2
Benutzerinteraktion...11
2.4.3
3D Windows...13
2.4.4
Workspace...14
2.4.5
Szenengraphen...14
2.5
Tracking ...16
2.5.1
Tracking allgemein...16
2.5.2
OpenTracker allgemein...19
2.5.3
OpenTracker-Datenfluss...19
2.6
KoKoBel...23
2.6.1
Das Projekt ...23
2.6.2
Benutzerschnittstelle...24
2.6.3
Intelligente Objekte ...25
2.6.4
OpenTracker im Projekt KoKoBel ...25
2.7
Handschrifterkennung...27
2.7.1
Online-Zeichenerkennung...28
2.7.2
Offline-Zeichenerkennung...29
2.7.3
Erkennungsmethoden...29
2.8
Spracherkennung...34
2.8.1
Erkennungsmethoden...37
Einleitung
2
3
Das Teilprojekt Sprach- und Schrifterkennung im Projekt
KoKoBel ... 41
3.1
Ziel des Teilprojektes ...41
3.2
Aufbau des Teilprojektes ...42
3.3
Verwendete Programmversionen und
Programmierumgebungen ...43
3.4
Analyse ...44
3.4.1
Auswahl der Software für Spracherkennung...45
3.4.2
Auswahl der Software für Schrifterkennung...46
3.4.3
Möglichkeiten der Studierstube...47
3.5
Einbinden des SoAlphabetKit ...49
3.5.1
SoAlphabetKit ...50
3.5.2
Implementierung von SoAlphabetKit-Callbacks ...52
3.5.3
Implementierung weiterer Callbacks...54
3.5.4
Struktur der in KoKoBel dargestellten Text-Node ...54
3.6
Einbinden einer professionellen Schrifterkennung...57
3.7
OpenTracker-Modul zur Netzwerkkommunikation ...60
4
Abschließende Bewertung / Zukunftsaussichten ... 64
4.1
Abschließende Bewertung ...64
4.2
Zukünftige Ideen, Optionen zur Erweiterung...67
4.2.1
Ideen für die Spracherkennung...67
4.2.2
Ideen für die Schrifterkennung...68
5
Literaturverzeichnis... 69
6
Abbildungsverzeichnis ... 72
7
Tabellenverzeichnis ... 75
8
Glossar ... 76
Einleitung
3
1 Einleitung
Das Projekt KoKoBel entstand im Mai 2001 im Institut für graphische
Datenverabeitung (IGD) des Fraunhofer Institutes Darmstadt. Ziel dieses
Projektes ist es, eine kooperative Planungsumgebung für Industrieplanung
mit Hilfe der erweiterten Realität (engl.: Augmented Reality) zu schaffen.
Es soll für Entwickler möglich sein, in einer möglichst einfach zu
bedienenden Umgebung neue Planungen zu entwickeln und mit anderen
Spezialisten zu diskutieren.
Schon einige Zeit vor der Praxisphase dieser Bachelor-Arbeit habe ich im
Institut für Graphische Datenverarbeitung gearbeitet.
Während dieser Tätigkeit und dem Fortschreiten des Projektes zeigte sich,
dass die Arbeit in der virtuellen Umgebung ohne Tastatur schwierig war.
Arbeitsabläufe mussten immer wieder unterbrochen werden, um Eingaben
zu machen oder Kommandos auszuführen. Es entstand die Idee, die
Tastatureingabe durch eine Handschrifterkennung zu ersetzen und
Kommandos durch Sprachsteuerung ausführen zu lassen.
Ziel war, diese erweiterte Benutzerinteraktion sinnvoll in das Projekt
KoKoBel zu integrieren und auf die spezielle Architektur von KoKoBel
auszurichten, zugleich aber eine gewisse Unabhängigkeit von den
Erkennungssystemen zu behalten.
Die vorliegende Arbeit beschäftigt sich mit der Umsetzung dieser Idee,
ihren Grundlagen/Vorbedingungen und möglichen Schwierigkeiten.
Im folgenden Kapitel sollen zunächst einige Grundbegriffe - die für die
Arbeit notwendig sind - erklärt werden. Zuerst werden Begriffe wie
Realität, virtuelle Realität und erweiterte Realität erklärt, dann werden
projektspezifische Themen, z.B. die Studierstube und das Tracking,
angesprochen. Dies geschieht vor den Erklärungen zu dem Projekt
KoKoBel, da einige dieser Grundlagen das Verständnis von KoKoBel
erleichtern.
Einleitung
4
Die beiden letzten Kapitel der Grundlagen (2.7 und 2.8) befassen sich mit
der Handschrift- und Spracherkennung. Dabei werden mögliche Methoden
zur Erkennung und verschiedene Systeme betrachtet.
Im dritten Kapitel werden die Anforderungen an das Teilprojekt
Handschrift- und Spracherkennung dargelegt. Es folgt eine Analyse der
vorhandenen Möglichkeiten, ehe auf die verschiedenen Realisierungen
eingegangen wird.
Das vierte Kapitel beinhaltet eine Zusammenfassung und eine Bewertung
der einzelnen Projektteile. Zudem werden einige Denkanstöße für die
Weiterentwicklung des Projektes gegeben. Dabei werden sowohl
Verbesserungsvorschläge als auch zukünftige Ideen vorgestellt.
Grundlagen
5
2 Grundlagen
2.1 Definition des Begriffs Realität
Der Begriff Realität stammt aus dem Lateinischen und bedeutet übersetzt
,,Wirklichkeit, Tatsache, Gegebenheit. In der Philosophie bezeichnet
Realität als Prinzip des philosophischen Realismus die vom Subjekt
unabhängig existierende Außenwelt, als Grundbegriff der kantschen
Transzendentalphilosophie die vom Subjekt mitkonstruierte
Erfahrungswelt, das anschauliche Gegebene. Der kritische Rationalismus
betont in der Realität als Wirklichkeit das Wirken auf das Subjekt, sodass
nicht nur die dingliche Welt, sondern auch Bewusstseinszustände und
geistige Gegebenheiten (Werte, Gedankeninhalte usw.) unter den
Realitätsbegriff fallen."
1
Nach dieser Definition umfasst die Realität alles uns Umgebende. Dies
bezieht sich nicht nur auf das, was unsere Sinne erfahren, sondern auch
auf alles, was außerhalb unserer Sinneswahrnehmung liegt, also auf die
oben beschriebene, die vom Subjekt unabhängige Welt.
Zum Beispiel entsteht, wenn ein Baum im Wald umfällt, ein Geräusch, und
zwar unabhängig davon, ob jemand dieses Geräusch wahrnimmt, oder
nicht. Es gibt das Geräusch an sich als Realität.
Zusätzlich zu diesem Teil der Realität kommt im zweiten Teil der Definition
noch die Erfahrungswelt hinzu. Sie ist dem Subjekt zueigen und daher
individuell einzigartig. Diese subjektive Wahrnehmung entsteht aus dem
Zusammenspiel zwischen der unabhängigen Realität in der Umwelt und
der Wirkung auf ein Subjekt.
1
Vgl. Bibliographisches Institut & F.A. Brockhaus AG: Der Brockhaus Multimedial 2002
Grundlagen
6
2.2 Virtual Reality Virtuelle Realität
Im Gegensatz zum allgemeinen Realitätsbegriff bezieht sich der Begriff
Virtuelle Realität (Abkürzung VR) nicht auf die reale Außenwelt in ihrer
Wahrnehmung durch das Subjekt, sondern auf die Computerwelt. Es
handelt sich um ,,mittels Computer simulierte dreidimensionale Räume, in
denen sich der Benutzer mit Hilfe elektronischer Geräte, wie Monitorbrille
(engl.: eyephone), Datenhandschuh (engl.: dataglove), sowie
umfangreicher Software (u.a. für die Spracherkennung und
Geräuschsynthese) bewegt. Die in die Brille auf zwei kleine Bildschirme
stereoskopisch eingespielten Bilder vermitteln den Eindruck, selbst Teil
der künstlichen Welt zu sein
1
[
1
hinzugefügt, CS]. Bewegungen der Person
werden in Echtzeit sensorisch erfasst und Bildausschnitt und -perspektive
laufend angepasst. Über den ebenfalls mit Sensoren ausgestatteten
Datenhandschuh kann der Träger aktiv auf die modellhafte Umwelt
einwirken."
2
Anwendung findet die virtuelle Realität insbesondere bei der
,,Simulation von Flügen, Gebäuden, technischen Systemen sowie in der
Medizin und Unterhaltungselektronik"
3
.
Die virtuelle Realität ist eine komplett vom Menschen geschaffene
Umgebung, die ohne jeglichen Bezug zur normalen Realität sein kann.
Nach der Definition der Realität bleibt die virtuelle Realität trotz einiger
absurder Ableger Teil der Realität, denn sie entspringt menschlichen
Vorstellungen und Gedanken.
Somit ist die virtuelle Realität nicht als neue Realität zu verstehen, die
nichts mit der normalen Realität zu tun hat, sondern als Teilaspekt der
normalen Realität, der geeignet ist, Daten für den Menschen zu
visualisieren und verschiedene Umgebungen zu simulieren.
Durch ihre starke Ausrichtung auf die menschlichen Sinne ermöglicht die
virtuelle Realität, große Datenmengen darzustellen und befähigt den
1
Das Eintauchen in die virtuelle Umgebung wird auch als Immersion bezeichnet.
2
Vgl. Bibliographisches Institut & F.A. Brockhaus AG: Der Brockhaus Multimedial 2002
3
Vgl. Bibliographisches Institut & F.A. Brockhaus AG: Der Brockhaus Multimedial 2002
Grundlagen
7
Menschen, diese zu bewältigen. Der Benutzer sitzt nicht mehr vor einem
Computer und somit vor den Daten, vielmehr taucht er in diese ein.
Zudem bemühen sich moderne Systeme der virtuellen Realität, sich dem
Benutzer anzupassen und möglichst native Interaktion zur Verfügung zu
stellen. Der Benutzer muss sich also nicht mehr anpassen, sondern kann
auf gewohnte Weise mit den Daten umgehen.
Die Interaktion mit dem Benutzer möglichst natürlich zu gestalten und
vorhandene Methoden der Interaktion wie Sprach- und Schrifterkennung
zu benutzen, ist auch Ziel dieses Teilprojektes im Rahmen der
vorliegenden Bachelor-Arbeit.
Melanie Läge
1
unterteilt die virtuelle Realität graduell in drei Stufen:
- Die passive virtuelle Realität ist lediglich eine Abbildung, der
Benutzer wird zum reinen Betrachter. Beeinflussen kann er die
Umgebung nicht. Der Benutzer ist zum Wahrnehmen gezwungen,
der Blickwinkel wird fremdbestimmt.
- Die aktive virtuelle Realität ist immer noch eine Abbildung, doch der
Benutzer kann sich in dieser Abbildung frei bewegen und Objekte
selbstständig betrachten.
- Die interaktive virtuelle Realität ist die höchste Form. In ihr kann
sich der Betrachter frei bewegen. Er kann seine Umgebung
modellieren und verändern. Auf seine Aktionen erhält er eine
Rückmeldung. Diese reicht von visuellen Reizen bis zu haptischen
Erfahrungen.
1
Vgl. Läge, M./Suicmez, A.: Skript Virtuelle Realität, 2000 , S. 7
Grundlagen
8
2.3 Augmented Reality Erweiterte Realität
In der erweiterten Realität wird die normale Realität um Teile der virtuellen
Realität erweitert. Dabei werden zusätzliche Informationen in das Blickfeld
des Benutzers eingeblendet oder gar die gesamte Außenwelt über eine
Kamera aufgenommen, mit zusätzlichen Informationen versehen und
dann für den Benutzer projiziert. Je mehr zusätzliche Informationen, also
Teile der virtuellen Realität eingeblendet werden, desto näher kommt man
in den Bereich der virtuellen Realität.
Die erweiterte Realität ist daher ein Stück auf dem Weg zur virtuellen
Realität. Nach Milgram und Colquhoun
1
ergibt sich folgende Einteilung:
Im Gegensatz dazu existiert die erweiterte virtuelle Realität (engl.:
Augmented Virtuality). Dies erscheint zunächst ungewöhnlich, beschreibt
aber nichts anderes als eine virtuelle Realität, die mit Informationen wie
z.B. Bildern oder Sounds aus der Realität angereichert wird. Die erweiterte
virtuelle Realität ist somit ein Stück auf dem Weg von der rein virtuellen
Realität zur normalen Realität.
Die erweiterte Realität eignet sich besonders gut für Anwendungen mit
dem Menschen, da sie die Realität weitgehend unverändert lässt und
somit den Menschen nicht aus seiner gewohnten Umgebung heraushebt.
Bei vielen Anwendungen ist es zudem nicht nötig, die Umgebung komplett
virtuell abzubilden, sondern sie lediglich mit zusätzlichen Informationen
anzureichern.
1
Milgram, P./Colquhoun, Jr.: A Taxonomy of Real and Virtual World Display Integration,
1999
Abbildung 2-a: Reality Virtuality Kontinuum
Grundlagen
9
2.4 Studierstube
2.4.1 Definition des Begriffs Studierstube
Die Studierstube ist eine Entwicklungsumgebung, um Anwendungen für
virtuelle bzw. erweiterte Realität zu entwickeln.
Seit der Konzeption der Studierstube 1996 an der TU Wien ist das Projekt
stetig gewachsen, und viele neue Ideen sind hinzugekommen. Mittlerweile
hat sich die Studierstube zu einem Gemeinschaftsprojekt vieler
verschiedener Institute und Universitäten entwickelt, die sich zusammen
auf der Studierstube-Webseite präsentieren
1
. Diese Webseite bildet die
Informationsgrundlage für die nächsten Kapitel über die Studierstube.
Die Studierstube wurde entwickelt, um die normale Wahrnehmung mit
computerbasierten Informationen zu erweitern, also eine Augmented
Reality zu schaffen.
Dies funktioniert, indem der Benutzer ein Headset trägt, das über kleine,
halbdurchlässige Monitore vor den Augen zusätzliche Informationen
einblendet. Dabei ist wichtig, dass die Position des Kopfes und damit des
Blickes verfolgt wird, um die Informationen in einen Kontext mit der
normalen Welt stellen zu können.
Der Unterschied zwischen normalen Augmented Reality-Systemen und
der Studierstube besteht in dem kooperativen Ansatz, d.h., dass mehrere
Benutzer in einem Raum dasselbe Objekt betrachten können und dazu
entweder unterschiedliche oder identische Informationen eingeblendet
bekommen. Bei diesem Ansatz muss die Position und Orientierung jedes
Benutzers bekannt sein und in der Simulation berücksichtigt werden. Die
Augmented Reality-Umgebung kann also von verschiedenen Benutzern
aus verschiedenen Blickwinkeln betrachtet werden. Bei normalen
Augmented Reality-Systemen steht der Benutzer im Mittelpunkt und nicht
das Objekt. Die gesamte Realität um ihn herum wird zu seinen Gunsten
verändert, und zwar speziell zu seinen Bedingungen. Es gibt also nur eine
subjektive Sichtweise.
1
Vgl. http://www.studierstube.org
Grundlagen
10
Wichtig bei der Entwicklung der Studierstube ist die Ortsunabhängigkeit.
So sollten keine CAVE-Systeme
1
notwendig sein, vielmehr sollte die
gesamte Ausrüstung am Mann getragen werden können und mobil sein.
Die Studierstube baut auf OpenInventor auf, einem objektorientierten
3D-Toolkit, um interaktive 3D-Anwendungen zu programmieren.
Die graphischen Funktionen von OpenInventor werden durch ein
3D-Window-System zum Anzeigen der verschiedenen Applikationen
erweitert. Es kommen Verwaltungsklassen (engl.: Manager Classes)
hinzu, die für die interne Verarbeitung von Ressourcen - wie Benutzern
(engl.: Usern), Windows und Widgets - gebraucht werden. Zudem bietet
die Studierstube I/O Module an, um verschiedene Tracker an das System
anzuschließen.
1
CAVE Automatic Virtual Environment: die virtuelle Realität wird an die Wände eines
Raumes projiziert. Der Benutzer befindet sich mitten in der virtuellen Realität.
Abbildung 2-b: Studierstube-Softwarearchitektur
Grundlagen
11
Das wichtigste Teil jedoch, das die Studierstube mitbringt, ist das
3D-Event-System, das das OpenInventor-Event-System zu einem echten
3D-Event-System aufbaut.
2.4.2 Benutzerinteraktion
Damit der Benutzer mit der erweiterten Realität interagieren kann, muss er
einerseits Möglichkeiten haben, Aktionen auszuführen, andererseits muss
das System über die Position und Bewegungen des Benutzers informiert
sein. Hierbei kommen sog. Tracking-Systeme zur Anwendung.
Diese Tracking-Systeme erlauben es, die Position und Orientierung von
Objekten und dem Benutzer im Raum zu verfolgen.
Um Aktionen auszuführen, gibt es in der Studierstube verschiedene Tools,
wie z.B. das Pip, das SEAM oder Widgets. Die Anzahl und Art der Tools
ist frei erweiterbar und nur durch den Ideenreichtum der Entwickler
begrenzt. Aufgrund der projektbezogenen Relevanz soll hier auf das Pip
mit dem Pen eingegangen werden.
Das Pip (Personal Interaction Panel) besteht aus dem Benutzer-Pad
und dem Pen. Es ist dient der Hauptinteraktion mit dem System.
- Das Pad ist eine einfache Fläche, auf der mögliche Funktionen mit
Hilfe der Augmented Reality eingeblendet werden können.
Hier tritt die erweiterte Realität als
Erstes in Aktion, denn das reale
Pad ist nicht viel mehr als eine
Plastikfläche mit einem daran
befestigten Tracker. Oftmals ist es
eine einfache Plexiglasscheibe
ohne jegliche Funktion.
Abbildung 2-c: Einfaches
Plastikpad
Grundlagen
12
Dieses Plastikpad wird dann in der
erweiterten Realität durch eine
virtuelle Darstellung - dem Pip-Sheet
- überlagert, die Informationen und
Funktionalitäten enthält. Erst dadurch
erhält es für den Benutzer einen
Sinn. Die Funktionalitäten des Pads
sind also rein virtuell und können, je
nach Applikation, die gerade aktiv ist,
verändert oder ausgetauscht werden.
- Der Pen agiert wie eine dreidimensionale Maus. Mit ihm kann der
Benutzer Aktionen auf dem Pip-Sheet vornehmen, Objekte greifen
oder an ihnen Aktionen ausführen.
Auch hier besteht der reale Pen lediglich aus einem Plastikstift mit
eingebauten Tasten und einem angebrachten Tracker. Das
Aussehen wird dann in der erweiterten Realität durch eine virtuelle
Darstellung überlagert, Funktionen oder Informationen kommen
jedoch nicht mehr hinzu.
Abbildung 2-d: Plastikpad virtuell
überlagert
Abbildung 2-e: Überlagerung am virtuellen Tisch
Grundlagen
13
Das SEAM ist ein spezielles Tool, um Funktionen wie Spiegel oder
Durchsichtgeräte zu realisieren. So könnte es als virtueller Spiegel benutzt
werden, um hinter oder zwischen bestimmte Teile eines virtuellen Objekts
zu blicken.
Wie in Abbildung 2-f gezeigt, könnte
auch in medizinischen Applikationen
eine Röntgensicht realisiert werden. Bei
dem SEAM wird nur die Werkzeugspitze
durch eine virtuelle Ansicht ersetzt.
Widgets sind nicht viel mehr als interaktive Teile der virtuellen Umgebung,
also Knöpfe, Schieberegler usw. Diese Widgets sind auf dem Pip-Sheet
,,angebracht" und ermöglichen es dem Benutzer, die Applikation zu
konfigurieren oder Werte im Verlauf der Applikation zu ändern.
2.4.3 3D Windows
Bis auf die zusätzliche Dimension sind
3D Windows vergleichbar mit 2D
Windows in einem Betriebssystem. In
einer Applikation kann es mehrere 3D
Windows geben, um Inhalte zu
strukturieren und zu sortieren. Wie in
Abbildung 2-g gezeigt, werden diese
Windows dazu benutzt, verschiedene
Objekte anzuzeigen. Es können sogar
mehrere Applikationen gleichzeitig
ausgeführt werden, die dann in verschiedenen 3D Windows dargestellt
werden.
Abbildung 2-f: SEAM Röntgen-Tool
Abbildung 2-g: 3D Windows
Grundlagen
14
2.4.4 Workspace
Der Workspace ist in der Studierstube eine Art Desktop, in dem
verschiedene Applikationen ausgeführt werden können. Mehrere Benutzer
können in diesem Workspace zur selben Zeit agieren und gleichzeitig in
den Applikationen Funktionen ausführen. Dies bedeutet aber auch, dass
die Applikationen diese Multi-Benutzer-Funktion unterstützen müssen. Der
Workspace bietet dafür die grundlegenden Funktionen und Ressourcen.
Lediglich die logische Verarbeitung der Eingaben der Benutzer und ihre
Bearbeitung bleiben der Applikation überlassen.
2.4.5 Szenengraphen
Die Beschreibung und Speicherung einer 3D-Szene erfordert ein
spezielles Format. Die einzelnen 3D-Objekte müssen in ihrer zeitlichen
Relation, aber auch mit ihren Abhängigkeiten dargestellt werden. Dazu
verwendet man einen Szenengraphen. Dieser kann entweder ein Baum
oder ein gerichteter, azyklischer Graph sein.
Der Unterschied zwischen diesen beiden Formen besteht darin, dass in
einem Graphen die einzelnen Verzweigungen in ihrem Verlauf wieder
zusammenwachsen dürfen. Dies ist bei einem Baum nicht möglich. Die
Umsetzung von Szenengraphen hängt von dem verwendeten 3D-Toolkit
ab. Das Projekt KoKoBel basiert auf der Studierstube und damit auf dem
OpenInventor. Im OpenInventor werden gerichtete, azyklische Graphen
benutzt, eine Vereinigung der Abschnitte ist also möglich.
Szenengraphen bestehen aus Knoten (engl.: Node) und Kanten (engl.:
Edge).
Jeder Knoten repräsentiert ein 3D-Objekt und kann aus einem neuen
Untergraphen bestehen. In einem komplett aufgelösten Graphen bestehen
die Knoten aus den elementaren Bausteinen der virtuellen Umgebung.
Dazu gehören Formen, Materialien oder Kameras. Diese Knoten enthalten
Felder, die die Eigenschaften der einzelnen Elemente beschreiben.
Grundlagen
15
Die Knoten stehen über Kanten in Beziehung. Durch die Richtung des
Graphen ergibt sich eine zeitliche Abfolge der Objekterstellung, beginnend
bei einem Urknoten, dem sog. Root.
Ausgehend von diesem Root können einzelne Knoten über den sog. Pfad
(engl.: Path) beschrieben werden.
Grundlagen
16
2.5 Tracking
2.5.1 Tracking allgemein
Tracking ist für alle Anwendungen in virtueller und erweiterter Realität
unabdingbar. Es ist der Prozess des Verfolgens realer Objekte im Raum.
Erst dieses Verfolgen ermöglicht Interaktion mit der virtuellen Umgebung.
Dabei müssen sowohl die Position
als auch die Orientierung in sechs
Freiheitsgraden bestimmt werden
(siehe
Abbildung
2-h). Die
gewonnenen Daten werden dann in
die Koordinaten der virtuellen Welt
umgerechnet.
Zum Verfolgen der Objekte werden verschiedene Techniken benutzt:
- Magnetische Tracker werden eingesetzt, um die Unterschiede in
dem Magnetfeld eines Raumes für die Bestimmung der
Orientierung zu verwenden. Dabei werden drei Magnetspulen
rechtwinklig zueinander angeordnet und ergeben somit die drei
Achsen. Die Position wird über den Abstand zu zwei
Referenzmagneten bestimmt. So muss also der eigentliche Tracker
am Objekt selbst angebracht werden und seine Daten an eine
Basisstation übertragen. Aus den unterschiedlichen Daten zu den
beiden Referenzmagneten lässt sich nun die Position errechnen.
Die Orientierung im Raum wird anhand des allgemein vorhandenen
Magnetfeldes im Raum festgestellt. Vom Start des Trackings an
lassen sich die Änderungen verfolgen, daraus wird die Bewegung
errechnet.
Abbildung 2-h: Die sechs
Freiheitsgrade
Details
- Seiten
- Erscheinungsform
- Originalausgabe
- Jahr
- 2003
- ISBN (eBook)
- 9783832480776
- ISBN (Paperback)
- 9783838680774
- Dateigröße
- 1.1 MB
- Sprache
- Deutsch
- Institution / Hochschule
- Evangelische Hochschule Darmstadt, ehem. Evangelische Fachhochschule Darmstadt – Informatik
- Erscheinungsdatum
- 2014 (April)
- Note
- 1,3
- Schlagworte
- virtual reality datenverarbeitung studierstube tracking kokobel
