In nahezu jeder Publikation zu XR, AR, VR oder MR wird das „Milgram-Kontinuum“ als definitorische Grundlage genutzt. Ziel dieses Frameworks ist es, Augmented Reality (AR) und Augmented Virtuality (AV) zwischen den Endpolen Realiät und Virtualität (Virtual Reality, also VR) darzustellen. AR und AV werden dort gemeinsam als MR – also Mixed Reality – bezeichnet. Das klingt plausibel und ist plakativ – aber aus meiner Sicht auch kritisch. In diesem Beitrag diskutierte ich, wieso dieses Framework nicht mehr zeitgemäß ist.
Fünf Kritikpunkte am Realitäts-Virtualitätskontinuum
Erstens besagt die das Milgram-Kontinuum, dass alle Augmented Reality und Augmented Virtuality Unterformen von Mixed Reality sind (Milgram & Kishino, 1994). In den Publikationen argumentieren die Autoren auch, dass AR und VR miteinander verwandt sind sie und es daher auch sinnvoll ist, sie gemeinsam zu betrachten (Milgram et al., 1995, S. 283). Aus Entwicklersicht mag diese Ähnlichkeitsannahme sinnvoll sein, schließlich nutzt man ähnliche Techniken (bspw. Tracking, SDKs etc.). Aus Nutzersicht handelt es sich bei AR und VR allerdings um komplett unterschiedliche Ansätze. Bei AR werden virtuelle Elemente in die physische Umgebung des Nutzers gebracht (Local Presence), bei VR wird der Nutzer in eine fiktive Welt gebracht (Telepresence). Das wäre in etwa so, wie wenn man Kinofilme und Tiktokvideos als „ähnlich“ bezeichnen würde, da beide mit Kameras aufgenommen wurden. Man kann als Nutzer entweder in AR oder in VR sein, aber nie in beidem gleichzeitig. Wichtig: Hierbei geht es nicht um die Hardware. Ein als „VR-Brille“ vermarktetes Devices mit Frontkameras kann durchaus ein Video-See-Through AR ermöglichen. Nutzer sind dann trotzdem entweder im AR ODER (und nich „und“) im VR Modus.
Zweitens argumentieren viele Autoren, dass die Unterscheidung zwischen AR und AV auf der Grundlage des Verhältnisses zwischen realen und virtuellen Inhalten stattfindet (bspw. Leclet-Groux et al., 2013; Looser et al., 2004). Diese proportionenbasierte Interpretation ist jedoch nicht ganz unkrtitisch. Nehmen wir zum Beispiel einen Nutzer, der eine funktionale AR-Brille trägt (bspw. Google Glass), die Textinhalte in sein Sichtfeld integriert. Dieser Use Case wäre bei einer freien Interpretation des Kontinuum also AR oder AV (in jedem Fall MR), je nachdem, wie groß der Anteil des Textes im Sichtfeld ist. Also: Viel Text = AV, wenig Text = AR. Das ist weder plausibel noch klar definiert, wo diese Abgrenzung sein könnte. Vielmehr sollte die Art der Inhalte vom Vordergrund stehen (und nicht die Menge). Auch ist unklar, ab wann reale Inhalte real sind. Beispiel: Wird über die reale Welt noch ein Filter gelegt (bspw. die Helligkeit verändert) – ist das dann noch „real“ oder schon verändert und somit virtuell?
Andere Autoren argumentieren, dass die Unterscheidung danach geht, ob virtuelle Inhalte der realen Welt überlagert werden (AR) oder ob reale Objekte virtuellen Inhalten überlagert werden (AV). Diese unterscheidung ist dichotom (entweder-oder). Eine dichotome Unterscheidung widerspricht aber der Idee eines Kontinuums. Zudem wäre es bei Video-See-Through-Systemen (bei denen alles auf einem digitalen Bildschirm dargestellt wird) zu einer Herausforderung werden. Last but not least: Höchstwahrscheinlich spielt diese technische Unterscheidung für die meisten Nutzer auch keine Rolle.
Viertens ist es enoprm schwierig, AV in der Praxis zu finden. Selbst in unserer Studie mit Industrieexperten mit teils langjähriger Berfuserfahrung war nicht jedem der Begriff Augmented Virtuality bekannt. Eine Google-Trendanalyse bestätigt diese Schlussfolgerung. Der Screenshot unten verdeutlicht das – im Vergleich zu der der roten (AR) und organgene (VR) Linie ist die blaue Linie (AV) dauerhaft nahe der Null. Daran ändert sich auch wenig, wenn der Referenzwert geändert wird. Der Link zum Ausprobieren ist als Quelle in der Bildbeschreibung angegeben.
Fünftens haben sich seit Milgram einige neue Konzepte etabliert – man denke an XR (Spoiler: Bitte nicht Extended Reality! Bei VR wird nicht extended, sondern replaced!) oder Assisted Reality. Dazu kommt das „Rebranding“ von Mixed Reality, was insbesondere auf die Kommunikation von Microsoft zum Launch der ersten Hololens-Brille im Jahr 2016 zurückzuführen ist. Ob Augmented Virtuality unbedingt weiterhin einen Platz in solchen Frameworks einfordern muss, sei ebenfalls dahingestellt. Kurzum: das Kontinuum ist unvollständig.
Fazit: Ein neues Framework muss her!
Kurzum: Nach rund 30 Jahren tut uns ein Update gut! Daran arbeiten wird. Ein Preprint gibt es auf Research Gate. Untenstehend bfindet sich das Framework dazu. Hier ist die dichotome Unterscheidung zwischen AR und VR auf Basis der Entscheidung, ob die physische Umgebung für Nutzer eine Relevanz in der Experince hat. Wenn ja, dann AR; wenn nein, dann VR. XR ist der Oberbegriff und steht für xreality (und nicht extended reality, denn der Begriff extended würde VR ausschließen). Sowohl AR als auch VR können dann, wenn nötig, noch weiter verfeinert werden. Mehr dazu dann bald in einem anderen Posting.
Quellen:
Leclet-Groux, D., Caron, G., Mouaddib, E., & Anghour, A. (2013). A Serious Game for 3D cultural heritage. In 2013 Digital Heritage International Congress (DigitalHeritage) (Vol. 1, pp. 409-412).
Looser, J., Billinghurst, M., & Cockburn, A. (2004). Through the looking glass: the use of lenses as an interface tool for Augmented Reality interfaces. In Proceedings of the 2nd international conference on Computer graphics and interactive techniques in Australasia and South East Asia (pp. 204-211).
Milgram, P., & Kishino, A.F. (1994). Taxonomy of mixed reality visual displays. IEICE transactions on information and systems, E77-D(12), 1321–1329.
Milgram, P., Takemura, H., Utsumi, A., & Kishino, F. (1995, December). Augmented reality: A class of displays on the reality-virtuality continuum. In Telemanipulator and telepresence technologies (Vol. 2351, pp. 282-292). International Society for Optics and Photonics.
Rauschnabel, P.A.; Felix, R.; Hinsch, C.; Shahab, H, & Alt, F. (2022) What is XR? Towards a Framework for Augmented and Virtual Reality, Computers in Human Behavior, forthcoming