Menu

Mixed Reality with Hololens

 

Wir Menschen leben und agieren im dreidimensionalen Raum. Die Verbindung zwischen uns und der digitalen Welt bilden heute noch grösstenteils zweidimensionale Bildschirme. Mixed Reality möchte diese Einschränkung überwinden und dadurch eine natürlichere Interaktion zwischen Mensch und Computer ermöglichen. Konkret fügt Mixed Reality kontextbezogene Information in Ihre vertraute Umgebung ein und verbindet so die digitale mit der analogen Welt.

Unsere Mixed Reality Projekte setzen wir auf die Microsoft HoloLens. Dabei handelt es sich um einen tragbaren Computer, der mit verschiedenen Sensoren die Umgebung abtastet. Mit diesen Informationen ist es möglich, dreidimensionale Hologramme im Raum zu projizieren. Anders als bei Virtual Reality werden Inhalte in die echte Umgebung integriert. So ist die volle Bewegungsfreiheit gewährleistet und es ist möglich, mit Menschen und realen Objekten auf natürliche Art zu interagieren.

Projekte

Interaktive Wirkstoffforschung

Mixed Reality ermöglicht es komplexe räumliche Zusammenhänge mühelos verständlich zu machen.

Für die Forschungsgruppe für Computer-unterstützte Wirkstoffforschung der ETH Zürich haben wir in drei Wochen eine Hololens-Applikation entwickelt, die Studenten auf spielerische Weise die wissenschaftliche Materie beibringt.

Da diese Applikation von Personen genutzt wird, die zum ersten Mal eine Hololens-Brille tragen, wurde besonderer Wert auf die Benutzerschnittstelle gelegt: Es werden Gesten und Sprachbefehle unterstützt. Kurze Navigationswege, ein intuitives Layout und ein verständliches Lernprogramm helfen dem Benutzer bei der Bedienung.

Wir haben einen Prozess entwickelt, der flache Molekülbeschreibungen aus der offenen RCSB protein data bank zu 3D-Modellen umwandelt, die als Hologramme plastisch wirken.

Die MoleGram Explorer Applikation ist das Pilotprojekt zu "Lernen in Mixed Realities" an der ETH Zürich.

News:

Projekte

Stadtplanung im Dialog

Die Weiterentwicklung unserer Stadtplanungs-App ermöglicht es mehreren Benutzern, eine synchrone Ansicht des 3D-Stadtmodells zu betrachten und zu verändern.

Alle Teilnehmer sehen das Modell genau am selben Ort im Raum. Jede Änderung am Modell wird für alle Betrachter zeitgleich eingeblendet. So können sich die Planer des Amts für Städtebau der Stadt Zürich schnell und unkompliziert über Bauvarianten austauschen. Weitere Informationen, wie zum Beispiel Bauzonen, können über das Terrain gelegt und der Schattenwurf der neuen Gebäude kann präzise simuliert werden.

Die Applikation ist sowohl im Innen- wie Aussenraum in vollem Funktionsumfang einsetzbar. Die geplanten Gebäude können in Originalgrösse an ihrem zukünftigen Ort eingeblendet werden.

Unsere revolutionäre Benutzerschnittstelle stellt den 3D-Inhalt ins Zentrum der Applikation. Die Kontrollelemente sind nur dann sichtbar, wenn sie per Fingergeste herbeigerufen werden. Mit einfachen Gesten und Sprachbefehlen kann auf exakte Weise mit dem Modell gearbeitet werden.

Mit der Hololens und HoloPlanning gestalten Städteplaner das Wohnen, die Mobilität und das Arbeiten in Zürich für die nächste Generation.

Projekte

Spielend Jazz Äpfel sammeln

Für die Bea Expo in Bern 2017 haben wir zusammen mit den Produzenden der Apfelsorte Jazz ein Hololens Spiel entwickelt, das den Ausstellungsstand in ein Mixed Reality Spielfeld verwandelt.

Die Standbesucher konnten spielend die Jazz Welt entdecken, sich körperlich aktivieren und kleine Rätsel lösen. Die Steuerung des Spiels ist möglichst einfach gehalten: Die Position des Spielers wird registriert und mit der aktuellen Blickrichtung kann mit den Objekten im Raum interagiert werden. Die Hololens Brille analysiert mit Hilfe von Bilderkennung die echte Umgebung und die Bewegungen des Spielers und erzeugt so die Illusion, dass die Objekte im Raum verankert sind.

Die dargestellten 3D-Elemente bewegen sich physikalisch natürlich und reagieren auf echte sowie virtuelle Einflüsse. Das Spiel wird getragen von Animationen, Partikeleffekten, einem dreidimensionalen Sounderlebnis, sowie einigen Überraschungselementen.

Projekte

Stadtplanung mit Mixed Reality

Überall dort, wo neuer Wohnraum entsteht, muss auch die Infrastruktur mitwachsen. StadtplanerInnen und ArchitektInnen haben den Anspruch, funktionale und architektonisch wertvolle öffentliche Bauten auszuarbeiten.

Wir haben zusammen mit dem Amt für Städtebau der Stadt Zürich einen Prototyp entwickelt, der den Architekturwettbewerb ins digitale Zeitalter bringt: Teilnehmende Architekturbüros erstellen detaillierte 3D-Modelle von Gebäuden, die wir als Hologramme auf das Gipsmodell des umgebenden Quartiers projizieren können.

Features, die wir in dieser Applikation umgesetzt haben:

  • Umschalten zwischen verschiedenen Gebäuden mit Gesten und Sprachbefehlen
  • Darstellung des Quartiers über die Grenzen des Gipsmodells hinaus
  • Das Einblenden von Zusatzinformationen zum Objekt
  • Gebäude lassen sich vergrössern und Teile der Konstruktion lassen sich ein- und ausblenden (z.B. Fassade)
  • Der Sonnenstand kann manuell gesteuert werden. So kann der Schatten, welches das neue Gebäude wirft im Voraus untersucht werden.
  • Darstellung der Umgebung aus der Fussgängerperspektive

Diese Anwendung zeigt auf, wie Arbeitsweisen, welche jahrzehntelang unverändert blieben, mit Mixed Reality weiterentwickelt werden könnten.

Projekte

Die Pfahlbauer von Zürich

Die Überreste einer 5000 Jahre alten Pfahlbausiedlung wurden bei der Renovation des Sechseläutenplatzes entdeckt. Mit der Hololens können wir die Arbeit der Archäologen für die Öffentlichkeit erfahrbar machen.

Unser Hololens App zeigt die verborgenen Schätze, die unter dem Sechseläutenplatz verborgen lagen. Wir haben eine Hololens-Applikation entwickelt, welche die Vergangenheit mit dem Hier und Jetzt verbindet: Auf dem Sechseläutenplatz wird ein 3D-Modell der Siedlung eindrücklich in Lebensgrösse visualisiert. So können Besucher mit der Hololens einen Spaziergang durch die Pfahlbauten machen.

Medienspiegel:

Projekte

CT-Modelle im Raum

Unsere erste Hololens App ermöglicht es mehreren Teilnehmern verschiedene Computertomographie-Scans gemeinsam zu erkunden.

Die Benutzer können ein gescanntes Modell laden, im Raum platzieren und auf verschiedene Arten mit dem dargestllten Modell interagieren:

  • Beleuchtung und Markierung von Teilen des Modells
  • Zoomen des Modells
  • Das Modell und der aktuelle Zustand der App wird über einen Service zwischen mehreren Hololens Geräten synchronisiert
  • Alle Benutzer können gleichzeitig mit dem Modell interagieren

Solche Anwendungen sind in der medizinischen Bildung wie auch im Vertrauensgespräch zwischen Patient und Arzt wertvoll. Komplexe medizinische Abläufe lassen sich anschaulich mittels 3D-Modell beschreiben.

Diese Applikation entstand im Auftrag von Fluance AG.

afca. amp

Ein Hologramm
sagt mehr als tausend Bilder.

Ein Hologramm sagt mehr als tausend Bilder.

Mixed Reality mit Hololens

 

Wir Menschen leben und agieren im dreidimensionalen Raum. Die Verbindung zwischen uns und der digitalen Welt bilden heute noch grösstenteils zweidimensionale Bildschirme. Mixed Reality möchte diese Einschränkung überwinden und dadurch eine natürlichere Interaktion zwischen Mensch und Computer ermöglichen. Konkret fügt Mixed Reality kontextbezogene Information in Ihre vertraute Umgebung ein und verbindet so die digitale mit der analogen Welt.

Hololens-Projekte

Interaktive Wirkstoffforschung

 

Mixed Reality ermöglicht es komplexe räumliche Zusammenhänge mühelos verständlich zu machen.

Für die Forschungsgruppe für Computer-unterstützte Wirkstoffforschung der ETH Zürich haben wir in drei Wochen eine Hololens-Applikation entwickelt, die Studenten auf spielerische Weise die wissenschaftliche Materie beibringt.

Da diese Applikation von Personen genutzt wird, die zum ersten Mal eine Hololens-Brille tragen, wurde besonderer Wert auf die Benutzerschnittstelle gelegt: Es werden Gesten und Sprachbefehle unterstützt. Kurze Navigationswege, ein intuitives Layout und ein verständliches Lernprogramm helfen dem Benutzer bei der Bedienung.

Wir haben einen Prozess entwickelt, der flache Molekülbeschreibungen aus der offenen RCSB protein data bank zu 3D-Modellen umwandelt, die als Hologramme plastisch wirken.

Die MoleGram Explorer Applikation ist das Pilotprojekt zu "Lernen in Mixed Realities" an der ETH Zürich.

News:

Stadtplanung im Dialog

 

Die Weiterentwicklung unserer Stadtplanungs-App ermöglicht es mehreren Benutzern, eine synchrone Ansicht des 3D-Stadtmodells zu betrachten und zu verändern.

Alle Teilnehmer sehen das Modell genau am selben Ort im Raum. Jede Änderung am Modell wird für alle Betrachter zeitgleich eingeblendet. So können sich die Planer des Amts für Städtebau der Stadt Zürich schnell und unkompliziert über Bauvarianten austauschen. Weitere Informationen, wie zum Beispiel Bauzonen, können über das Terrain gelegt und der Schattenwurf der neuen Gebäude kann präzise simuliert werden.

Die Applikation ist sowohl im Innen- wie Aussenraum in vollem Funktionsumfang einsetzbar. Die geplanten Gebäude können in Originalgrösse an ihrem zukünftigen Ort eingeblendet werden.

Unsere revolutionäre Benutzerschnittstelle stellt den 3D-Inhalt ins Zentrum der Applikation. Die Kontrollelemente sind nur dann sichtbar, wenn sie per Fingergeste herbeigerufen werden. Mit einfachen Gesten und Sprachbefehlen kann auf sehr exakte Weise mit dem Modell gearbeitet werden.

Mit der Hololens und HoloPlanning gestalten Städteplaner das Wohnen, die Mobilität und das Arbeiten in Zürich für die nächste Generation.

Spielend Jazz Äpfel sammeln

 

Für die Bea Expo in Bern 2017 haben wir zusammen mit den Produzenden der Apfelsorte Jazz ein Hololens Spiel entwickelt, das den Ausstellungsstand in ein Mixed Reality Spielfeld verwandelt.

Die Standbesucher konnten spielend die Jazz Welt entdecken, sich körperlich aktivieren und kleine Rätsel lösen. Die Steuerung des Spiels ist möglichst einfach gehalten: Die Position des Spielers wird registriert und mit der aktuellen Blickrichtung kann mit den Objekten im Raum interagiert werden. Die Hololens Brille analysiert mit Hilfe von Bilderkennung die echte Umgebung und die Bewegungen des Spielers und erzeugt so die Illusion, dass die Objekte im Raum verankert sind.

Die dargestellten 3D-Elemente bewegen sich physikalisch natürlich und reagieren auf echte sowie virtuelle Einflüsse. Das Spiel wird getragen von Animationen, Partikeleffekten, einem dreidimensionalen Sounderlebnis, sowie einigen Überraschungselementen.

Stadtplanung mit Mixed Reality

 

Überall dort, wo neuer Wohnraum entsteht, muss auch die Infrastruktur mitwachsen. StadtplanerInnen und ArchitektInnen haben den Anspruch funktionale und architektonisch wertvolle öffentliche Bauten auszuarbeiten.

Wir haben zusammen mit dem Amt für Städtebau der Stadt Zürich einen Prototyp entwickelt, der den Architekturwettbewerb ins digitale Zeitalter bringt: Teilnehmende Architekturbüros erstellen detaillierte 3D-Modelle von Gebäuden, die wir als Hologramme auf das Gipsmodell des umgebenden Quartiers projizieren können.

Features, die wir in dieser Applikation umgesetzt haben:

  • Umschalten zwischen verschiedenen Gebäuden mit Gesten und Sprachbefehlen
  • Darstellung des Quartiers über die Grenzen des Gipsmodells hinaus
  • Das Einblenden von Zusatzinformationen zum Objekt
  • Gebäude lassen sich vergrössern und Teile der Konstruktion lassen sich ein- und ausblenden (z.B. Fassade)
  • Der Sonnenstand kann manuell gesteuert werden. So kann der Schatten, welches das neue Gebäude wirft, im Voraus untersucht werden.
  • Darstellung der Umgebung aus der Fussgängerperspektive

Diese Anwendung zeigt auf, wie Arbeitsweisen, welche jahrzehntelang unverändert blieben, mit Mixed Reality weiterentwickelt werden könnten.

Die Pfahlbauer von Zürich

 

Die Überreste einer 5000 Jahre alten Pfahlbausiedlung wurden bei der Renovation des Sechseläutenplatzes entdeckt. Mit der Hololens können wir die Arbeit der Archäologen für die Öffentlichkeit erfahrbar machen.

Unser Hololens App zeigt die verborgenen Schätze, die unter dem Sechseläutenplatz verborgen lagen. Wir haben eine Hololens-Applikation entwickelt, welche die Vergangenheit mit dem Hier und Jetzt verbindet: Auf dem Sechseläutenplatz wird ein 3D-Modell der Siedlung eindrücklich in Lebensgrösse visualisiert. So können Besucher mit der Hololens einen Spaziergang durch die Pfahlbauten machen.

Medienspiegel:

CT-Modelle im Raum

 

Unsere erste Hololens App ermöglicht es mehreren Teilnehmern verschiedene Computertomographie-Scans gemeinsam zu erkunden.

Die Benutzer können ein gescanntes Model laden, im Raum platzieren und auf verschiedene Arten mit dem dargestellten Modell interagieren:

  • Beleuchtung und Markierung von Teilen des Modells
  • Zoomen des Modells
  • Das Modell und der aktuelle Zustand der App wird über einen Service zwischen mehreren Hololens Geräten synchronisiert
  • Alle Benutzer können gleichzeitig mit dem Modell interagieren

Solche Anwendungen sind in der medizinischen Bildung wie auch im Vertrauensgespräch zwischen Patient und Arzt wertvoll. Komplexe medizinische Abläufe lassen sich anschaulich mittels 3D-Modell beschreiben.

Diese Applikation entstand im Auftrag von Fluance AG.