Menu

Mixed Reality with Hololens

 

Wir Menschen leben und agieren im dreidimensionalen Raum. Die Verbindung zwischen uns und der digitalen Welt bilden heute noch grösstenteils zweidimensionale Bildschirme. Mixed Reality möchte diese Einschränkung überwinden und dadurch eine natürlichere Interaktion zwischen Mensch und Computer ermöglichen. Konkret fügt Mixed Reality kontextbezogene Information in Ihre vertraute Umgebung ein und verbindet so die digitale mit der analogen Welt.

Unsere Mixed Reality Projekte setzen wir auf die Microsoft HoloLens. Dabei handelt es sich um einen tragbaren Computer, der mit verschiedenen Sensoren die Umgebung abtastet. Mit diesen Informationen ist es möglich, dreidimensionale Hologramme im Raum zu projizieren. Anders als bei Virtual Reality werden Inhalte in die echte Umgebung integriert. So ist die volle Bewegungsfreiheit gewährleistet und es ist möglich, mit Menschen und realen Objekten auf natürliche Art zu interagieren.

Projekte

Daten dort visualisieren, wo sie entstehen

Echtzeitdaten werden durch neueste Mixed Reality Technologie dort angezeigt, wo sie entstehen, virtuell und auf dem realen Objekt.

Hintergrund: CSL Behring AG ist ein global führendes Biotech-Unternehmen, spezialisiert auf die Herstellung von Medikamenten aus Humanplasma. Die Anlagen der CSL Behring AG im Wankdorf, im Herzen der Hauptstadt, generieren täglich eine Vielzahl an Daten, die für die Produktion ihrer lebensrettenden Medikamente von entscheidender Bedeutung sind. Das Ziel des Projekts war es, den Mitarbeitenden die nötigen Informationen schnellstmöglich zu vermitteln, wie auch die komplexen Produktionsprozesse verständlicher darzustellen.

Lösung: Die gesammelten Daten des Kunden werden abgerufen und in einem smarten AR-Cloud-System (Azure) einem digitalen Zwilling zugeordnet. Mittels der Mixed Reality Brille werden die benötigten Informationen schliesslich direkt auf dem entsprechenden realen Objekt in Echtzeit abgebildet. Die Mixed Reality Brille wird so als komplett neuartiges HMI verwendet.

Nutzen: Die Applikation ermöglicht dem Mitarbeiter eine schnellere und exaktere Entscheidungsfindung und trägt dadurch zur Vermeidung von Fehlern bei. Dank der Verwendung eines head-mounted Displays haben die Mitarbeitenden die Hände frei und können sich sicher und effizient in der Anlage bewegen.

Mit der Applikation "PlasmiX" wurde afca. ins Mixed Reality Partnerprogramm von Microsoft aufgenommen. Die Erweiterung der Services durch Machine Learning und Artificial Intelligence verspricht den Durchbruch immersiver Technologien in der Evolution der Industrie 4.0.

 

Projekte

Filialeröffnung PostFinance

PostFinance bezeichnet sich selber als "Digital Powerhouse" und hat anlässlich einer Filialeröffnung ein Augmented Reality Spiel entwickeln lassen. Die reelle Welt verschmilzt so immersiv mit der virtuellen.

Die charakteristischen Porzellanschweinchen der PostFinance wurden grafisch animiert und als Spielfiguren zum Leben erweckt. Mittels der HoloLens-Brille bewegt der Spieler das virtuelle Piggy durch die Filiale. Die intuitive Steuerung mit dem Kopf macht das Spiel für jedermann einfach verständlich und zum einzigartigen Erlebnis.

Das Spiel entstand im Auftrag der PostFinance AG und wurde am 24. Februar 2018 an der Eröffnung der Filiale in der Aarbergergasse in Bern erstmals öffentlich gezeigt.

Projekte

Interaktive Wirkstoffforschung

Mixed Reality ermöglicht es komplexe räumliche Zusammenhänge mühelos verständlich zu machen.

Für die Forschungsgruppe für Computer-unterstützte Wirkstoffforschung der ETH Zürich haben wir in drei Wochen eine Hololens-Applikation entwickelt, die Studenten auf spielerische Weise die wissenschaftliche Materie beibringt.

Da diese Applikation von Personen genutzt wird, die zum ersten Mal eine Hololens-Brille tragen, wurde besonderer Wert auf die Benutzerschnittstelle gelegt: Es werden Gesten und Sprachbefehle unterstützt. Kurze Navigationswege, ein intuitives Layout und ein verständliches Lernprogramm helfen dem Benutzer bei der Bedienung.

Wir haben einen Prozess entwickelt, der flache Molekülbeschreibungen aus der offenen RCSB protein data bank zu 3D-Modellen umwandelt, die als Hologramme plastisch wirken.

Die MoleGram Explorer Applikation ist das Pilotprojekt zu "Lernen in Mixed Realities" an der ETH Zürich.

News:

Projekte

Stadtplanung im Dialog

Die Weiterentwicklung unserer Stadtplanungs-App ermöglicht es mehreren Benutzern, eine synchrone Ansicht des 3D-Stadtmodells zu betrachten und zu verändern.

Alle Teilnehmer sehen das Modell genau am selben Ort im Raum. Jede Änderung am Modell wird für alle Betrachter zeitgleich eingeblendet. So können sich die Planer des Amts für Städtebau der Stadt Zürich schnell und unkompliziert über Bauvarianten austauschen. Weitere Informationen, wie zum Beispiel Bauzonen, können über das Terrain gelegt und der Schattenwurf der neuen Gebäude kann präzise simuliert werden.

Die Applikation ist sowohl im Innen- wie Aussenraum in vollem Funktionsumfang einsetzbar. Die geplanten Gebäude können in Originalgrösse an ihrem zukünftigen Ort eingeblendet werden.

Unsere revolutionäre Benutzerschnittstelle stellt den 3D-Inhalt ins Zentrum der Applikation. Die Kontrollelemente sind nur dann sichtbar, wenn sie per Fingergeste herbeigerufen werden. Mit einfachen Gesten und Sprachbefehlen kann auf exakte Weise mit dem Modell gearbeitet werden.

Mit der Hololens und HoloPlanning gestalten Städteplaner das Wohnen, die Mobilität und das Arbeiten in Zürich für die nächste Generation.

Projekte

Spielend Jazz Äpfel sammeln

Für die Bea Expo in Bern 2017 haben wir zusammen mit den Produzenden der Apfelsorte Jazz ein Hololens Spiel entwickelt, das den Ausstellungsstand in ein Mixed Reality Spielfeld verwandelt.

Die Standbesucher konnten spielend die Jazz Welt entdecken, sich körperlich aktivieren und kleine Rätsel lösen. Die Steuerung des Spiels ist möglichst einfach gehalten: Die Position des Spielers wird registriert und mit der aktuellen Blickrichtung kann mit den Objekten im Raum interagiert werden. Die Hololens Brille analysiert mit Hilfe von Bilderkennung die echte Umgebung und die Bewegungen des Spielers und erzeugt so die Illusion, dass die Objekte im Raum verankert sind.

Die dargestellten 3D-Elemente bewegen sich physikalisch natürlich und reagieren auf echte sowie virtuelle Einflüsse. Das Spiel wird getragen von Animationen, Partikeleffekten, einem dreidimensionalen Sounderlebnis, sowie einigen Überraschungselementen.

Projekte

Stadtplanung mit Mixed Reality

Überall dort, wo neuer Wohnraum entsteht, muss auch die Infrastruktur mitwachsen. StadtplanerInnen und ArchitektInnen haben den Anspruch, funktionale und architektonisch wertvolle öffentliche Bauten auszuarbeiten.

Wir haben zusammen mit dem Amt für Städtebau der Stadt Zürich einen Prototyp entwickelt, der den Architekturwettbewerb ins digitale Zeitalter bringt: Teilnehmende Architekturbüros erstellen detaillierte 3D-Modelle von Gebäuden, die wir als Hologramme auf das Gipsmodell des umgebenden Quartiers projizieren können.

Features, die wir in dieser Applikation umgesetzt haben:

  • Umschalten zwischen verschiedenen Gebäuden mit Gesten und Sprachbefehlen
  • Darstellung des Quartiers über die Grenzen des Gipsmodells hinaus
  • Das Einblenden von Zusatzinformationen zum Objekt
  • Gebäude lassen sich vergrössern und Teile der Konstruktion lassen sich ein- und ausblenden (z.B. Fassade)
  • Der Sonnenstand kann manuell gesteuert werden. So kann der Schatten, welches das neue Gebäude wirft im Voraus untersucht werden.
  • Darstellung der Umgebung aus der Fussgängerperspektive

Diese Anwendung zeigt auf, wie Arbeitsweisen, welche jahrzehntelang unverändert blieben, mit Mixed Reality weiterentwickelt werden könnten.

Projekte

Die Pfahlbauer von Zürich

Die Überreste einer 5000 Jahre alten Pfahlbausiedlung wurden bei der Renovation des Sechseläutenplatzes entdeckt. Mit der Hololens können wir die Arbeit der Archäologen für die Öffentlichkeit erfahrbar machen.

Unser Hololens App zeigt die verborgenen Schätze, die unter dem Sechseläutenplatz verborgen lagen. Wir haben eine Hololens-Applikation entwickelt, welche die Vergangenheit mit dem Hier und Jetzt verbindet: Auf dem Sechseläutenplatz wird ein 3D-Modell der Siedlung eindrücklich in Lebensgrösse visualisiert. So können Besucher mit der Hololens einen Spaziergang durch die Pfahlbauten machen.

Medienspiegel:

Projekte

CT-Modelle im Raum

Unsere erste Hololens App ermöglicht es mehreren Teilnehmern verschiedene Computertomographie-Scans gemeinsam zu erkunden.

Die Benutzer können ein gescanntes Modell laden, im Raum platzieren und auf verschiedene Arten mit dem dargestllten Modell interagieren:

  • Beleuchtung und Markierung von Teilen des Modells
  • Zoomen des Modells
  • Das Modell und der aktuelle Zustand der App wird über einen Service zwischen mehreren Hololens Geräten synchronisiert
  • Alle Benutzer können gleichzeitig mit dem Modell interagieren

Solche Anwendungen sind in der medizinischen Bildung wie auch im Vertrauensgespräch zwischen Patient und Arzt wertvoll. Komplexe medizinische Abläufe lassen sich anschaulich mittels 3D-Modell beschreiben.

Diese Applikation entstand im Auftrag von Fluance AG.

afca. amp

Ein Hologramm
sagt mehr als tausend Bilder.

Ein Hologramm sagt mehr als tausend Bilder.

Mixed Reality mit Hololens

 

Wir Menschen leben und agieren im dreidimensionalen Raum. Die Verbindung zwischen uns und der digitalen Welt bilden heute noch grösstenteils zweidimensionale Bildschirme. Mixed Reality möchte diese Einschränkung überwinden und dadurch eine natürlichere Interaktion zwischen Mensch und Computer ermöglichen. Konkret fügt Mixed Reality kontextbezogene Information in Ihre vertraute Umgebung ein und verbindet so die digitale mit der analogen Welt.

Hololens-Projekte

Daten dort visualisieren, wo sie entstehen

 

Echtzeitdaten werden durch neueste Mixed Reality Technologie dort angezeigt, wo sie entstehen, virtuell und auf dem realen Objekt.

Hintergrund: CSL Behring AG ist ein global führendes Biotech-Unternehmen, spezialisiert auf die Herstellung von Medikamenten aus Humanplasma. Die Anlagen der CSL Behring AG im Wankdorf, im Herzen der Hauptstadt, generieren täglich eine Vielzahl an Daten, die für die Produktion ihrer lebensrettenden Medikamente von entscheidender Bedeutung sind. Das Ziel des Projekts war es, den Mitarbeitenden die nötigen Informationen schnellstmöglich zu vermitteln, wie auch die komplexen Produktionsprozesse verständlicher darzustellen.

Lösung: Die gesammelten Daten des Kunden werden abgerufen und in einem smarten AR-Cloud-System (Azure) einem digitalen Zwilling zugeordnet. Mittels der Mixed Reality Brille werden die benötigten Informationen schliesslich direkt auf dem entsprechenden realen Objekt in Echtzeit abgebildet. Die Mixed Reality Brille wird so als komplett neuartiges HMI verwendet.

Nutzen: Die Applikation ermöglicht dem Mitarbeiter eine schnellere und exaktere Entscheidungsfindung und trägt dadurch zur Vermeidung von Fehlern bei. Dank der Verwendung eines head-mounted Displays haben die Mitarbeitenden die Hände frei und können sich sicher und effizient in der Anlage bewegen.

Mit der Applikation "PlasmiX" wurde afca. ins Mixed Reality Partnerprogramm von Microsoft aufgenommen. Die Erweiterung der Services durch Machine Learning und Artificial Intelligence verspricht den Durchbruch immersiver Technologien in der Evolution der Industrie 4.0.

 

Filialeröffnung PostFinance

 

PostFinance bezeichnet sich selber als "Digital Powerhouse" und hat anlässlich einer Filialeröffnung ein Augmented Reality Spiel entwickeln lassen. Die reelle Welt verschmilzt so immersiv mit der virtuellen.

Die charakteristischen Porzellanschweinchen der PostFinance wurden grafisch animiert und als Spielfiguren zum Leben erweckt. Mittels der HoloLens-Brille bewegt der Spieler das virtuelle Piggy durch die Filiale. Die intuitive Steuerung mit dem Kopf macht das Spiel für jedermann einfach verständlich und zum einzigartigen Erlebnis.

Das Spiel entstand im Auftrag der PostFinance AG und wurde am 24. Februar 2018 an der Eröffnung der Filiale in der Aarbergergasse in Bern erstmals öffentlich gezeigt.

Interaktive Wirkstoffforschung

 

Mixed Reality ermöglicht es komplexe räumliche Zusammenhänge mühelos verständlich zu machen.

Für die Forschungsgruppe für Computer-unterstützte Wirkstoffforschung der ETH Zürich haben wir in drei Wochen eine Hololens-Applikation entwickelt, die Studenten auf spielerische Weise die wissenschaftliche Materie beibringt.

Da diese Applikation von Personen genutzt wird, die zum ersten Mal eine Hololens-Brille tragen, wurde besonderer Wert auf die Benutzerschnittstelle gelegt: Es werden Gesten und Sprachbefehle unterstützt. Kurze Navigationswege, ein intuitives Layout und ein verständliches Lernprogramm helfen dem Benutzer bei der Bedienung.

Wir haben einen Prozess entwickelt, der flache Molekülbeschreibungen aus der offenen RCSB protein data bank zu 3D-Modellen umwandelt, die als Hologramme plastisch wirken.

Die MoleGram Explorer Applikation ist das Pilotprojekt zu "Lernen in Mixed Realities" an der ETH Zürich.

News:

Stadtplanung im Dialog

 

Die Weiterentwicklung unserer Stadtplanungs-App ermöglicht es mehreren Benutzern, eine synchrone Ansicht des 3D-Stadtmodells zu betrachten und zu verändern.

Alle Teilnehmer sehen das Modell genau am selben Ort im Raum. Jede Änderung am Modell wird für alle Betrachter zeitgleich eingeblendet. So können sich die Planer des Amts für Städtebau der Stadt Zürich schnell und unkompliziert über Bauvarianten austauschen. Weitere Informationen, wie zum Beispiel Bauzonen, können über das Terrain gelegt und der Schattenwurf der neuen Gebäude kann präzise simuliert werden.

Die Applikation ist sowohl im Innen- wie Aussenraum in vollem Funktionsumfang einsetzbar. Die geplanten Gebäude können in Originalgrösse an ihrem zukünftigen Ort eingeblendet werden.

Unsere revolutionäre Benutzerschnittstelle stellt den 3D-Inhalt ins Zentrum der Applikation. Die Kontrollelemente sind nur dann sichtbar, wenn sie per Fingergeste herbeigerufen werden. Mit einfachen Gesten und Sprachbefehlen kann auf sehr exakte Weise mit dem Modell gearbeitet werden.

Mit der Hololens und HoloPlanning gestalten Städteplaner das Wohnen, die Mobilität und das Arbeiten in Zürich für die nächste Generation.

Spielend Jazz Äpfel sammeln

 

Für die Bea Expo in Bern 2017 haben wir zusammen mit den Produzenden der Apfelsorte Jazz ein Hololens Spiel entwickelt, das den Ausstellungsstand in ein Mixed Reality Spielfeld verwandelt.

Die Standbesucher konnten spielend die Jazz Welt entdecken, sich körperlich aktivieren und kleine Rätsel lösen. Die Steuerung des Spiels ist möglichst einfach gehalten: Die Position des Spielers wird registriert und mit der aktuellen Blickrichtung kann mit den Objekten im Raum interagiert werden. Die Hololens Brille analysiert mit Hilfe von Bilderkennung die echte Umgebung und die Bewegungen des Spielers und erzeugt so die Illusion, dass die Objekte im Raum verankert sind.

Die dargestellten 3D-Elemente bewegen sich physikalisch natürlich und reagieren auf echte sowie virtuelle Einflüsse. Das Spiel wird getragen von Animationen, Partikeleffekten, einem dreidimensionalen Sounderlebnis, sowie einigen Überraschungselementen.

Stadtplanung mit Mixed Reality

 

Überall dort, wo neuer Wohnraum entsteht, muss auch die Infrastruktur mitwachsen. StadtplanerInnen und ArchitektInnen haben den Anspruch funktionale und architektonisch wertvolle öffentliche Bauten auszuarbeiten.

Wir haben zusammen mit dem Amt für Städtebau der Stadt Zürich einen Prototyp entwickelt, der den Architekturwettbewerb ins digitale Zeitalter bringt: Teilnehmende Architekturbüros erstellen detaillierte 3D-Modelle von Gebäuden, die wir als Hologramme auf das Gipsmodell des umgebenden Quartiers projizieren können.

Features, die wir in dieser Applikation umgesetzt haben:

  • Umschalten zwischen verschiedenen Gebäuden mit Gesten und Sprachbefehlen
  • Darstellung des Quartiers über die Grenzen des Gipsmodells hinaus
  • Das Einblenden von Zusatzinformationen zum Objekt
  • Gebäude lassen sich vergrössern und Teile der Konstruktion lassen sich ein- und ausblenden (z.B. Fassade)
  • Der Sonnenstand kann manuell gesteuert werden. So kann der Schatten, welches das neue Gebäude wirft, im Voraus untersucht werden.
  • Darstellung der Umgebung aus der Fussgängerperspektive

Diese Anwendung zeigt auf, wie Arbeitsweisen, welche jahrzehntelang unverändert blieben, mit Mixed Reality weiterentwickelt werden könnten.

Die Pfahlbauer von Zürich

 

Die Überreste einer 5000 Jahre alten Pfahlbausiedlung wurden bei der Renovation des Sechseläutenplatzes entdeckt. Mit der Hololens können wir die Arbeit der Archäologen für die Öffentlichkeit erfahrbar machen.

Unser Hololens App zeigt die verborgenen Schätze, die unter dem Sechseläutenplatz verborgen lagen. Wir haben eine Hololens-Applikation entwickelt, welche die Vergangenheit mit dem Hier und Jetzt verbindet: Auf dem Sechseläutenplatz wird ein 3D-Modell der Siedlung eindrücklich in Lebensgrösse visualisiert. So können Besucher mit der Hololens einen Spaziergang durch die Pfahlbauten machen.

Medienspiegel:

CT-Modelle im Raum

 

Unsere erste Hololens App ermöglicht es mehreren Teilnehmern verschiedene Computertomographie-Scans gemeinsam zu erkunden.

Die Benutzer können ein gescanntes Model laden, im Raum platzieren und auf verschiedene Arten mit dem dargestellten Modell interagieren:

  • Beleuchtung und Markierung von Teilen des Modells
  • Zoomen des Modells
  • Das Modell und der aktuelle Zustand der App wird über einen Service zwischen mehreren Hololens Geräten synchronisiert
  • Alle Benutzer können gleichzeitig mit dem Modell interagieren

Solche Anwendungen sind in der medizinischen Bildung wie auch im Vertrauensgespräch zwischen Patient und Arzt wertvoll. Komplexe medizinische Abläufe lassen sich anschaulich mittels 3D-Modell beschreiben.

Diese Applikation entstand im Auftrag von Fluance AG.