Kipróbáltuk: HoloLens, élmények egy másik valóságból

A Microsoft bő egy évvel ezelőtt mutatta be a HoloLenst, a cég saját fejlesztésű kiterjesztett-valóság szemüvegét. Az eszköz hardverét és szoftverét is a Microsoft fejleszti,  s külön érdekessége, hogy ugyanúgy a Windows 10 egy módosított változatát használja, mint a Windows 10 Mobile vagy (hamarosan) az Xbox One. A HoloLensnek tavaly komoly szerepe volt abban, hogy a Microsoft újra fel tudta küzdeni magát a meghatározó és "menő" tech-cégek listájára a mainstream médiában is. A HoloLens első, még fejlesztőknek szánt kiadása múlt héten vált elérhetővé, ennek alkalmából a Microsoft San Franciscóban rendezett Build konferenciáján ki is próbáltuk azt.

Az interfész és a kezelés

Az ismerkedést kezdjük a HoloLens UI-paradigmájával, ez adja az eszköz elsődleges belépési pontját. A szoftveres UI központi eleme egy minimalista start menü, ahonnan a telepített alkalmazásokat lehet elindítani. Ez egy 2D-s felület, amelyen kiválaszthatjuk és elindíthatjuk a futtatni kívánt alkalmazást, elvégezhetjük a beállításokat, stb. A rendszer egyszerre több 2D-s alkalmazás futtatására is képes, ezek a szoba különböző sík felületein helyezhetőek el - asztalon, falon, akár a plafonon is, és akkor kerülnek a látótérbe, amikor feléjük fordítjuk a tekintetünket. Holografikus alkalmazásból egyszerre egy futhat.

^{(Elvben) így néz ki a HoloLens Shell.}

Az egérkurzort ezeken a felületeken és a legtöbb alkalmazásban a "tekintet" (gaze) vezérli, ez egy, a homlokunk közepéből sugárzott virtuális lézeres mutató. Elsőre kissé szokatlan a nyaki izmokkal (amelyek a fejet, és így a HoloLenst mozgatják) vezérelni a kurzort, de némi megszokás után egészen precízen tudunk rámutatni különböző UI-elemekre.

A kiválasztott elemek aktiválásához az interakció legfontosabb formája jelenleg a "levegőben csippentés", ennek leírása így hangzik: öklünket emeljünk picivel váll fölé, nyújtsuk ki mutató ujjunk felfelé és csippentsük össze a hüvelykujjunkkal. Ez nagyjából az egérkattintásnak felel meg, hosszan tartva például húzhatunk is virtuális tárgyakat. A probléma, hogy a gesztus csak a HoloLensbe épített kamerák látókörében működik és ott sem teljes pontossággal, ráadásul a folyamatosan fenntartott kéz is elég fárasztó egy idő után.

^{A teljes csomag, középen a Gomb.}

Szerencsére a Microsoft is rájött, hogy ez jelenlegi formájában nem az igazi, így a fejlesztői csomaghoz jár egy fizikai kattintó eszköz (clicker), amellyel megkerülhető ez a probléma és teljes biztonsággal "lőhetünk" a homloklézerrel.

Követés, térben

A HTC Vive megkülönböztető jegye az Oculus Rifthez képest, hogy a felhasználó fejét és a két kontrollert térben is követni tudja, és ezt a hármat el tudja helyezni a szoba kontextusában. Ezzel a lehetőséggel a HoloLens is rendelkezik, a beépített kameráknak köszönhetően az eszköz feltérképezi a szobát, és a tárgyakhoz-falakhoz képest meghatározza és folyamatosan követi a saját helyét. Ez a funkció teszi lehetővé, hogy a kiterjesztett valóság (augmented reality, AR) ne csak egy vászon legyen, hanem egy felfedezhető, mélységgel rendelkező, hihető világ.

Hogyan működik ez a gyakorlatban? A HoloLens képes változatos digitális tárgyakat megjeleníteni a kijelzőjén, és ezeket látszólag a fizikai tárgyakhoz horgonyozni. Az így elhelyezett objektumokat körbe lehet járni, közel lehet hozzájuk hajolni, ha pedig egészen közel megyünk, akkor akár belülről is megszemlélhetjük azokat. A rendszer követi a fejtartást, a tekintet irányát, és a pozíciókövetésből adódóan azt is, hogy honnan nézzük az objektumot.

Mennyire jó az illúzió?

Fantasztikus. Tényleg megdöbbentően, elképesztően, hihetetlenül jól működik a HoloLens, még ebben az 1.0-s kiadásban is. A térben elhelyezett virtuális tárgyak állnak a helyükön, mint a cövek, függetlenül attól, hogy hogyan, milyen irányban, vagy milyen sebességgel mozgatjuk a fejünket vagy hogyan gyalogolunk körben a szobában. Ez messze a legnagyobb műszaki vívmány szerintünk, nincs sodródás (drift), nincs ugrálás, egy cseppnyi bizonytalanságot sem éreztünk a rendszerben, a tárgyak pont ott, és pont úgy állnak akkor is, ha körbefordulunk, akkor is, ha ugrálni kezdünk.

Érdemes ezt egy példával is illusztrálni. A Buildre elkészült a NASA és a Microsoft kooperációja eredménye, a Destination: Mars virtuális kiállítás. Ebben a néző a HoloLens segítségével a Marson nézhet szét, megvizsgálhatja a tereptárgyakat, körbejárhatja a kisebb sziklákat is. A döbbenetes pillanat az, amikor a felszínen lévő kisebb szikla széleróziójára hívja fel a figyelmet, és leguggolva szemügyre vehetjük, ahogy a kőtömböt a marsi szél alámossa, még lejjebb hajolva pedig benézhetünk a szikladarab alá. Az élmény annyira valóságos és természetes, annyira magával ragadó, hogy attól a ponttól egy másodpercre sem lehet megkérdőjelezni a HoloLens létjogosultságát.

Az adu ász azonban az eszközök hálózatba rendezése - és ez mutatja igazán, hogy milyen nagy potenciállal rendelkezik ez a platform. Több HoloLens is beléphet ugyanis ugyanabba a kiterjesztett valóságba, ilyenkor a felhasználók pontosan ugyanazt a környezetet látják, értelemszerűen különböző szemszögből. A gyakorlatban ez azt jelenti, hogy a virtuális tárgyakat mindegyik HoloLens-viselő a szobának centiméterre pontosan ugyanazon a pontján látja. Extra funkció, hogy a HoloLensek egymást is látják ebben a virtuális térben, így játszhatnak vagy épp dolgozhatnak is együtt.

Műszaki szempontból a kooperatív AR-hez már szükség van kiegészítőre. A demóban egy Surface Book látta el a központi egység szerepét, amelyhez előbb a mester szemüveg, majd a kliensek csatlakoztak. Ahogy a szemüvegek feltérképezték maguk körül a tereptárgyakat, néhány pillanat alatt megtörtént a koordinátarendszerek szinkronizációja, ettől a ponttól pedig stabilan működött a megosztott AR.

Hardver: teljesítmény, grafika

A Microsoft nem győzi hangsúlyozni, hogy a HoloLens nem egy periféria, hanem egy teljesértékű PC, amelynek használatához nincs szükség egy erőteljes asztali számítógépre. A HTC Vive és az Oculus Rift esetében a teljes VR-élményhez bizony egy komoly erőgéphez kell kötni a megjelenítőt. A HoloLens azonban a szemüvegben tartalmazza a Windows 10-et futtató 32 bites Intel CPU-t és a kiegészítő számításokat végző HPU-t (Holographic Processing Unit) is. Ez utóbbi egy egyedi fejlesztésű koprocesszor, amely a szenzorokból érkező nyers adatokat dolgozza fel és teszi elérhetővé az operációs rendszer számára. A HPU-ról egyelőre nagyon keveset tudunk, például elképzelhető, hogy ez (még) nem sorozatgyártású processzor, hanem a Microsoft által előre felprogramozott FPGA - ez megmagyarázná a HoloLens rendkívül magas árát is.

CI/CD-vel folytatódik az AWS hazai online meetup-sorozata! A sorozat december 12-i, ötödik állomásán bemutatjuk az AWS CodeCatalyst platformot, és a nyílt forráskódú Daggert is.

A grafikát tekintve a HoloLens messze elmarad a VR-párostól (Vive és Rift), ez a Microsoft koncepciójából eredő tudatos döntés eredménye. A digitális tárgyak elnagyoltak, baltával faragottak, a világítás és a különböző effektusok pedig nagyon suták. Az olyan helyzetekben, amikor hirtelen sok tárgyat kell animálni, a képfrissítés láthatóan leesik, a beépített GPU tehát viszonylag gyorsan eléri a korlátait.

A HoloLens működése teljesen hangtalan, a chipek hűtése tapasztalaink szerint passzív. Ennek ellenére melegedést huzamosabb idő alatt sem tapasztaltunk, vagyis minden bizonnyal nagyon alacsony fogyasztású lapkákkal dolgozik a Microsoft. A kis méretnek és a könnyű viseletnek azonban megvan az ára. Az akkus üzemidő nagyon rövid, az első vásárlók tapasztalatai szerint aktív használattal mintegy másfél órát bírja az eszköz. Szerencsére viselés közben is tölthető a szabványos microUSB csatlakozón, de csökken a mozgásszabadság.

Kijelző, látómező

A HoloLens egy különleges vetítőt használ, amely átengedi a külső fényt is, és erre "helyezi rá" a sisak által generált tartalmat. Részletes leírás itt olvasható a felhasznált technológiáról. A kijelző felbontása nem nyilvános, de tapasztalaink szerint a pixelsűrűség kielégítő, nincs szúnyoghálósodás, mint a VR-sisakoknál, és a szöveges tartalom is kiválóan olvasható. A beállítás része egyébként a szemtávolság kalibrációja is, ezt a rendszer szoftveresen, a feltartott ujjunkat követve végzi el.

^{Nagyjából megállja a helyét a tavalyi ábra: tényleg ennyi látható.}

Ha a kijelzőnél tartunk, meg kell említenünk a HoloLens legnagyobb műszaki problémáját, a korlátozott látómezőt. A kijelző nagyjából akkora képet ad, mint egy másfél méterre elhelyezett 17 hüvelykes kijelző. Ezen keresztül szemlélhetjük csak a kiterjesztett valóságot, ami ezen kívül esik, az csak az "unalmas" valóság.

Bizonyos esetekben ez a képméret egyáltalán nem zavaró, például ha kicsit távolabb lévő, kisebb tárgyakat szemlélünk, amelyek nem lógnak ki a látómezőből. De nagyon megtöri az élményt, ha túl közel hajolunk vagy elfordítjuk valamennyire a fejünket, és hirtelen a virtuális tárgy egy része eltűnik a semmiben. Szintén probléma, ha egy olyan tárgyat szeretnénk megtalálni, amely épp nincs a látótérben. Ilyenkor fejünket forgatva pásztázhatjuk azt a régiót, ahol a virtuális objektumot sejtjük, azt remélve, hogy rátalálunk.

Kényelem, beállítás

Az ilyen szemüvegeknél mindig nagyon fontos kérdés az ergonómia (ahogy egyébként minden ember-gép interfésznél). A HoloLens kimondottan rugalmas felépítésű, az ajánlott viselet szerint a teherviselő pántot a haj vonalára kell illeszteni, pont mint egy sapkát. Ehhez a pánthoz képest a vizor fel-le és előre-hátra is mozgatható, ez utóbbi azért fontos, mert így a szemüvegesek is kényelmesen használhatják az eszközt.

Maga a viselhető egység amúgy kimondottan könnyű és kényelmes viselet, az 579 grammos tömeg az ötletes fejpántnak köszönhetően hosszabb távon is elviselhető. A két oldalsó pánton található egyébként két fizikai kezelőszerv, az egyikkel a hangerő, a másikkal a fényerő állítható triviális egyszerűséggel.

Unityben az erő

A fejlesztésre alapvetően két módszer van. Az egyik az UWP-s alkalmazások útja, vagyis a kétdimenziós windowsos appok futhatnak a HoloLensen. Ezek egyszerű ablakok, amelyek a szoba sík felületeire szegezhetőek fel, például a falra szegezett médialejátszó pont olyan, mintha tévé lenne.

A második, nehezebb út a valódi AR-alkalmazások készítése. Ehhez a Microsoft a Unity fejlesztőkörnyezetét kínálja, ebben és a Visual Studióban készíthetőek ezek az alkalmazások. Sajnos a komplex 3D-s számítások miatt a Unity nélkülözhetetlen, így aki valódi HoloLens-élményt kíván nyújtani, az már most kezdhet megismerkedni a fejlesztőeszközzel.

A Builden a fejlesztés folyamatába is nyertünk némi betekintést. A Unityben készült projektet lementve az alkalmazás Visual Studióban fordul le, ez az IDE felel azért is, hogy az app feltöltődjön a HoloLensre. Ez egyébként teljesen vezetéknélküli módon történik és egy-két percet vesz igénybe egy egyszerűbb AR-app esetében.

Konklúzió

Nem ez a HoloLens végleges formája. Ez a próba alapján is egyértelmű, és a Microsoft sem állít mást. A jelenleg elérhető verzió nem véletlenül viseli a fejlesztői kiadás címkét, és nem véletlenül kerül nettó 3 ezer dollárba. A formaterv gyönyörű, a fej- és tekintetkövetés kiválóan működik, az olyan sarkos területeken azonban, mint az akkus üzemidő vagy a látómező, az eszköz még nem éri el egy kereskedelmi forgalomba hozható konzumer termék szintjét.

Ettől függetlenül a HoloLens már ebben a formájában is alkalmas nem konzumer felhasználásra, például oktatásban vagy az iparban, ahol ezek a limitációk sokkal kevésbé húsbavágók, a valódi virtuális élmény azonban hozzáadott értéket képvisel. Nem véletlen, hogy a NASA tényleg használja a HoloLenst az űrkutatásban, a marsi expedíció mérnökei házon belül is ezzel az eszközzel néznek körül az Opportunity körül és tervezik meg a robotterepjáró útját és vizsgálandó tereptárgyakat.

^{Bepillatás a füstüveg mögé - kamerák térképezik a környezetet.}

Az már most teljesen egyértelmű, hogy például az oktatásban hatalmas lehetőség rejlik. Ezt is demózta a Microsoft a Build színpadán, egy kezdetleges (de ígéretes) orvosi-anatómiai alkalmazással, amellyel gyakorlatilag az emberi test robbantott modelljét vehetjük szemügyre. Ez az app már használja a megosztott kiterjesztett valóságot is, sőt, a felhasználók távolról is beléphetnek, így az oktató akár csupán fejből és kézből álló avatárként is tarthat órát.

(Sajnos az eseményen fotózni nem lehetett, ezért a Microsoft oldaláról vett képekkel illusztráltuk a cikket.)