Pieci jautājumi par Microsoft "Project HoloLens"

Reklāma

Trešdienas rītā Microsoft parādīja projektu, pie kura viņi strādā septiņus gadus, sauca paplašinātās realitātes austiņas Projekts HoloLens.

Vīzija ir ambicioza: viņi vēlas pamatīgi mainīt veidu, kā cilvēki mijiedarbojas ar datoriem būvējot glāžu pāri, kas var netraucēti sajaukt virtuālo un reālo saturu kopā fiziskajā telpā lietotājs. Tas ir kā virtuālās realitātes tehnoloģija Kāpēc virtuālās realitātes tehnoloģija piepūš jūsu prātu 5 gadu laikāVirtuālās realitātes nākotne ietver galvas, acu un izteiksmes izsekošanu, simulētu pieskārienu un daudz ko citu. Šīs apbrīnojamās tehnoloģijas jums būs pieejamas pēc 5 vai mazāk gadiem. Lasīt vairāk , bet principā jaudīgāks. Turklāt viņi vēlas visu apstrādi uz brilles veikt lokāli - nav datora, nav tālruņa, nav kabeļu. Viņi pat izlaiž īpašu Windows versiju tikai jaunajai aparatūrai. Šis ir nākamais tehnoloģiju attīstības posms visiem tiem AR spēles Papildinātās realitātes lietotnes: noderīgas vai tikai hipe? Pārbaužu veikšanaAnalītiķi 2011. gadā prognozēja paplašinātās realitātes mobilo lietotņu pieaugumu. Topošā tehnoloģija mainīs veidu, kādā mēs mijiedarbojamies ar mūsu mobilajām ierīcēm. Zibspuldze uz priekšu divus gadus, un desmitiem AR lietotņu apdzīvo visu ...

Lasīt vairāk jūs to vienreiz esat instalējis tālrunī un kopš tā laika neesat to pieskāris.

Viņu termiņi ir vēl ambiciozāki nekā viņu mērķi: viņi šo pavasari vēlas nosūtīt izstrādātāju komplektus, bet patēriņa preces - “Windows 10 laika posmā”. Šeit ir piķis.

Tas viss izklausās lieliski, bet es pieļauju diezgan lielu skepsi.

Tehnoloģijām, kuras Microsoft izmanto, ir nopietnas, fundamentālas problēmas, un līdz šim Microsoft ir ļoti precīzi informējusi par to, kā (vai ja) viņi tās ir atrisinājuši. Ja viņi tos neatrisina, viņu mērķis gada laikā ir ļoti rūpīgs. Pēdējā lieta, kas nepieciešama VR un AR, ir liela kompānija, kas piegādā citu pusceptu produktu, piemēram, Kinect. Atcerieties Projekta Natālijas demonstrācija no 2009. gada?

Bez turpmākām piezīmēm šeit ir piecas vissvarīgākās lietas, ko es gribētu zināt par HoloLens.

Vai tas ir gaismas lauka displejs?

Lai saprastu šo vienu, mums ir jāiedziļinās 3D dziļāk un kā tas darbojas. Lai iegūtu reālas, taustāmas 3D pasaules sensāciju, mūsu smadzenēs tiek integrēts daudz un dažāda veida informācija. Mēs iegūstam padziļinātas norādes par pasauli trīs galvenajos veidos:

• Stereo dziļums - atšķirība starp to, ko redz abas mūsu acis. Faking šādi darbojas 3D filmas
• Kustības paralakse - smalkas galvas un rumpja kustības dod mums papildu dziļuma norādes objektiem, kas atrodas tālāk
• Optiskais fokuss - kad mēs koncentrējamies uz kaut ko, mūsu acu lēcas fiziski deformējas, līdz tas nonāk fokusā; blakus lauka objektiem ir nepieciešama lielāka objektīva kropļošana, kas sniedz dziļuma informāciju par to, ko mēs skatāmies

Optisko fokusu ir viegli pārbaudīt pašam: aizveriet vienu aci un turiet īkšķi sienas priekšā visā telpā. Pēc tam mainiet fokusu no sīktēla uz virsmu, kas atrodas aiz tā. Raugoties garām īkšķim, īkšķis novirzīsies no fokusa, jo acs lēca tagad ir mazāk deformēta un nevar pareizi savākt no tā nākošo gaismu.

VR austiņas, piemēram, Oculus Rift, nodrošina pirmās divas norādes ārkārtīgi precīzi, bet ne pēdējās, kas darbojas pārsteidzoši labi: mūsu acis noklusē pilnīgu relaksāciju, jo optika fokusē attēlus kā caur gaismu bija no bezgalīgi tālu prom. Optiskā fokusa norādes trūkums nav reāls, taču parasti tas nenovērš uzmanību. Jums joprojām var būt ļoti forša spēļu pieredze 5 Oculus Rift spēļu pieredze, kas jūs aizbēgsTagad, kad Oculus Rift attīstības komplekta otrā paaudze ir izlaista un ir izstrādātāju rokās visā pasaulē, apskatīsim dažus no labākajiem izstrādājumiem, kas līdz šim ir sasnieguši Rift. Lasīt vairāk bez tā.

Paplašinātajā realitātē problēma ir atšķirīga, jo ir jāsajauc gaisma no reāliem un virtuāliem objektiem. Gaisma no reālās pasaules dabiski tiks koncentrēta dažādos dziļumos. Tomēr virtuālais saturs tiks koncentrēts noteiktā, mākslīgā attālumā, ko nosaka optika - iespējams, uz bezgalību. Virtuālie objekti neizskatīsies tā, it kā tie patiešām būtu skatuves daļa. Viņiem nebūs uzmanības centrā, kad vienā un tajā pašā dziļumā apskatīsit reālas lietas, un otrādi. Kā jūs parasti darīsit, acis nevarēs vienmērīgi virzīt pāri ainavai, turot to fokusā. Pretrunīgās dziļuma norādes labākajā gadījumā būs mulsinošas un sliktākajā gadījumā satraucošas.

Lai to labotu, jums ir nepieciešams kaut kas, ko sauc par gaismas lauka displeju. Gaismas lauka displeji ir displeji, kuros izmanto sīku lēcu masīvu, lai vienlaikus parādītu fokusētu gaismu daudzos dziļumos. Tas ļauj lietotājam dabiski koncentrēties uz displeju un (papildinātai realitātei) atrisina iepriekš aprakstīto problēmu.

Tomēr pastāv problēma: gaismas lauka displejos būtībā viens 2D ekrāns tiek kartēts uz trīsdimensiju gaismas lauka, kas nozīmē, ka katrs “dziļums” pikseļu ”, ko lietotājs uztver (un eksistē noteiktā fokusa dziļumā sižetā), patiesībā veido gaisma no daudziem oriģināla pikseļiem displejs. Jo smalkāks dziļums, kuru vēlaties attēlot, jo vairāk izšķirtspējas jums ir jāatsakās.

Parasti gaismas laukiem ir aptuveni astoņkārtīgs izšķirtspējas samazināšana, lai iegūtu pietiekamu dziļuma precizitāti. Labāko pieejamo mikro displeju izšķirtspēja ir aptuveni 1080p. Pieņemot, ka katra acs virza vienu augstas klases mikroekrānu, Microsoft austiņu faktiskā izšķirtspēja padarītu tikai aptuveni 500 x 500 pikseļus uz aci, mazāk nekā Oculus Rift DK1. Ja displejam ir augsts skata lauks, virtuālie objekti būs nesaprotami pikseļu plankumi. Ja tā nenotiek, iegremdēšana cietīs proporcionāli. Mēs nekad faktiski neredzam caur objektīvu (tikai datora atkārtota izveide tam, ko redz lietotājs), tāpēc mums nav ne mazākās nojausmas, kāda ir lietotāja pieredze.

Iespējams, ka Microsoft ir nācis klajā ar jaunu risinājumu šai problēmai, kas ļauj izmantot gaismas lauka displeju bez izšķirtspējas kompromisa. Tomēr Microsoft ir ļoti piesardzīgi izturējies pret viņu displeja tehnoloģiju, kas man rada aizdomas, ka viņi to nedara. Šis ir labākais līdzšinējais skaidrojums (no VADĪTS demonstrācija).

Lai izveidotu Project HoloLens attēlus, gaismas daļiņas miljoniem reižu atlec tā sauktajā ierīces gaismas motorā. Tad fotoni nonāk divās brilles lēcās, kur tie rikošē starp zila, zaļa un sarkana stikla slāņiem, pirms tie nonāk acs aizmugurē.

Šāda veida tehnoloģijas apraksts varētu nozīmēt praktiski jebko (lai arī, godīgi runājot par Microsoft, aparatūra atstāja iespaidu WIRED, lai gan rakstā bija sīki aprakstīta informācija).

Mēs droši nezinām vairāk, līdz Microsoft, iespējams, mēnešus pēc šī datuma sāks izlaist tehniskās specifikācijas. Vēl ņemot vērā nitrātu savākšanu, vai tiešām ir nepieciešams noslīcināt projektu šajā daudz runājošajā runā? Īpašais procesors, ko viņi izmanto galvas izsekošanai, bez īpaša iemesla tiek saukts par “hologrāfisko procesoru”, un attēli tiek saukti par “hologrammām”. Izstrādājums ir pietiekami foršs, lai to tiešām nebūtu nepieciešams zeltīt.

Vai izsekošana ir pietiekama?

Projekta HoloLens austiņām ir uzstādīta augsta FOV dziļuma kamera (piemēram, Kinect), kuru tā izmanto, lai noskaidrotu, kur atrodas austiņas atrodas kosmosā (mēģinot saskaņot redzamo dziļuma attēlu ar savu pasaules modeli, saliktu no pagātnes dziļuma attēli). Lūk, viņu austiņu demonstrācija darbībā.

Izsekošana ir iespaidīga, ņemot vērā, ka tā neizmanto marķierus vai citas krāpšanās, bet pat šajā video (zem stingri kontrolētos apstākļos), jūs varat redzēt zināmu ļodzīšanos: izsekošana nav pilnīgi stabila. Tas ir sagaidāms: šāda veida izsekošana ir ļoti sarežģīta.

Tomēr lielā mācība no dažādi Oculus Rift prototipi Noskatieties, kā mēs izmēģinām Oculus Rift Crescent Bay CES 2015Oculus Rift Crescent Bay ir pavisam jauns prototips, kas parāda dažus aizraujošus uzlabojumus virtuālās realitātes tehnoloģijās. Mēs to izmēģinām CES 2015. Lasīt vairāk vai izsekošanas precizitātei ir liela nozīme. Saraustītā izsekošana ir tikai kaitinoša, ja tie ir daži objekti lielākoties stabilā reālajā pasaulē, bet tādās ainās kā Marsa demonstrācija, ko viņi parādīja savā koncepcijā video, kurā gandrīz viss redzamais ir virtuāls, neprecīza izsekošana var izraisīt “klātbūtnes” trūkumu virtuālajā ainā vai pat simulatoru slimības. Vai Microsoft var panākt izsekošanu līdz Oculus noteiktajam standartam (izsekošanas precizitāte zem milimetriem un kopējais latentums mazāk nekā 20 ms) līdz to nosūtīšanas datumam šī gada beigās?

Šeit ir Maikls Abrašks, VR pētnieks, kurš ir strādājis gan Valve, gan Oculus, runājot par problēmu

[Tā kā virtuālo attēlu ģenerēšana vienmēr kavējas, […] ir ļoti grūti iegūt virtuālus un reālus attēlus, lai reģistrētos pietiekami cieši, lai acs to nepamana. Piemēram, pieņemsim, ka jums ir īsta koksa kanna, kuru vēlaties pārvērst par AR Pepsi kannu, uzzīmējot Pepsi logotipu virs Koksa logotipa. Ja Pepsi logotipa pārzīmēšana prasa desmitiem milisekunžu, katru reizi, pagriežot galvu, rezultāts būs šāds: Pepsi logotips parādīsies dažu grādu nobīde attiecībā pret kārbu, un daļa Koksa logotipa būs redzama; tad, pārtraucot pārvietošanos, Pepsi logotips atgriezīsies pareizajā vietā. Tas acīmredzami nav pietiekami labs smagajam AR

Vai displejs var zīmēt melnu?

Cita problēma līdzās fokusa dziļumam un izsekošanai ir saistīta ar tumšu krāsu zīmēšanu. Pievienot skatam vairāk gaismas ir samērā vienkārši, izmantojot staru sadalītājus. Gaismas izcelšana ir daudz grūtāka. Kā jūs selektīvi aptumšojat reālās pasaules daļas? Uzstādot selektīvi caurspīdīgu LCD ekrānu, tas netiks sagriezts, jo tas ne vienmēr var būt pareizajā fokusā, lai bloķētu jūsu skatīto. Optiskie rīki šīs problēmas risināšanai, ja vien Microsoft tos nav izgudrojuši slepeni, vienkārši nepastāv.

Tas ir svarīgi, jo daudzām programmām, kuras Microsoft demonstrē (piemēram, skatoties Netflix uz jūsu sienas), austiņas tiešām ir vajadzīgas spēja noņemt gaismu, kas nāk no sienas, pretējā gadījumā jūsu filmai vienmēr būs redzams apmetuma raksts, kas ar to ir pārklāts: tā būs attēlos nav iespējams bloķēt reālus objektus, padarot austiņu lietošanu ļoti atkarīgu no apkārtējā apgaismojuma nosacījumus. Atpakaļ pie Maikla Abraša:

[S] līdz šim nekas tāds nav parādījies AR industrijā vai literatūrā, un ja vien un kamēr tas nenotiek, grūti AR, SF nozīmē, ko mēs visi zinām un mīlam, nevar notikt, izņemot gandrīz tumsu.

Tas nenozīmē, ka AR neatrodas pie galda, bet tikai uz brīdi, ka tas būs mīksts AR, kura pamatā ir piedevu sajaukšana […] Atkal padomājiet par caurspīdīgiem, piemēram, “Ghostbusters”. Darbojas arī augstas intensitātes virtuālie attēli bez tumšiem laukumiem, īpaši ar reģionālo vai globālo aptumšošanu - tie vienkārši neizskatīsies kā daļa no reālā pasaule.

Kas par oklūziju?

“Oklūzija” ir termins tam, kas notiek, kad viens objekts iet garām otram un neļauj jums redzēt, kas atrodas aiz tā. Lai virtuālās dekorācijas varētu justies kā taustāma pasaules daļa, ir svarīgi, lai reālie objekti aizklātu virtuālo objekti: ja turat roku augšup virtuāla attēla priekšā, jums to nevajadzētu redzēt caur roka. Tā kā austiņās tiek izmantota dziļuma kamera, tas faktiski ir iespējams. Bet atkal skatieties demonstrācijas tiešraidi:

Kopumā viņi uzmanīgi kontrolē kameras leņķus, lai izvairītos no reāliem objektiem, kas nonāk virtuālu priekšā. Tomēr, kad demonstrētājs mijiedarbojas ar Windows izvēlni, jūs varat redzēt, ka viņas roka to nemaz neaptver. Ja tas viņu tehnoloģijai ir nepieejams, tas ir ļoti slikta zīme viņu patēriņa preces dzīvotspējai.

Un runājot par šo lietotāja saskarni ...

Vai šī tiešām ir pēdējā lietotāja saskarne?

Lietderīgais interfeiss, kuru Microsoft demonstrēja demonstrācijas videoklipos, šķiet, darbojas, izmantojot kādu skatiena un rokas kombināciju izsekošana, lai kontrolētu kursoru virtuālajā ainā, vienlaikus izmantojot balss vadību, lai izvēlētos dažādas iespējas. Tam ir divi galvenie trūkumi: tas liek izskatīties kā mazs spīdošs bērns, kurš sarunājas ar pirkstu, bet vēl svarīgāk, ka tas pārstāv arī principiāli kļūdainu dizaina paradigmu.

Vēsturiski vislabākās lietotāju saskarnes ir bijušas tādas, kas virtuālajā pasaulē ienes fizisko intuīciju par pasauli. Pele parādīja noklikšķināšanu, vilkšanu un logus. Skārienjūtīgais interfeiss vilka, lai ritinātu, un piesprauž, lai tuvinātu. Abas no tām bija kritiski svarīgas, padarot datorus pieejamākus un noderīgākus iedzīvotājiem, jo ​​tie principā bija intuitīvāki nekā iepriekš.

VR un AR jums kā dizainerim piešķir daudz lielāku brīvību: UI elementus varat izvietot jebkur 3D telpā un likt lietotājiem dabiski mijiedarboties, it kā tie būtu fiziski objekti. Par sevi liecina milzīgs skaits acīmredzamu metaforu. Pieskarieties virtuālajam lietotāja interfeisa elementam, lai to atlasītu. Piespraudiet to un paceliet to. Izbīdiet to no ceļa, lai īslaicīgi uzglabātu. Lai to izdzēstu, sasmalciniet to. Jūs varat iedomāties tādas lietotāja saskarnes izveidi, kas ir tik intuitīva, ka tai nav nepieciešami paskaidrojumi. Kaut ko tādu, ko jūsu vecmāmiņa var uzreiz uzņemt, jo tā ir veidota uz pamata fiziskās intuīcijas pamata, kuru visi veido dzīves laikā, mijiedarbojoties ar pasauli. Veltiet minūti un klausieties, kā šis viedais cilvēks apraksta, kādas varētu būt iespaidīgās saskarnes.

Citiem vārdiem sakot, man šķiet acīmredzami, ka vajadzētu būt iesaistošai lietotāja saskarnei vismaz tikpat intuitīvs kā skārienjūtīgais interfeiss, ko iPhone izveidojis 2D daudzfunkciju ekrāniem. Saskarnes veidošana ap manipulācijām ar VR “peli” ir solis atpakaļ un pakļauj dziļu tehnoloģisko nozīmi trūkumi viņu roku izsekošanas tehnoloģijā vai būtisks neizpratne par to, kas ir interesanti par šo jauno vidēja. Katrā ziņā tā ir ļoti slikta zīme, ka šis produkts ir kas vairāk nekā kolosāls Kinect mēroga kritiens.

Jācer, ka Microsoft ir laiks saņemt atsauksmes par šo un darīt labāku darbu. Kā piemērs, šeit ir saskarne, ko izstrādājis viens hobiju speciālists Oculus Rift DK2 un Leap Motion. Vismaz šim labumam vajadzētu būt ieskaujošai lietotāja saskarnei, ko izstrādājis liels uzņēmums.

Paziņojums par gaidāmajām lietām

Kopumā es esmu ļoti skeptisks attiecībā uz HoloLens projektu kopumā. Es ļoti priecājos, ka uzņēmums, kuram ir Microsoft resursi, pēta šo problēmu, bet es uztraucos, ka viņi to dara mēģinot izspiest produktu, neatrisinot dažas būtiskas tehniskas problēmas vai neatklājot labu lietotāja saskarni paradigma. HoloLens ir gaidāmo lietu pazīme, taču tas nenozīmē, ka pats produkts patērētājiem sniegs labu pieredzi.

Attēlu kredīts: ar Microsoft atbalstu