Kinect evoliucija ir tikroji Microsoft tyrimų svarba

Tai, kad Kinect yra svarbus Microsoft, yra beveik tiesa. „Redmond“ fiksavimo įrenginys yra daug platesnis nei paprastas jų vaizdo žaidimų konsolės valdymo būdas ir tapo svarbiu jų strategijos elementu bei daugelio jų produktų nuoroda. Tačiau tai taip pat yra apčiuopiamas pavyzdys, kas gali gimti sujungus įmonės skyrių su „Microsoft Research“ idėjų laboratorija.

Pirmasis „Kinect“ jau buvo to pavyzdys. Po trejų metų būtent ta pati sąjunga leido įrenginiui išsivystyti iki nenumatytų apribojimų ir kartu su Xbox One išleidimu.Visose jos dalyse Kinect 2.0 yra reikšmingas patobulinimas, palyginti su jos pirmtaku, o šią savaitę „Microsoft“ pasinaudojo galimybe paaiškinti, kaip ji buvo programėlės kūrimo proceso dalis. kuri jau ruošiasi tapti pagrindine žmonių ir mašinų sąveikos dalimi.

Kinect 1.0

Kai 2009 m. birželio mėn. „Microsoft“ pristatė projektą „Natal“, daugelis pamatė jame paprastą Redmondo atsaką į neabejotiną sėkmę, kurią „Nintendo“ susilaukė su „Wii“ ir jo valdymo sistema. Tačiau pagal tą projektą su Brazilijos miesto pavadinimu buvo paslėptas Kinect, įrenginys, kuris pasirodė neabejotinas bestseleris ir ilgainiui tapo daugybe daugiau nei tikėtasi.

Nors pirmojo „Kinect“ sukurta technologija gimė iš „Rare“ studijos programinės įrangos ir Izraelio bendrovės „PrimeSense“ vaizdo fiksavimo technologijos, tai bus derinys „Xbox“ komanda su „Microsoft Research“ tyrimais, leidžiančiais pasiekti rinką

Lypo formos įrenginyje buvo naudojamas infraraudonųjų spindulių projektorius ir kamera, kuri nuskenavo įvykio vietą ir siuntė informaciją į mikroschemą, specialiai paruoštą fiksuoti objektų ir žmonių judėjimą trimis matmenimis. Prie jų prisijungė eilė mikrofonų, galinčių atpažinti vartotojo balsą. Visi šie elementai kartu leido fiksuoti 3D judesį kartu su veido, gestų ir balso atpažinimu.

Atliekant tokią užduotį, Kinect specifikacijos nebuvo kažkuo ypatingos. Kamera turėjo VGA skiriamąją gebą ir pagal numatytuosius nustatymus veikė 640 x 480, nors ji galėjo dirbti 1280 x 1024 pikselių raiška už mažesnį atnaujinimo dažnį. Įtraukta mikroschema atliko tik dalį informacijos apdorojimo darbo, palikdama didelę užduoties dalį pačiai konsolei.

Vienas iš visos sistemos raktų buvo Microsoft sukurtoje programinėje įrangoje, skirtoje interpretuoti visą Kinect jutiklių surinktą informaciją.Čia „Microsoft Research“ atliko ir atlieka svarbų vaidmenį, tirdama pačius įvairiausius „Kinect“ naudojimo būdus ir bendradarbiaujant kuriant SDK, kurį „Microsoft“ paskelbė internete nuo 2011 m. kad bet kuris kūrėjas jį integruotų į savo produktus ar paslaugas.

Kinect 2.0

Didysis skirtumas tarp naujojo Kinect ir jo pirmtako slypi naujojoje pagrindinėje kameroje. Antrosios kartos judesio fiksavimo įrenginys turi didelės raiškos skrydžio laiko (TOF) kamerą, kuri leidžia būsimam Xbox One Kinect užfiksuoti daugiau detalių su didelis tikslumas ir didesnė skiriamoji geba. Naujas gylio režimas, kurį suteikia ši TOF kamera, leidžia atkurti sceną tris kartus tiksliau nei pirmoji Kinect.

Tai ne vienintelis šio tipo fotoaparato naudojimo pranašumas.Su juo taip pat pasiekiamas 60% didesnis matymo laukas, leidžiantis registruoti didesnę erdvę ir vienu metu bei mažesniu atstumu nuo įrenginio registruoti daugiau žmonių. Su nauja pulteliu scenoje gali pasirodyti iki 6 žmonių, atpažįstančių ir išskiriančių visus jų judesius. Tai reikšminga pažanga, palyginti su jo pirmtaku, kuris galėjo įrašyti tik 2. judėjimą.

Antras didelis naujos kartos „Kinect“ pokytis atsirado dėl naujo infraraudonųjų spindulių jutiklio, kuris sugeba atpažinti objektus ir žmones labai silpno apšvietimo sąlygomis. Dabar jutiklis yra toks galingas, kad gali atpažinti daiktus visiškai tamsioje patalpoje. Tikslumas yra toks, kad jis gali atpažinti žmones ir registruoti kūnus net be jokios žmogaus akies matomos šviesos. Esant silpnam apšvietimui, jis atpažįsta rankos pozą iki keturių metrų atstumu ir tiksliai išskiria kiekvieną pirštą.

Kinect 2.0 išskiria visą naudotojo skeletą, jo galūnių orientaciją, kūno raumenis ir net širdies plakimą.

Naujų elementų derinys leidžia užfiksuoti ne tik vartotojo siluetą, bet ir atskirti visą jo skeletą, galūnių orientaciją, kūno raumenis pagal jėgos ir svorio pasiskirstymą darė juos ir net širdies plakimą. Taip pat labai patobulintas veido atpažinimas, aptinkantis net mažiausią detalę bei gestą ir leidžiantis tiksliau identifikuoti. Norėdami suprasti, ką visa tai reiškia, tiesiog pažiūrėkite šį vaizdo įrašą.

Visa ši nauja technologija taip pat turi „Kinect“ procesoriaus patobulinimą, leidžiantį susidoroti su didžiuliu informacijos kiekiu, kurį gauna visi nauji jutikliai. Įrenginys surenka iki 2 gigabitų duomenų per sekundę, kad galėtų nuskaityti aplinkąVisa ši informacija turi būti greitai apdorojama ir interpretuojama, todėl reikėjo akivaizdžiai patobulinti mašinos specifikacijas.

Tačiau pakeisti komponentus nepakako. Galingam skaitytuvui, kuriuo tapo Kinect, reikalinga programinė įranga, galinti interpretuoti viską, ką mato, ir dėl to reikėjo atlikti svarbią jį paleidžiančio kodo evoliuciją. Štai čia Microsoft Research patirtis ir žinios tapo svarbesnės nei bet kada, padedant Xbox komandai iškilus problemoms ir laiku pateikiant tinkamus sprendimus. greitas ir efektyvus. Taigi Kinect 2.0 tapo bendradarbiavimo produktu, kurio istorija rodo potencialą, kurį Microsoft slepia savo idėjų laboratorijoje.

Evoliucijos procesas

Kinect evoliucija yra istorija apie tai, kaip inžinierių komanda bandė pristatyti TOF kamerą į Xbox One.Tokio tipo kameros skleidžia šviesos signalus, kurie atsimuša į objektus ir surenkami atgal, matuojant laiką, per kurį nukeliauja atstumas. Kad jie tinkamai veiktų, atskirdami atspindžius nuo patalpoje esančių objektų ir jų aplinkos, reikalingas iki 1/10 milijardų sekundžių tikslumas. Toks tikslumo lygis yra vienintelis būdas pateikti pakankamai informacijos, kad būtų galima tinkamai apskaičiuoti objektų formas ir kontūrus.

Skamba sudėtingai, o problema ta, kad pasiekti šį lygį naudojant plataus vartojimo produktą taip sunku, kaip atrodo. Kuriant naująjį „Kinect“ reikėjo spręsti įvairiausias problemas, kurios turėjo būti išspręstos per ribotą laiką. Kinect 2.0 turėtų būti paruošta kartu su Xbox One išleidimu, planuojama 2013 m. pabaigoje.

Tokiomis aplinkybėmis „Microsoft“ turi savo ranką: „Microsoft Research“, jūsų minčių grupė„Kinect“ komanda pasinaudojo didžiulėmis „Microsoft Research“ narių žiniomis ir technine patirtimi, kad išspręstų įvairias problemas, iškilusias įrenginyje įdiegus naują technologiją. Čia daug metų investicijos į mokslinius tyrimus ir plėtrą pradėjo duoti vaisių dėl įvairių įmonės padalinių bendradarbiavimo.

Dalis „Microsoft Research“ tyrėjų dirbo kartu su „Kinect“ komanda optimizuodami algoritmus ir parametrus, o kiti sutelkė dėmesį į duomenis ir programinę įrangą, kad apskaičiuotų jutiklių užfiksuotą gylį. Suprasdami TOF kameros diegimo iššūkius, mokslininkai turėjo iš naujo išmokti, kaip veikė Kinect technologija, kad padėtų programinės įrangos komandai su rankų ir veido atpažinimo algoritmais.

Iššūkis nebuvo lengvas. Atskirti priekinio plano objektus nuo fono ir sumažinti fotoaparato suliejimą yra nelengva užduotis. Pirma, maži objektai turėjo būti tiksliai išmatuoti įvairiais scenarijais ir visomis apšvietimo sąlygomis. Reikėjo dirbti tol, kol buvo įmanoma atskirti rankų pirštus, neleisti jiems susipainioti su aplinka. Dėl šio darbo naujasis Kinect gali aptikti net 2,5 centimetro dydžio objektus, palyginti su 7,5 centimetro pirmtako. Dėl suliejimo problemos reikėjo šiek tiek daugiau padirbėti ir optimizuoti programinę įrangą, tačiau laikui bėgant „Microsoft“ inžinieriai sugebėjo sumažinti judesio suliejimą nuo 65 milisekundžių pradiniame „Kinect“ iki 14 milisekundžių jo įpėdiniame.

Visoms šioms užduotims reikia apdoroti labai daug informacijos. „Kinect“ kamerų fiksuojami duomenys yra vieno pikselio pagrindu, o tai reiškia, kad kiekvienas iš 220 000 pikselių, palaikomų „Kinect“ jutiklio, duomenis renka atskiraiPrie to turime pridėti daug daugiau informacijos, kurią surinko kiti jutikliai. Sudėtinga problema yra gebėjimas identifikuoti ir interpretuoti visą šią informaciją, atskiriant elementus ir jų aptikimo gylį bei pašalinant vaizdo triukšmą.

Naudojant Kinect, Xbox One turi apdoroti 6,5 mln. pikselių per sekundę

"

Xbox One turi apdoroti 6,5 milijono pikselių per sekundę ir tik nedidelę konsolės skaičiavimo galios dalį galima skirti informacijai interpretuoti, nes daugiausia energijos reikia skirti žaidimams, skeletui. sekimas arba veido ar garso atpažinimas. Vienam pikseliui reikėjo atlikti labai mažai skaičiavimų, todėl reikėjo išvalyti.>Be neįkainojamos „Microsoft Research“ pagalbos „Kinect“ komanda niekada nebūtų pasiekusi savo tikslo laiku"

Veiksminga „Microsoft Research“ svarba

Bendras „Kinect“ komandos darbas su „Microsoft Research“ darbuotojais nebuvo vien konsultacinis ryšys. „Microsoft“ mokslininkai prisiėmė daug darbo ir sukūrė visą infrastruktūrą bei programinę įrangą, kad išspręstų problemas, susijusias su įrenginio evoliucija. Dviejų komandų žinios atitinkamose srityse leido žengti į priekį greičiau nei atskirai.

Svarbiausia buvo jų integravimosi greitis ir galimybė pateikti sprendimus per trumpą laiką. Tačiau visas šis darbas neapsiriboja produkto pardavimu. Papildomas pranašumas yra tai, kad kūrėjai gali naudotis Redmondo inžinierių pažanga, leidžiančia dirbti su daugiau peržiūros režimų ir daug švaresnių duomenų.

Kinect atskleidžia visą potencialą, kurį Microsoft slepia kaip įmonė ir kuris atsiskleidžia, kai jos skyriai dirba integruotai.Keli „Microsoft Research“ tyrėjai aktyviai dalyvavo kuriant „Kinect 2.0“, dirbdami su projektu, kuris turės tiesioginį poveikį rinkai. Tiems iš mūsų, kurie reikalavo didesnio „Microsoft Research“ dalyvavimo Redmondo produktuose, tai gera žinia.

Kinect taip pat yra apčiuopiamas įrodymas, kad „Microsoft Research“ yra daug daugiau nei idėjų laboratorija. .

Per | Oficialus „Microsoft“ tinklaraštis | TechCrunch