OmniTouch

Viena didžiausių kompiuterių revoliucijų buvo jutikliniai ekranai. Jie atnešė naują sąveikos su kompiuteriu būdą naudojant specialią žymeklį arba pirštu. 2011 m. „Microsoft“ žengė toliau, pristatydama „OmniTouch“ – projektą, kurio dėka bet koks paviršius tapo liečiamu. Pagrindinė idėja – ant peties pritvirtinti fotoaparatą ir projektorių, kuris projektuoja ekraną ir nuskaito vartotojo klavišų paspaudimus. Galimybės yra neribotos, leidžiančios ranką, sieną, lakštą ar bet kurį kitą paviršių paversti jutikliniu ekranu .

Kaip veikia „OmniTouch“: klavišų paspaudimų atpažinimas

Svarbiausia „OmniTouch“ projekto dalis yra pirštų padėties ir gylio stebėjimas, siekiant žinoti, kur vartotojas liečia. Tam prototipe buvo panaudota gyliui jautri PrimeSense kamera. Skirtingai nei įprastas fotoaparatas, matuojantis spalvas, PrimeSense matuoja kiekvieno vaizdo taško atstumą nuo fotoaparato objektyvo. 1 mm tikslumas ir 20 cm minimalus diapazonas yra pagrindiniai pranašumai, palyginti su Kinect kamera, kuri iš pradžių buvo naudojama projekte.

"

Norėdami nustatyti pirštų vietą, „OmniTouch“ pirmiausia užfiksuoja gylio žemėlapį (A). Tada apskaičiuojamas polinkio žemėlapis>"

(B) matote, kad žemėlapis išverstas į spalvas: raudona reiškia, kad teigiama X arba Y ašies kryptimi (aukštyn arba į dešinę) yra mažiau gylio, o mėlyna reiškia, kad yra mažesnis gylis neigiama X arba Y ašies kryptimi (žemyn arba į kairę).Violetinė spalva reiškia, kad gylis beveik nesikeičia.

Naudodama šį žemėlapį, programinė įranga ieško vertikalių cilindrinių pjūvių, paviršiaus, kuris artėja prie fotoaparato, tada lieka ir galiausiai nutolsta. Koks buvo pirštas, jei paleidžiate jį iš vienos pusės į kitą, oho. Spalvų žemėlapyje ieškokite raudonos, tada violetinės, tada mėlynos atkarpos, visos toje pačioje vertikalioje ašyje.

Galimi kandidatai filtruojami pagal ūgį, kad būtų galima išfiltruoti viską, kas negali būti pirštu (pavyzdžiui, 2 milimetrų aukščio cilindras negali būti atpažįstamas kaip pirštas, todėl atmetamas). Paveikslėlyje (C) galite matyti visas nustatytas pirštų dalis.

Tai atlikus, visos vertikalios dalys sujungiamos, kad susidarytų pirštas (D pav.). Pirštai, kurie gali būti per trumpi, yra atmetami ir daroma prielaida, kad kadangi vartotojas yra dešiniarankis, kairioji piršto dalis yra galas.Ir voila, dabar žinome, kur naudotojas rodo .

Kaip sužinoti, ar pirštas liečia paviršių? Jie tai vadina užpildymu potvyniais, bet tai bus labiau pažįstama, jei pasakysiu, kad tai tarsi užpildymas dažų kibiru „Paint“.

Technika paprasta: suraskite vidurinį piršto tašką ir pradėkite užpildyti pikselius į viršų, į kairę ir į dešinę su 13 milimetrų leistinu nuokrypiu. Tai yra, jie užpildo pikselį tik tuo atveju, jei skirtumas tarp jo gylio ir piršto vidurio taško yra mažesnis nei 13 milimetrų.

Tokiu būdu, jei pirštas nieko neliečia, bus užpildyti tik pirštą atitinkantys pikseliai. Jei paliesite ranką, daug daugiau bus užpildyta. Nuotraukoje matote, kas atsitinka, jei pirštas yra ore (kairėje) arba liečia ranką (dešinėje). Peržengus tam tikrą užpildytų pikselių paraštę, programinė įranga pasiųs bakstelėjimą arba paspaudimą atitinkamoje vietoje.

Kaip veikia „OmniTouch“: vaizdo projektavimas

Nors pirštų atpažinimas yra pagrindinė dalis, negalime pamiršti, kad OmniTouch taip pat turi projektuoti vaizdą ant bet kokio paviršiaus. Tam taip pat naudojama gylio kamera. Visi vaizdo paviršiai aptinkami naudojant prijungtų komponentų algoritmą, kuris labai efektyviai aptinka tarpusavyje sujungtus vaizdo taškus.

Kai pašalinami paviršiai, mažesni už ranką, fiksuojame centrą arba atskaitos tašką, kad būtų galima projektuoti vaizdą. Šis taškas padeda aptikti paviršiaus orientaciją ir todėl leidžia sukurti vaizdą, kuris neatrodo iškraipytas.

Kitas sudėtingas momentas ateina, kai reikia nustatyti paviršiaus dydį.Kadangi paviršių kraštų negalima pakankamai gerai atpažinti, „OmniTouch“ naudoja komponentų taškų vidurkį ir standartinį nuokrypį, kad suskirstytų juos į penkis taškus: ranką, ranką, užrašų knygelę, sieną ir stalą. Kiekvienas iš jų turi tam tikrą dydį ir vaizdo centrą.

Programinė įranga sugeneruoja vaizdą, kuris turi būti suprojektuotas su visais duomenimis, iškraipydama jį taip, kad jis tinkamai atrodytų paviršiuje. Tada jis perduoda vaizdą į projektorių, kuris parodys vaizdą ant bet kokio paviršiaus.

Tiksli technologija su daugybe galimybių

Testai, naudojami OmniTouch tikslumui matuoti.

Bandymo metu OmniTouch pasirodė esanti labai tiksli technologija. 96,5% tikslumas, kai reikia atpažinti paspaudimą, labai gera figūra ir tuo labiau, kad tai yra prototipas.Kalbant apie sąsajos dydį, naudojant 2 centimetrų skersmens mygtukus, būtų atpažįstama 95 % klavišų paspaudimų.

Šis didžiausias dydis būtinas sąsajai, projektuojamai rankoje. Kituose toliau esančiuose paviršiuose, pavyzdžiui, ant stalo ar sienos, jis gali būti sumažintas iki 15 milimetrų, daugiau ar mažiau tokio pat dydžio, kaip rekomenduojamas mygtukui įprastame jutikliniame ekrane.

"

Kalbant apie galimybes, jų begalė. Su prototipu buvo sukurtas stalas piešti: ant sienos piešėte, o kaire ranka pasirinkote spalvas. Taip pat naudojamas kaip paryškintuvas>"

Tačiau įdomiausia yra tai, ką jie mini dokumento pabaigoje: galimybės, kurias OmniTouch atveria, kai nustojame galvoti apie dvimačius paviršius, pasinaudojant kūno formomis, kad pakeistume mes bendraujame su kompiuteriu.

"

OmniTouch yra tikrai įdomus projektas tiek savo technika, tiek galimybėmis. Netrukus apie jį vėl kalbėsime specialiame leidinyje Ateitis pagal Microsoft>"

Xataka Windows | Ateitis pagal Microsoft Daugiau informacijos | OmniTouch