OmniTouch

Una dintre marile revoluții în informatică a fost ecranele tactile. Au adus un nou mod de a interacționa cu computerul, fie cu un indicator special, fie cu degetul. În 2011, Microsoft a mers mai departe cu introducerea OmniTouch, un proiect care a făcut ca orice suprafață să fie atingebilă. Ideea de bază este să montezi pe umăr o cameră și un dispozitiv proiector, care proiectează ecranul și citește apăsările de la taste ale utilizatorului. Posibilitățile sunt nesfârșite, permițându-ne să ne transformăm mâna, peretele, o cearșaf sau orice altă suprafață într-un ecran tactil .

Cum funcționează OmniTouch: recunoașterea apăsărilor de taste

Cea mai importantă parte a proiectului OmniTouch este urmărirea poziției și adâncimii degetelor, pentru a ști unde atinge utilizatorul. Pentru aceasta, în prototip a fost folosită o cameră PrimeSense sensibilă la adâncime. Spre deosebire de o cameră obișnuită care măsoară culorile, PrimeSense măsoară distanța fiecărui punct din imagine față de obiectivul camerei. Precizia de 1 mm și intervalul minim de 20 cm sunt principalele avantaje față de camera Kinect, care a fost folosită inițial în proiect.

"

Pentru a localiza degetele, OmniTouch captează mai întâi harta de adâncime (A). Apoi, se calculează harta înclinației>"

În (B) puteți vedea acea hartă tradusă în culori: roșu înseamnă că există mai puțină adâncime în direcția pozitivă a axei X sau Y (în sus sau la dreapta) și albastru înseamnă că există este mai mică adâncime în direcția negativă a axei X sau Y (în jos sau la stânga).Mov înseamnă că aproape că nu există nicio schimbare în profunzime.

Cu această hartă, software-ul caută secțiuni cilindrice verticale, o suprafață care se apropie de cameră, apoi rămâne și, în final, se îndepărtează. Ce a fost un deget dacă îl rulezi dintr-o parte în alta, wow. Pe harta color, căutați o secțiune roșie, apoi o secțiune violet, apoi o secțiune albastră, toate pe aceeași axă verticală.

Posibilii candidați sunt filtrați pentru înălțime, pentru a filtra orice nu poate fi un deget (de exemplu, un cilindru de 2 milimetri înălțime nu poate fi recunoscut ca deget, deci este aruncat). În figura (C) puteți vedea toate secțiunile degetelor identificate.

Odată făcut acest lucru, toate secțiunile verticale sunt reunite pentru a forma degetul (figura D). Degetele care pot fi prea scurte sunt aruncate și se presupune că, deoarece utilizatorul este dreptaci, partea cea mai din stânga a degetului este vârful.Și voilà, acum știm unde indică utilizatorul .

Acum, de unde știm dacă degetul atinge suprafața? Ei o numesc umplere de inundație, dar vă va fi mai familiar dacă vă spun că este ca și cum umpleți cu găleată de vopsea de Paint.

Tehnica este simplă: localizați punctul din mijloc al degetului și începeți să umpleți pixelii în sus, în stânga și în dreapta, cu o toleranță de 13 milimetri. Adică, ele umplu un pixel doar dacă diferența dintre adâncimea acestuia și cea din mijlocul degetului este mai mică de 13 milimetri.

Astfel, dacă degetul nu atinge nimic, vor fi umpluți doar pixelii corespunzători degetului. Dacă atingeți mâna, multe altele vor fi umplute. În imagine puteți vedea ce se întâmplă dacă degetul este în aer (stânga) sau atinge mâna (dreapta). Când o anumită marjă de pixeli umpluți este trecută, software-ul va trimite o atingere sau un clic în locul corespunzător.

Cum funcționează OmniTouch: proiectarea imaginii

Deși recunoașterea degetelor este partea centrală, nu putem uita că OmniTouch trebuie, de asemenea, să proiecteze o imagine pe orice suprafață. Camera de adâncime este, de asemenea, utilizată pentru aceasta. Toate suprafețele din imagine sunt detectate folosind un algoritm de componentă conectată, care detectează foarte eficient punctele interconectate din imagine.

Odată ce suprafețele mai mici decât o mână au fost aruncate, procedăm la fixarea unui centru sau punct de referință pentru a proiecta imaginea. Acest punct ajută la detectarea orientării suprafeței și, prin urmare, permite crearea unei imagini care să nu arate distorsionată.

Următorul punct dificil vine când vine vorba de detectarea dimensiunii suprafeței.Deoarece marginile suprafețelor nu pot fi recunoscute suficient de bine, OmniTouch folosește media și deviația standard a punctelor componente pentru a le clasifica în cinci puncte: mână, braț, caiet, perete și masă. Fiecare dintre ele are o anumită dimensiune și un centru pentru imagine.

Software-ul generează imaginea de proiectat cu toate datele, distorsionând-o astfel încât să apară corect la suprafață. Apoi transmite imaginea proiectorului, care va afișa imaginea pe orice suprafață este.

Tehnologie precisă cu multe posibilități

Teste utilizate pentru a măsura acuratețea OmniTouch.

În testare, OmniTouch s-a dovedit a fi o tehnologie foarte precisă. Precizie de 96,5% când vine vorba de recunoașterea unui clic, o cifră foarte bună și cu atât mai mult având în vedere că este un prototip.În ceea ce privește dimensiunea interfeței, cu butoane de 2 centimetri în diametru, 95% din apăsările de la taste ar fi recunoscute.

Această dimensiune maximă este necesară pentru o interfață proiectată în mână. Pe alte suprafețe mai îndepărtate, cum ar fi o masă sau un perete, ar putea fi redusă la 15 milimetri, mai mult sau mai puțin aceeași dimensiune recomandată pentru un buton de pe un ecran tactil convențional .

"

Cât despre posibilități, acestea sunt nesfârșite. Cu prototipul a fost creat un pupitru pentru a picta: pe perete ai desenat și în mâna stângă ai ales culorile. Folosit și ca iluminator>"

Dar cel mai interesant lucru este ceea ce menționează ei la sfârșitul documentului: posibilitățile pe care OmniTouch le deschide atunci când nu mai luăm în considerare suprafețele bidimensionale, profitând de formele corpului pentru a schimba modul în care interacționăm cu computerul.

"

OmniTouch este un proiect cu adevărat captivant, atât prin tehnică, cât și prin posibilități. Despre el vom vorbi din nou în curând în specialul The future conform Microsoft>"

În Xataka Windows | Viitorul conform Microsoft Mai multe informații | OmniTouch