Evoluția Kinect și importanța reală a Microsoft Research

Acel Kinect este important pentru Microsoft este aproape un truism. Dispozitivul de captură Redmond depășește cu mult o simplă metodă de control al consolei lor de jocuri video și a devenit un element important al strategiei lor și o referință pentru multe dintre produsele lor. Dar este și o mostră tangibilă a ceea ce se poate naște din combinarea unui departament al companiei cu laboratorul de idei Microsoft Research.

Primul Kinect a fost deja un exemplu în acest sens. Trei ani mai târziu, aceeași uniune a permis dispozitivului să evolueze la limite nebănuite pentru a însoți lansarea Xbox One.În toate secțiunile sale Kinect 2.0 reprezintă o îmbunătățire semnificativă față de predecesorul său și în această săptămână Microsoft a profitat de oportunitatea pentru a explica cum a făcut parte din procesul de dezvoltare a gadgeturilor. care este pe cale să devină o piesă fundamentală în interacțiunea dintre oameni și mașini.

Kinect 1.0

Când Microsoft a prezentat Project Natal la E3 în iunie 2009, mulți au văzut în el un răspuns simplu din partea Redmond la succesul neîndoielnic pe care Nintendo îl culegea cu Wii și sistemul său de control. Dar sub acel proiect cu numele unui oraș brazilian se ascundea Kinectul, un dispozitiv care s-a dovedit a fi un bestseller incontestabil și de-a lungul timpului a ajuns să fie mult. mai mult decât era de așteptat.

Deși tehnologia din spatele primului Kinect s-a născut din dezvoltările software ale studioului Rare și tehnologia de captare a imaginii a companiei israeliene PrimeSense, va fi combinația dintre echipa Xbox cu investigațiile Microsoft Research care face posibilă ajungerea pe piață

Aparatul în formă de tijă a folosit un proiector cu infraroșu și o cameră care a scanat scena și a trimis informațiile către un microcip special pregătit pentru a surprinde mișcarea obiectelor și a oamenilor în trei dimensiuni. Lor li s-a alăturat un rând de microfoane capabile să recunoască vocea utilizatorului. Toate aceste elemente împreună au permis capturarea mișcării 3D împreună cu recunoașterea facială, a gesturilor și a vocii.

Pentru o astfel de sarcină specificațiile Kinect nu au fost ceva deosebit. Camera avea rezoluție VGA și funcționa implicit la 640x480, deși era capabilă să funcționeze la 1280x1024 pixeli cu prețul unei rate de reîmprospătare mai mici. Microcipul inclus a efectuat doar o parte din munca de prelucrare a informațiilor, lăsând o bună parte din sarcină consolei în sine.

Una dintre cheile întregului sistem rezida în software-ul creat de Microsoft pentru a interpreta toate informațiile colectate de senzorii Kinect.Aici Microsoft Research a jucat și continuă să joace un rol important, investigând cele mai diverse utilizări pentru Kinect și colaborând la SDK-ul pe care Microsoft l-a pus la dispoziție online din 2011. astfel încât orice dezvoltator să îl integreze în produsele sau serviciile sale.

Kinect 2.0

Marea diferență dintre noul Kinect și predecesorul său constă în noua cameră principală. A doua generație a dispozitivului de captura de mișcare încorporează o cameră de în altă rezoluție cu timp de zbor (TOF) care permite viitorului Xbox One Kinect să surprindă mai multe detalii cu precizie ridicată și rezoluție mai mare. Noul mod de adâncime oferit de această cameră TOF vă permite să reproduceți o scenă cu o fidelitate de trei ori mai mare decât primul Kinect.

Acesta nu este singurul avantaj al folosirii acestui tip de cameră.Cu acesta se realizează și un câmp vizual cu 60% mai mare, care permite înregistrarea unui spațiu mai mare și face posibilă înregistrarea mai multor persoane în același timp și la o distanță mai mică de dispozitiv. Cu noua consolă, până la 6 persoane pot apărea pe scenă, recunoscând și distingându-le toate mișcările. Este un progres semnificativ față de predecesorul său, care a fost capabil să înregistreze doar mișcarea de 2.

A doua mare schimbare din noua generație Kinect vine din mâna noului senzor infraroșu care reușește să recunoască obiecte și oameni în condiții de lumină foarte scăzută. Senzorul este acum atât de puternic încât poate identifica obiectele într-o cameră complet întunecată. Precizia este de așa natură încât poate recunoaște oamenii și înregistra corpuri chiar și fără nicio lumină vizibilă pentru ochiul uman. La lumină slabă, recunoaște poziția mâinii până la patru metri distanță, distingând fiecare dintre degete cu precizie.

Kinect 2.0 distinge scheletul complet al utilizatorului, orientarea membrelor sale, mușchii corpului și chiar bătăile inimii sale.

Combinarea noilor elemente face posibilă înregistrarea nu numai silueta utilizatorului, ci și distingerea scheletului complet al acestuia, orientarea membrelor, mușchii corpului cu distribuția forței și greutăților. exercitat asupra lor, și chiar bătăile inimii. Recunoașterea facială este, de asemenea, mult îmbunătățită, detectând chiar și cel mai mic detaliu și gest și permițând o identificare mai precisă. Pentru a vă face o idee despre ce înseamnă toate acestea, aruncați o privire la următorul videoclip.

Toată această nouă tehnologie are și o îmbunătățire a procesorului Kinect care îi permite să facă față cantității uriașe de informații pe care o obțin toți noii senzori. Până la 2 gigabiți de date pe secundă sunt colectați de dispozitiv pentru a citi mediulToate aceste informații trebuie procesate și interpretate rapid și pentru aceasta a fost necesară o îmbunătățire evidentă a specificațiilor mașinii.

Dar schimbarea componentelor nu a fost suficientă. Puternicul scanner în care a devenit Kinect necesită un software capabil să interpreteze tot ceea ce vede, iar pentru aceasta a fost necesar să se realizeze o evoluție importantă în codul care îl rulează. Aici experiența și cunoștințele Microsoft Research au devenit mai importante ca niciodată, ajutând echipa Xbox acolo unde au apărut probleme și oferind soluțiile potrivite în timp util. rapid si eficient. Kinect 2.0 a devenit astfel produsul unei colaborări a cărei istorie demonstrează potențialul pe care Microsoft îl ascunde în laboratorul său de idei.

Procesul de evoluție

Evoluția Kinect este povestea modului în care o echipă de ingineri a încercat să aducă o cameră TOF pe Xbox One.Aceste tipuri de camere emit semnale luminoase care sară de obiecte și sunt colectate înapoi prin măsurarea timpului necesar pentru a parcurge distanța. Pentru ca acestea să funcționeze corect, distingând reflexiile de la obiectele dintr-o cameră și de mediul lor, este necesară o precizie de până la 1/10 miliard de secunde. Un astfel de nivel de acuratețe este singura modalitate de a oferi suficiente informații pentru a permite calcularea adecvată a formelor și contururilor obiectelor.

Sună complicat, iar problema este că atingerea acestor niveluri cu un produs de larg consum este atât de dificil pe cât pare. În timpul procesului de dezvoltare a noului Kinect, a trebuit să se rezolve tot felul de probleme care trebuiau rezolvate într-un timp limitat. Kinect 2.0 ar trebui să fie gata să însoțească lansarea Xbox One, programată pentru sfârșitul anului 2013.

În aceste circumstanțe Microsoft are un as în mânecă: Microsoft Research, think tank-ul tăuEchipa din spatele Kinect a folosit cunoștințele vaste și experiența tehnică a membrilor Microsoft Research pentru a rezolva diferitele probleme care apăreau cu noua tehnologie integrată în dispozitiv. Aici au început să dea roade anii de investiții în cercetare și dezvoltare datorită colaborării dintre diferitele departamente ale companiei.

O parte din cercetătorii Microsoft Research au lucrat împreună cu echipa Kinect la optimizarea algoritmilor și parametrilor, în timp ce alții s-au concentrat pe date și software pentru a calcula adâncimea înregistrată de senzori. Dându-și seama de provocările legate de introducerea unei camere TOF, cercetătorii au trebuit să învețe din nou modul în care a funcționat tehnologia din spatele Kinect pentru a ajuta echipa de software cu algoritmii de recunoaștere a mâinilor și a feței.

Provocarea nu a fost ușoară. Diferențierea obiectelor din prim-plan de fundal și reducerea încețoșării camerei este o sarcină descurajantă. Pentru prima, obiectele mici trebuiau măsurate cu precizie în tot felul de scenarii și cu tot felul de condiții de lumină. A fost necesar să se lucreze până se poate diferenția degetele mâinilor, prevenind confundarea acestora cu mediul. Ca rezultat al acestei lucrări noul Kinect este capabil să detecteze obiecte de până la 2,5 centimetri, comparativ cu cei 7,5 centimetri ai predecesorului său. Problema neclarității a necesitat mai multă muncă și optimizare software, dar în timp, inginerii Microsoft au reușit să reducă estomparea mișcării de la 65 de milisecunde pe Kinect original la 14 milisecunde pe succesorul său.

Toate aceste sarcini necesită procesarea unei cantități uriașe de informații. Datele capturate de camerele Kinect sunt pe pixeli, ceea ce înseamnă că fiecare dintre cei 220.000 de pixeli acceptați de senzorul Kinect colectează date în mod independentLa aceasta trebuie să adăugăm mult mai multe informații culese de restul senzorilor. Problema complicată este să reușești să identifici și să interpretezi toate aceste informații, separând elementele și adâncimea la care se găsesc și eliminând zgomotul din imagine.

Cu Kinect, Xbox One trebuie să proceseze 6,5 milioane de pixeli pe secundă

"

Xbox One trebuie să proceseze 6,5 milioane de pixeli pe secundă și doar o mică parte din puterea de calcul a consolei poate fi dedicată sarcinii de interpretare a informațiilor, deoarece cea mai mare putere trebuie rezervată pentru jocuri, scheletice. urmărire sau recunoaștere facială sau audio. Au fost necesare foarte puține calcule pe pixel, necesitând curățare>Fără ajutorul neprețuit al Microsoft Research, echipa Kinect nu și-ar fi atins niciodată obiectivul la timp"

Importanța efectivă a cercetării Microsoft

Lucrarea combinată a echipei Kinect cu cei de la Microsoft Research nu a fost o relație pur consultativă. Cercetătorii Microsoft și-au asumat multă muncă și au construit o întreagă infrastructură și software pentru a rezolva problemele implicate în abordarea evoluției dispozitivului. Cunoștințele celor două echipe în domeniile lor respective au făcut posibilă avansarea mai repede decât separat.

Cheia a fost viteza cu care s-au integrat și capacitatea de a oferi soluții într-o perioadă scurtă de timp. Dar toată această muncă nu se limitează la scoaterea unui produs spre vânzare. Avantajul suplimentar este că progresele făcute de inginerii Redmond sunt disponibile pentru dezvoltatori, permițând mai multe moduri de vizualizare cu care să lucreze și date mult mai curate.

Kinect dezvăluie tot potențialul pe care Microsoft îl ascunde ca companie și care se dezvăluie atunci când departamentele sale lucrează într-un mod integrat.Mai mulți cercetători Microsoft Research au fost activi în dezvoltarea Kinect 2.0, lucrând la un proiect care va avea impact imediat pe piață. Pentru cei dintre noi care au cerut o mai mare participare a Microsoft Research la produsele Redmond, aceasta este o veste bună.

Kinect este, de asemenea, demonstrația tangibilă că Microsoft Research este mult mai mult decât un laborator de idei, este un capital fundamental pentru viitorul Microsoft .

Via | Blogul oficial Microsoft | TechCrunch