Met een webcam kan een computer handbewegingen niet alleen volgen, maar perfect nabootsen, danzij deep learning. Een uitkomst voor Virtual Reality (VR), waar dit soort directe besturing de beleving kan vergroten en versimpelen.
Nu moet voor het besturen van VR, bijvoorbeeld invideospeleltjes, vaak een controller gebruikt worden. Er lopen experimenten met handschoenen en andere 'gadgets', maar die maken het betreden van een VR-wereld niet bepaald eenvoudiger.
De DeepHand, zoals de uitvinders van Purdue University (VS) hun vondst noemen, werkt simpeler. Je hoeft er zelfs niks voor te doen: gewoon je hand bewegen voor een camera, en het programma weet wat er aan de hand is. Het kent meer dan 2,5 miljoen mogelijke handposities en weet precies de opgevangen beelden te matchen bij een handbeweging.
Duim herkennen
De kern van het algoritme is deep learning, de programmeertechniek waarbij een computer verschillende 'lagen' van analyse samenvoegt om tot een conclusie te komen (zie 'lerende computerneuronen'). In dit geval interpreteert het algoritme de beelden door te zoeken naar de positie van een aantal vaste plekken op de hand - zoals de duim of de knokkels. Het algoritme kiest daarmee één van de miljoenen posities, die vervolgens op het scherm wordt getoond.
Hoewel het 'trainen' van het algoritme flink wat tijd kostte, is het resulterende programma op een normale computer te draaien. In het bijgevoegde filmpje is te zien dat het beeld de handbeweging vrijwel direct doorheeft en imiteert.
Bewegingsdetectie met camera's is niet nieuw, maar de manier waarop dit algoritme leert en de nauwkeurigheid zijn wel opvallend. Daarmee kan het besturen van computerprogramma's of spelletjes met gebaren vele malen beter worden.
Nieuwsbrief
Vond je dit een interessant artikel, abonneer je dan gratis op onze wekelijkse nieuwsbrief.