Har du någonsin försökt vinka din hand runt som en trollstav och kalla en räknare? Vi skulle gissa att inte överväga att du förmodligen skulle se lite dumt att göra det. Det är om du inte hade [Andrei] fantastiska geststyrda kalkylator. [Andrei] trodde att det skulle vara värdefullt att använda en räknare i sitt forskningslaboratorium utan att behöva ta bort handskarna och resultaten är ganska coola.
Hans hårdvara består av en fickbock, en OLED och en MPU6050-tröghetsmätningsenhet för att fånga sina handmotioner med en accelerometer och gyroskop. Hårdvaran är ganska okomplicerad, så det här projektets överklagande ligger i genomförandet av tillverkaren.
[Andrei] togs först några exempel dataset för att träna sin algoritm genom att återskapa handbehållen för varje nummer, 0-9 och registrera de resulterande accelerometern och gyroskoputgångarna. Han bearbetade data först med en Wavelet Transform. Avsikten med transformen var tvåfaldig. Först gjorde omvandlingen honom att minimera antalet prover i sina dataset, samtidigt som man bevarar formen på accelerometern och gyroskopsignalerna, de avgörande funktionerna i tillverkningsklassificeringen. För det andra kunde han öka antalet funktioner för klassificeringen med tanke på att Waveet-transformen resulterade i både approximation och fördjupade koefficienter som båda kan matas in i algoritmen.
Eftersom han hade ett litet dataset använde han den stratifierade shuffle split-tekniken istället för testtågs split-metoden som normalt är mycket mer lämpad för större dataset. Den stratifierade shuffle-spliten såg till att ungefär samma antal tåg- och testprover för varje gest. Han var också mycket medveten om att optimera sin modell för att springa på en bärbar bearbetningsenhet som fickbandet. Han spenderade en viss tid att optimera parametrarna för sin algoritm och omvandlade slutligen sin modell till en tensorflowlite-modell med den inbyggda “tfliteconverter” -funktionen inom tensorflöde.
Slutligen, på äkta open source mode, är all sin kod tillgänglig på GitHub, så känna dig gratis för att ge det en go själv. Kalkylatorium Leviosa!
