Gesture Interpretation Control System Using Convolutional Neural Networks

Abstract

Þessi ritgerð leggur fram inngriplausan stjórnbúnað fyrir rafmagnshjólastóla sem nemur andlitshreyfingar einstaklinga sem fangaðar eru með eineygis myndavél. Myndirnar eru síðan túlkaðar með feðmingar-djúptauganeti sem nær að 99.6% nákvæmni. Stjórnkerfið notast við ígreypt kerfi með skjákorti til að greina myndir í rauntíma með skjótum rökleiðslutíma. Lausnin býður upp á mikla fjölbreyttni í notkun þar sem notandi notar andlitslátbragð til að lýsa skipun að eigin vali.

This thesis proposes a non-invasive control system for electrical wheelchairs utilizing facial gestures of individuals captured by a real-time monocular camera. The images are interpreted with a convolutional neural network that achieves up to ~99.6% overall accuracy. The control system uses an embedded system with a graphics processing unit for predicting real-time throughput with fast classification time. This solution offers excellent versatility, where the user can make a gesture to depict a command of his choice.