Модель обробки потокових даних для розпізнавання окремих одиниць жестової мови

Abstract

У статті розглянута задача розпізнавання окремих жестів рук, отриманих з вебкамери. Запропоновано модель обробки потокових даних та розпізнавання жестів на відеозображеннях у вигляді 10-шарової згорткової нейронної мережі. За результатами оцінки якості моделі, отримана точність на тестовій множині склала 96%, значення функції втрати – 0.02. Результати перевірки показали, що модель є стійкою до відносно широких кутів обертання рук і є незалежною від освітлення, завдяки використанню контурів.

The paper deals with the problem of recognizing the single hand gestures received from a webcam. The model for processing of stream data and recognition of gestures from video images in the form of a 10-layer convolutional neural network is proposed. As a result of the model quality evaluation, the accuracy obtained on the test set was 96%, the value of the loss function 0.02. The results of the test showed that the model is resistant to relatively wide angles of hand rotation and is independent of light, due to the use of contours.