Кондратюк С. С. Розпізнавання та моделювання жестів української дактильної абетки за допомогою кросплатформених технологій

Вперше запропонована технологія, розроблена з використанням кросплатформених інструментів для моделювання жестів української дактильної абетки, анімації переходів між станами жестових одиниць і поєднання жестів (слів). Розроблена технологія відтворює послідовність жестів з використанням віртуальної просторової моделі руки і виконує розпізнавання дактилем з вхідного потоку камери за допомогою згорткової нейронної мережі на основі архітектури MobileNetv2, навченої на зібраному наборі зображень, і з обраною оптимальною конфігурацією шарів і параметрів. На зібраному наборі тестових даних української дактильної абетки досягнута точність більш ніж 97%. В рамках технології, для підготовки моделі розпізнавання жестів, вперше зібраний статистично значимий масив даних української дактильної абетки, що складається з більш ніж 50000 зображень жестів рук 50 осіб в різних умовах навколишнього середовища, умовах освітлення і доповнених методами аугментації даних. Обрана архітектура згорткової нейронної мережі MobileNetv2 вдосконалена за рахунок тривимірних згорток, що дозволило навчити модель розпізнавання з якістю 0.97 метрики f1 на тестовому наборі даних, яка перевищує або є на одному рівні з сучасним розробками в цій області для інших мов. Результати моделювання і експериментальних досліджень, отримані в роботі, можуть бути використані для розробки перспективних технологій спілкування користувача з комп’ютером, а також в системах альтернативного спілкування мовою жестів.