КОНТРОЛЬ СИНЕРГИЙ МЕЛКОЙ МОТОРИКИ НА ОСНОВЕ НЕЙРОННОЙ СЕТИ MEDIAPIPE HANDS И ПРИНЦИПА FINGERFIT

Согласованная работа пальцев рук является показателем здоровья человека и залогом профессионального мастерства. Целью работы было создание метода контроля качества синергий мелкой моторики на основе компьютерного зрения. 

Методы и организация исследования. В основе предлагаемого метода лежит использование фреймворка с открытым исходным кодом MediaPipe, а именно нейронной сети Mediapipe Hands, позволяющей определять жест человека на основе анализа видеопотока. Используя нейронную сеть и авторский способ оценки мелкой моторики, разработали компьютерное приложение FingerFit 4.0, позволяющее отслеживать и анализировать изменение жестов и синергий в автономном режиме. В апробации разработанного метода приняла участие девочка 7 лет, не имеющая отклонений в состоянии здоровья или задержек в развитии. ъ

Результаты исследования и их обсуждение. Исследование показало, что компьютерное зрение способно быстро и точно определять малейшие изменения жеста. Тест, включающий 32 неповторяющихся жеста одной руки, предъявляемых в случайном порядке, позволил выявить и оценить 145 синергий. Основываясь на скорости построения жестов, выполнили ранжирование синергий от самой простой до самой сложной. Показано, что каждая производная синергия нижних уровней вносит свой вклад в формирование сложности синергии высшего уровня, хотя это явление нельзя объяснить простым сложением синергетической нагрузки или увеличением количества участвующих в синергии пальцев. 

Заключение. Предложенный метод контроля синергий мелкой моторики является простым в использовании, не требующим дополнительного дорогостоящего оборудования. Программное приложение, загруженное на обычный компьютер с web-камерой, позволяет стандартизированно и объективно оценивать состояние мелкой моторики. 

• Патент 2717365 C1 Российская Федерация. Способ оценки мелкой моторики рук: № 2018147383: заявл. 27.12.2018: опубл. 23.03.2020 /А. А. Померанцев, А. Н. Старкин; заявитель и патентообладатель Липецкий гос. пед. ун-т. имени П. П. Семенова-Тян-Шанского. – № 2018147383: заявл. 27.12.2018: опубл. 23.03.2020.
• Субботин, А. А. Использование машинного обучения в задачах по распознаванию жестов / А. А. Субботин, Л. И. Воронова // Телекоммуникации и информационные технологии. – 2022. – Т. 9, № 1. – С. 58-64.
• Хасаншин, И. Я. Исследование кинематики ударов руками в каратэ на основе искусственной нейронной сети / И. Я. Хасаншин // Наука и спорт: современные тенденции. – 2021. – Т. 9, № 1. – С. 36-42.
• Хасаншин, И. Я. Применение технологий машинного зрения для распознавания одиночных прямых ударов в боксе / И. Я. Хасаншин, Д. С. Уткин, Д. Н. Дербин // Наука и спорт: современные тенденции. – 2022. – Т. 10, № 2. – С. 43-48. – DOI 10.36028/2308-8826-2022-10-2-43-48.
• Холл, М. Комбинаторика / М. Холл; под ред. А. О. Гельфонд, В. Е. Тараканова; пер. с англ. С. А. Широковой. – М. : Мир, 1970. – 423 с.
• Evaluation of Finger Force Control Ability in terms of Multi-finger Synergy / M. Lee, J. Lee, J. Shin, J. Bae // IEEE Transactions on Neural Systems and Rehabilitation Engineering. – 2019. – 1-11. doi:10.1109/tnsre.2019.2932440
• Hand Gesture Mapping Using MediaPipe Algorithm / R. K. Veluri, S. R. Sree, A. Vanathi, et al // Proceedings of Third International Conference on Communication, Computing and Electronics Systems . Lecture Notes in Electrical Engineering. – 2022. – vol 844. doi: 10.1007/978-981-16-8862-1_39
• Indriani. Applying Hand Gesture Recognition for User Guide Application Using MediaPipe / Indriani, M. Harris, A. S. Agoes // Proceedings of the 2nd International Seminar of Science and Applied Technology (ISSAT 2021). – P 101-108 https://doi.org/10.2991/aer.k.211106.017
• Kim, K. Effect of Kinetic Degrees of Freedom on Multi-Finger Synergies and Task Performance during Force Production and Release Tasks / K. Kim, D. Xu, J. Park // Scientific Reports. – 2018. – № 8, 12758. https://doi.org/10.1038/s41598-018-31136-8
• Latash, M. L. One more time about motor (and non-motor) synergies / M. L. Latash // Experimental Brain Research. – 2021. Oct. – 239(10). – P. 2951-2967. doi:10.1007/s00221-021-06188-4
• Lim, K. Y. Computer Performance Evaluation for Virtual Classroom with Artificial Intelligence Features / K. Y. Lim, H. Joan, Y. Tew // International Conference on Digital Transformation and Applications (ICDXA). – 2021, P. 85-94, doi: https://doi.org/10.56453/icdxa.2021.1008.
• Madarshahian, S., Latash, M. L. Synergies at the level of motor units in single-finger and multi-finger tasks / S. Madarshahian, M. Latash, L. // Experimental Brain Research. – 2021. – 239(9). – P. 2905-2923 .doi:10.1007/s00221-021-06180-y
• Multi-finger synergies and the muscular apparatus of the hand / C. Cuadra, A. Bartsch, P.Tiemann, S. Reschechtko, M. L. Latash // Experimental Brain Research. – 2018. – 236(5). – P. 1383-1393. doi:10.1007/s00221-018-5231-5
• SHREC 2021: Skeleton-based hand gesture recognition in the wild / A. Caputo, A. Giachetti, S. Soso et al. // Computers & Graphics. – 2021. – 99. – 201-211. doi:10.1016/j.cag.2021.07.007
• Top, E. Fine motor skills and attention level of individuals with mild intellectual disability getting education in inclusive classrooms and special education schools / E. Top // International Journal of Developmental Disabilities, – 2021. – 1-8. doi:10.1080/20473869.2021.1953940
• The Classification of Abnormal Hand Movement to Aid in Autism Detection: Machine Learning Study / A. Lakkapragada, A. Kline, O.C. Mutlu et al. // JMIR Biomedical Engineering. – 2022. – 7(1). – e33771. doi: 10.2196/33771
• Video-Based Hand Movement Analysis of Parkinson Patients before and after Medication Using High-Frame-Rate Videos and MediaPipe / G. Güney, T.S. Jansen, S. Dill, J.B. Schulz et al. // Sensors. – 2022. – 22. – 7992. https://doi.org/10.3390/s22207992