УДК 004.93, 004.89
СИСТЕМА РАСПОЗНАВАНИЯ СТАТИЧЕСКИХ ЖЕСТОВ РУК С ИСПОЛЬЗОВАНИЕМ КАМЕРЫ ГЛУБИНЫ
Д. Ж. Сатыбалдина, к.ф.-м.н., профессор кафедры ВТ ЕНУ им. Л.Н.Гумилёва, Нур-Султан, Казахстан;
orcid.org/0000-0003-0291-4685, e-mail: Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра.
Г. В. Овечкин, д.т.н., профессор, заведующий кафедрой ВПМ РГРТУ, Рязань, Россия;
orcid.org/0000-0001-6887-2217, e-mail: Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра.
К. А. Калымова, докторант ЕНУ им.Л.Н.Гумилёва, Нур-Султан, Казахстан;
orcid.org/0000-0003-0610-740X, e-mail: Этот адрес электронной почты защищён от спам-ботов. У вас должен быть включен JavaScript для просмотра.
Целью работы является разработка системы для распознавания статических жестов рук на основе глубокой сверточной нейронной сети с использованием концепции трансфера обучения. Система распознавания жестов состоит из устройства захвата жестов (сенсора), алгоритмов предобработки и сегментации изображения, блока извлечения признаков и классификации жестов. Программная реализация выполнена с использованием инструментов Python 3.6. В качестве сенсора применяется камера глубины Intel® RealSense™ D435. Несколько Python-библиотек с открытым исходным кодом обеспечивают надежную реализацию алгоритмов обработки и сегментации изображений. Подсистема извлечения признаков и классификации жестов построена на основе архитектуры нейронной сети VGG-16, реализованной c использованием фреймворков глубокого обучения TensorFlow и Keras. Экспериментальные результаты показывают, что модель нейронной сети, обученная на базе данных жестов рук, состоящей из 2000 изображений, обеспечивает высокую точность распознавания на этапе тестирования системы.
Ключевые слова: интеллектуальные информационные системы и технологии, глубокое обучение, камера глубины, распознавание жестов, сверточная нейронная сеть, Keras, OpenCV, Python, TensorFlow, VGG-16.