Проблема: Отсутствие мобильного программного обеспечения для распознавания жестов глухонемых.
Цель: Разработать приложения для взаимодействия с глухонемыми людьми.
В ходе работы был решён следующий круг задач:
1. Определены и изучены технологии, используемые для распознавания жестов.
2. Сформирована база изображений для обучения нейронной сети.
3. Разработано и апробировано мобильное приложение для Android с интегрированной в него нейронной сетью.
Принцип работы приложения: Система распознавания букв русского жестового алфавита (РЖЯ) на основе свёрточной нейронной сети (CNN), обученная на наборе данных фотографий жестов рук, обеспечивает достижение значимой точности (50%-80%) в классификации жестов на новых, ранее не виденных изображениях.
Объект-исследования: Процесс распознавания слов и фраз русского жестового алфавита (РЖЯ) на видео в реальном времени.
Предмет-исследования: Точность и эффективность системы распознавания слов русского жестового алфавита (РЖЯ) на видео в реальном времени.