TechFusion.ruНовостиВ Китае смартфон научили читать по губам

В Китае смартфон научили читать по губам

Conversations

Специалисты китайского Университета Цинхуа создали мобильное приложение, распознающее беззвучную речь по движениям губ пользователя и превращающее команды в действия на устройстве

Китайские разработчики научили смартфон читать по губам. Новое приложение понимает беззвучные команды, делая использование смартфона комфортным в общественных местах. Пока приложение представлено только в виде концепта.

Для того, чтобы понять команду, новому голосовому помощнику, достаточно видеть губы говорящего. По словам разработчиков, представившим свое приложение в докладе Lip-Interact: Improving Mobile Device Interaction with Silent Speech Commands на конференции UIST 2018, алгоритм с помощью камеры смартфона определяет лицо в кадре.

После этого приложение ищет и отслеживает 20 контрольных точек на губах пользователя. Далее алгоритм на базе сверточной нейросети дешифрует эти движения в команду и выполняет ее. В приложении сейчас есть 44 команды, включающие такие основные действия как настройки системы, возможность сделать скриншот, открыть мессенджер и т.п.

Тесты приложения проводились на 21 испытуемом. Точность распознавания системой составила 95,5%.

Фото на обложке: pixabay.com