Специалисты Санкт-Петербургского Федерального исследовательского центра РАН (СПб ФИЦ РАН) разработали цифровую систему, которая позволяет пациентам с нарушениями слуха общаться с врачами и получать необходимую помощь. Об этом ТАСС сообщил 1 февраля старший научный сотрудник лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН Дмитрий Рюмин.
«К нам обратились представители одной из организаций для реабилитации глухих людей с проблемой посещения больниц. Для того чтобы подробно объяснить свой недуг, глухой пациент вынужден брать с собой переводчика, которых часто не хватает. Для решения этой задачи мы разработали программное обеспечение, которое распознает язык жестов и преобразует его в текст», — рассказал изданию Рюмин.
Разработанная система функционирует следующим образом: установленная видеокамера фиксирует жесты пациентов, после этого программа автоматически преобразует язык жестов в текст в режиме реального времени. Точность системы, по словам разработчиков, составляет более 90%.
Отмечается, что в основу системы легла база данных, собранная специалистами СПб ФИЦ РАН совместно с межрегиональным центром реабилитации лиц с проблемами слуха города Павловска. Датасет включает в себя 85 жестовых высказываний, актуальных для приема у врача, каждое из которых записано 12 дикторами в пяти вариантах. Такое разнообразие необходимо для повышения точности перевода.
