На сайте НГТУ НЭТИ запустили чат-бот для глухих и слабослышащих, владеющих русским жестовым языком

В Новосибирском государственном техническом университете НЭТИ разработали и внедрили анимированный чат-бот, который помогает глухим и  слабослышащим абитуриентам искать нужную информацию при поступлении с использованием русского жестового языка (РЖЯ). Бот доступен на странице приемной кампании (видео).

«В рамках федеральной программы «Приоритет-2030» совместно с компанией «Адаптис» мы реализуем проект, направленный на создание разных продуктов, основанных на цифровых технологиях и направленных на создание анимированного  переводчика русского жестового языка. Чат-бот — это один из продуктов, который мы создали в рамках нашего проекта. Его  можно использовать в разных сферах: поликлиниках, учреждениях культуры, в различных электронных сервисах, таких как платформа «Госуслуги», но, чтобы показать его возможности, например, в образовательной среде, мы разработали его для приемной кампании», — рассказал руководитель Лаборатории компьютерных технологий перевода русского жестового языка Кирилл Зубарев

По его словам, в период приемной кампании, на сайте НГТУ НЭТИ в разделе «Поступающим» будет выделен отдельный значок с рукой «Чат-бот с РЖЯ». Изображение значка «рука» понятно всем глухим и слабослышащим людям, владеющим русским жестовым языком. Принцип работы чат-бота построен на уже подобранном варианте ответов в соответствии с актуальными вопросами поступающих. Абитуриенту будет предоставлен перечень вопросов, ответ на которые можно получить либо в виде текста, либо в виде перевода на русский жестовый язык от анимированного аватара. Команда планирует ежегодно обновлять информацию чат-бота в зависимости от внесенных изменений на время поступления абитуриентов.

Создание перевода с помощью анимированного аватара требует много ручной работы для получения правильных жестов и мимики, требуется специализированное оборудование удаленного захвата движения (MOCAP), которое позволяет максимально точно улавливать движение пальцев, так называемую мелкую моторику. В разработке продуктов лаборатории участвуют глухие студенты и профессиональные переводчики РЖЯ.

Разработка анимированного перевода на русский жестовый язык и запись всех жестов ведется на базе лаборатории НГТУ НЭТИ, созданной за счет средств федеральной программы «Приоритет 2030». Технология создания анимированного аватара осуществляется совместно с индустриальным партнером НГТУ НЭТИ компанией «Адаптис».