Нет слов

Как единственный глухой программист в мире создал программу перевода языка жестов на русский

Арина Демидова

Алексей Приходько из Новосибирска учился на программиста, окончил магистратуру в обычной группе, стал мастером спорта по волейболу, выступил перед Президентом России и разработал систему распознавания жестов. И это все при том, что сам он, как и его родители, ничего не слышит.

Инженер кафедры автоматизированных систем управления Новосибирского государственного технического университета Алексей Приходько в 2020 году получил 10 миллионов рублей на создание компьютерного переводчика с языка жестов. Единственный глухой программист в мире, который работает над автоматическим переводчиком жестов на письменный язык, стал победителем конкурса грантов Президента Российской Федерации. Искусственный интеллект переводит язык людей с нарушениями слуха и управляет компьютером при помощи жестов.

Жесты словами

Алексей с детства мечтал, что его жесты смогут перевести на русский язык. Даже высшее образование он выбирал, исходя из этих предпочтений: «Я поступил в колледж и вуз, потому что там есть доступность перевода русского жестового языка для меня (глухих людей). С 2020 года наш научный руководитель пригласил меня на работу как младшего научного сотрудника НГТУ после выпуска аспирантуры. Разработка по распознаванию русского жестового языка — это научная задача. В магистратуре в 2013 году я выбрал тему диссертации по распознаванию жестов, потому что хочу решать нашу проблему жизни».

Алексей Приходько уже создал прототип системы, которая переводит на уровне азбуки глухих. Со стороны это выглядит таким образом: человек садится за компьютер или ходит около него так, чтобы специальная камера могла за ним «присмотреть». Он дает определенные команды-жесты, которые система «видит», а после распознает их и переводит на русский язык. Впрочем, только русским все не ограничивается: «Разработка помогает распознать фонетические жесты на любом жестовом языке. В русском жестовом языке очень много разных жестов, как обычных слов, поэтому нужно распознавать несколько тысяч жестов, а проще распознать несколько десятков жестов для управления техническим объектом. Для работы устройства нужен мощный персональный компьютер с графическим процессором для серверного приложения, а клиентское приложение — в браузере и в мобильном».

Помимо встроенной функции переводчика, система способна управлять компьютером при помощи жестов. Движениями рук можно настроить громкость, яркость и управлять курсором на экране без помощи мыши.

Благодаря гранту Приходько смог начать обучение системы определенным компонентам грамматики русского жестового языка, которые ранее были недоступны. Так он хочет довести программу до готового продукта, который можно будет широко использовать глухим людям: «Сейчас проект находится на финальной стадии. Создается словарь прямого и обратного перевода русского жестового языка».

Среди главных задач разработчик называет наполнение базы жестов русского жестового языка, разработку алгоритмического и доработку программного обеспечения распознавания траекторий движения и конфигураций отдельных компонентов жестов глухих, которые будут заданы в форме видеофайлов, и создание мобильной версии программы.

Называли невозможным

Идея проекта пришла в голову Алексею Приходько в 2013 году. Однако, просто заявив об этом, он столкнулся с валом критики и опасений. Ему нередко приходилось слышать, что в мире есть подобные разработки, что предлагаемая им затея нереализуема, что технологией слишком сложно овладеть. «Я слышал о том, что в Германии существует исследование жестовых языков, что есть письменная система нотаций — то, что у нас не развито в русском жестовом языке. В немецком жестовом языке есть очень много технологий, которые подходят для программирования, это называется нотация жестового языка».

Кроме того, звучали сомнения в том, что Приходько является экспертом в данной области. Кто-то высказывал опасения относительно возможных ошибок, другие отмечали, что старшее поколение не будет этим пользоваться, третьи — что рынок еще не готов. Когда удалось продвинуть идею, встал вопрос с поиском кадров. Отметим, что сейчас Алексей является руководителем проекта, а всего над ним трудится 20 человек. И у каждого своя задача. «Я выслушал много критики. Какие-то опасения слушаю до сих пор. Часто говорят: невозможно разработать по автоматическому переводу до живого переводчика. Я — исполнитель, я же и разработчик. Представьте, если бы я занимался пианино, я не смог бы отремонтировать его, настраивать, потому что я его не слышу. То же самое и человек, который не знает жестового языка. Технически ему очень сложно работать над этим, потому что он не может учитывать всю специфику этой лингвистики».

Однако были и те, кто помог. Например, Российский фонд фундаментальных исследований поддержал проект Алексея, который связан с переводом индийского жестового. Фонд президентских грантов выделил деньги на разработки. А благодаря НГТУ НЭТИ они вообще стали возможными. «В конкурсе “Цифровой прорыв” после моего рассказа первый заместитель руководителя Администрации Президента Российской Федерации Сергей Кириенко сразу обещал поддержать меня и выполнил свое обещание».

Были вещи, которые давались сложнее, чем ожидалось. Например, сложности возникли при работе с языковыми моделями жестового языка. Кроме того, отметил Алексей, если сравнивать, то текущая стадия разработки сложнее, чем предыдущая — исследование.

Есть клиенты

Опасения скептиков были напрасны. Несмотря на все сложности, уже есть те, кто готов купить разработку: «Нескольких индустриальных партнеров интересует наш проект, который мы планируем реализовать через наш университет».

Начало массового выпуска разработки запланировано на декабрь 2021 года. «Примерно в декабре мы планируем выпустить электронный словарь прямого и обратного перевода русского жестового языка».

Алексей Приходько пока не раскрывает планов относительно новых разработок. Но говорит, что его главное достижение 2021 года — это проект по распознаванию жестов.