Выпускник UKZN разработал систему искусственного интеллекта для перевода знакового языка Южной Африки в речь
Подробнее
IOL
iol.co.za

Выпускник UKZN разработал систему искусственного интеллекта для перевода знакового языка Южной Африки в речь

Выпускник Университета Квазулу-Натал (UKZN) создал систему на основе искусственного интеллекта, которая способна осуществлять перевод знакового языка Южной Африки (SASL) в голосовое сопровождение в режиме реального времени.

Целью этой разработки является помощь людям с нарушениями слуха в преодолении коммуникационных барьеров. Акхил Хансрадж создал систему SASL-to-Speech Translation System в рамках своего выпускного проекта по получению степени бакалавра инженерного дела в области компьютерной инженерии.

Эта система, основанная на компьютерном зрении, использует специально разработанную модель ИИ вместе с устоявшимся фреймворком машинного обучения для отслеживания ориентиров тела и распознавания знаков в реальном времени. Система обучалась на специализированном наборе данных, относящемся к SASL, и умеет идентифицировать отдельные буквы и слова перед преобразованием интерпретированных знаков в речь посредством модели синтеза речи.

Преодоление трудностей

По словам научного руководителя Хансраджа, доктора Сулаймана Пателя, данный проект стал одним из первых проектов по вспомогательным технологиям в дисциплине Электро-, электронная и компьютерная инженерия (EECE) в UKZN, который был сфокусирован именно на диалекте знакового языка Южной Африки.

SASL недавно был признан одиннадцатым официальным языком Южной Африки, в то время как многие международные системы перевода знакового языка сосредоточены на американском жестовом языке. Для Хансраджа этот проект имел глубокую личную мотивацию, поскольку оба его родителя родились с нарушениями слуха и сталкивались с проблемами общения в повседневных ситуациях.

Хансрадж отметил: «Мои родители сталкиваются с коммуникационными барьерами в повседневных условиях, таких как банки, государственные учреждения и муниципальные офисы. Мне и моей сестре часто приходилось сопровождать их, чтобы говорить от их имени».

Он подчеркнул, что полностью готовая версия технологии могла бы позволить людям общаться более независимо. «Готовая к производству система позволила бы этим людям общаться легче и эффективнее, без необходимости в том, чтобы другая сторона выучила SASL», — добавил он.

Несмотря на то, что это выдающееся достижение, путь Хансраджа к выпуску был непростым. Патель сообщил, что во втором семестре 2025 года Хансрадж столкнулся с проблемами психического здоровья и ему потребовалось продление срока сдачи первого проекта. Благодаря поддержке Пателя, включая направление к студенческому консультанту и регулярные проверки состояния, Хансрадж смог восстановить темп работы над проектом. Его усилия в конечном итоге принесли ему высокую похвалу от EECE за выпускной проект.

Хансрадж также поделился, что больше всего ему нравились модули по проектированию во время обучения, поскольку они позволяли применять теоретические знания на практике в значимых проектах. Он также назвал модули «Сетевая связь данных» и «Интернет-инженерия», преподаваемые профессором Тахмидом Кази, своими любимыми.

Столкнувшись с финансовыми трудностями и имея один завершающий модуль в 2026 году, Хансрадж получил рекомендацию от Кази в местную компанию для собеседования. Он нашел работу и совмещал ее с обучением.

Планы по дальнейшему развитию технологии

После получения степени бакалавра инженерного дела Хансрадж намерен продолжать работу над своим проектом по переводу знакового языка. Его основное внимание будет сосредоточено на улучшении способности системы распознавать слова и генерировать более связную и плавную речь.

В долгосрочной перспективе он планирует построить карьеру в сфере программного обеспечения, сетевых технологий или искусственного интеллекта и машинного обучения. Хансрадж выразил благодарность своим родителям, дяде, сестре, Пателю, другу Амилу Махараджу, а также соседу по комнате, девушке и коллегам по университету за поддержку на протяжении всего пути. Помимо учебы, он увлекается играми, следит за технологическими разработками и работает над собственными проектами программирования. Он также благодарит UKZN за полученные уроки и возможность познакомиться с университетской жизнью.

Похожие сюжеты

Инноваторы из Кении используют робототехнику для обеспечения доступа к образованию на языке жестов
Подробнее
cgtn.com

Инноваторы из Кении используют робототехнику для обеспечения доступа к образованию на языке жестов

В Кении молодая команда новаторов применяет робототехнику для преодоления одного из препятствий, с которыми сталкиваются учащиеся с нарушениями слуха — это доступ к обучению на языке жестов.

Хотя данная технология находится на стадии разработки, ее создатели полагают, что в будущем она сможет сделать технические предметы более доступными для учеников с потерей слуха.

В классе в Найроби общение в значительной степени происходит посредством движений. Однако для глухих студентов освоение сложных дисциплин представляет собой особый вызов, особенно когда словарный запас, необходимый для объяснения математики, науки или технологий, отсутствует в знаках, которые они знают.

Ева Авино, преподаватель в средней школе для глухих Kasarani Treeside Secondary School for the Deaf, отметила: «Я преподаю физику, и в большинстве случаев мы понимаем, что концепции, которые мы преподаем, и способ, которым я могу выразить концепцию, становятся проблемой в какой-то момент из-за знаков и словарного запаса, необходимого для выражения данной концепции».

Именно эту проблему пытается решить кенийский стартап ZeroBionic. В своей лаборатории в Найроби инженеры обучают машины общаться на языке жестов.

Для соучредителя Норы Кимати идея началась с чего-то гораздо более простого. Кимати рассказала: «Мы начали всего с базовых роботизированных рук. Поскольку язык жестов полностью основан на руках, мы решили начать с рук и посмотреть, как это пойдет. Затем мы получили отзыв о том, что в языке жестов многое зависит от него».

Она продолжила: «Например, выполнение этого означает более пяти разных вещей в определенном языке жестов, основываясь на ваших мимических выражениях. Именно тогда мы решили построить полноценного гуманоида, включая лицо, включая глаза, включая все, чтобы уловить все невербальные сигналы, которые в настоящее время присутствуют».

Однако обучение машины жестам требует большего, чем просто аппаратное обеспечение; необходимы данные. Когда ZeroBionic начал поиск наборов данных африканского языка жестов, команда сообщила, что материала для работы было очень мало.

В лаборатории каждое движение фиксируется, записывается и преобразуется в данные, которые могут обучить систему. ZeroBionic утверждает, что текущая задача заключается в том, чтобы сделать технологию более умной, точной и полезной в реальном мире. Для студентов, наблюдающих за развитием этой технологии, она символизирует нечто большее, чем просто машина.

Популярное