Твой проект —
твоя профессиональная
Траектория

Голос Больших данных

Партнер
TuskPro
ВУЗ
Актуальность

В современном мире «Большие данные» и их анализ играют огромную роль и позволяют перейти на качественно новый уровень обработки информации. Для работы с «Большими данными» используются специальные средства и методы интеллектуальной обработки неопределённо структурированных данных, включая системы управления базами данных категории NoSQL, алгоритмы MapReduce, библиотеки проекта Hadoop, а также инструменты машинного обучения (Machine Learning), «нейронных сетей», распознавания изображений.   Все эти средства, методы и инструменты предлагается применить в нашем кейсе для решения актуальной социальной задачей высокой значимости- адаптации слабослышащих и глухих людей к жизни современного общества. 

Жест языка глухих представляет собой комбинацию конфигураций пальцев рук (одной или двух), положений рук относительно тела говорящего (с учетом направления движения рук) и сопутствующей мимики, передающей эмоциональную составляющую.  Кроме «жестового языка», на практике часто применяется дактильный язык. Это своеобразная форма речи (общения), воспроизводящая посредством пальцев рук орфографическую форму слова речи, поскольку использует специальную дактильную азбуку. Изображения дактилем (букв из дактильной азбуки) должны быть считаны, оцифрованы в двумерный массив чисел и сохранены в базе данных. Программа обработки данных основана на глубоких нейронных сетях. Для работы нейронных сетей требуется ее обучение, что предъявляет высокие требования к объему используемых данных и вычислительной мощности процессора. Кроме того, учитывая цифровое представление каждого пикселя изображения, речь идет об обработке Больших данных в реальном режиме времени. Например, только для обработки одного пикселя потребуются терабайты данных, учитывая, например, степень освещенности, контрастность изображения и т.п.


Описание

-

Результат

В качестве решения должны быть представлены модули программного обеспечения для информационной системы, реализующие процессы распознавания и преобразования дактилем в текстовый формат. 

Необходимо:

1. Освоить методы интеллектуального анализа данных, обеспечивающих построение нейронной сети.

2. Практически освоить методы экспорта/ импорта данных.

3. Разработать алгоритмическое обеспечение для этапов формирования нейронной сети

4. Разработать программное обеспечение для реализации нейронной сети по распознаванию дактилем, преобразования изображений дактилем в требуемый формат и записи новых изображений в базу данных, обработки и преобразования данных в текстовый формат.

5. Произвести отладку и тестирование программного обеспечения, позволяющего максимально настроить качество распознавания дактилем. 

6. Обучить нейронную сеть на примере различных дактилем и их комбинаций. 

В результате выполнения проектной задачи школьники получат теоретические знания в области машинного обучения, аналитики Больших данных, нейронных сетей и других текущих трендов информационных технологий, а также существующих в настоящее время технологий и методов решения задачи прямого и обратного перевода жестовой речи в текстовую форму.  Пошаговое практическое выполнение проектной задачи под руководством разработчиков МТУСИ и партнера, наряду с предоставлением используемого программного обеспечения в свободное пользование даст возможность школьникам получить навыки самостоятельной работы или в сообществе над расширением и развитием проекта. 

Аналитики исследовательских агентств предсказывают, что объем рынка средств и технологий распознавания жестов к 2020 г. достигнет $22,4 млрд. Особым спросом технологии распознавания жестов пользуются в социальной сфере и сфере здравоохранения, в банковском секторе, для аутентификации и идентификации пользователей, а также в системах управления приложениями электронных устройств.

В основе проектной задачи лежат визуальные методы распознавания жестов, которые, в отличие от широко рекламируемых методов на основе маркеров или реализуемых с помощью оборудованной перчатки не предъявляют специальных требований к оснащению пользователя дополнительным оборудованием.

 Требования

1. МТУСИ предоставляет программное обеспечение для реализации  проектной задачи: базу компьютерных изображений видео, фото, печатных и рукописных дактилем, методические указания для  настройки и обучения нейронной сети, набор гиперссылок на свободно распространяемое ПО, связанное с распознаванием жестового языка.
2. Выполнение каждого этапа контролируется на сервере МТУСИ, пересылкой одного из численных результатов полученных на  этапе и оценка правильности выводится на экран монитора, вместе с суммарным затраченным временем.
3. Система должна самообучаться и подстраиваться под каждый формат изображения дактилей и  их комбинаций. 
4. После обучения точность распознавания изображения системой должна быть не ниже 90%.

Ограничения

Использование программных сред, предоставляемых МТУСИ