Цель проекта: создание MVP программного комплекса FollowUp для составления структурированного и персонализированного протокола или конспекта речи участников совещаний.

Задачи:

1. Разработка модулей комплекса:

- облачный модуль для доступа пользователя к работе системы через личный кабинет;

- веб-сервис для обмена данных и управления очередями;

- модуль обработки и анализа данных с использованием нейронных сетей и машинного обучения.

2. Сборка и улучшение алгоритмов первичной обработки аудио с помощью рекуррентных нейронных сетей для очищения от фрагментов без речи и устранения посторонних шумов.

3. Дообучение НС с архитектурой BART для суммаризации текстов с целью увеличения точности определения главных тем.

4. Проведение исследования существующих сторонних сервисов перевода речи в текст для выбора оптимального решения, которое будет встроено в модуль обработки данных, как один из компонентов.

5. Тестирование обучающих выборок для распознавания речи с акцентом или дефектом речи.

Актуальность: Применение облачных решений с целью удешевления продукта по сравнению с конкурентами. Тестирование обучающих выборок, на которых можно научить систему понимать человека с акцентом или дефектом речи.

На страницу проекта