Распределенная система потоковой обработки данных для задач распознавания речи

Abstract

Представлен обзор архитектурных решений для распределенных систем потоковой обработки данных, предназначенных для построения современных сервисов распознавания речи на основе глубоких нейросетевых моделей. Рассмотрены основные компоненты таких систем, включая слои хранения и обработки данных, а также особенности их программной реализации. Особое внимание уделено использованию «Apache Kafka» в качестве брокера сообщений для обеспечения эффективной передачи данных между компонентами системы. Показаны особенности применения «Mlflow» для развертывания модели распознавания речи «Whisper», что обеспечивает удобное управление жизненным циклом модели и ее метаданными. Рассмотрен процесс развёртывания приложения в раках концепции микросервисной архитектуры на базе системы управления вычислительным кластером «Kubernetes», предоставляющей широкие возможности масштабирования вычиcлительных ресурсов. Полученные результаты позволяют определить ключевые характеристики распределённых систем, влияющие на эффективность работы моделей распознавания речи, работающих в реальном времени.