Using convolutional neural networks for acoustic-based emergency vehicle detection

Full Text

ВВЕДЕНИЕ

Автомобили экстренной помощи играют важную роль в ситуации, угрожающей жизни, своевременное реагирование является важным аспектом данной работы. Городские пробки уносят более 20 % жизней пациентов в машине скорой помощи, а при очень тяжелом состоянии пациента процент летального исхода увеличивается [1]. В данной ситуации многие водители могут не пропустить машину скорой помощи из-за шума городского трафика, невнимательности, громкой музыки в машине или внешней звукоизоляции автомобиля. Для решения данной проблемы мы предлагаем внедрить интеллектуальную систему распознавания сигналов экстренных служб при помощи методов машинного обучения, в частности сверточных нейронных сетей.

Чтобы построить модель для распознавания звуков экстренных служб, первым делом нужно решить, в каком виде будут представлены и использованы данные. Можно строить модели, используя необработанную форму звуковой волны [2, 3], либо использовать двумерное представление звука, например в виде спектрограмм [4–6]. Спектрограммы становятся все более популярными в последнее время, потому что они хорошо работают со сверточными нейронными сетями (CNN) [4, 7]. Хоть модели CNN были созданы для анализа естественных изображений, двумерные спектрограммы также могут быть использованы для обучения. Спектрограммы звуков содержат различные, но повторяющиеся паттерны. Поэтому в данной работе и было принято решение преобразования звука в спектрограмму, которая будет анализироваться специально обученной сверточной нейронной сетью.

Для решения данной задачи некоторые авторы создали ядра свертки (kernels), которые перемещаются только в одном направлении для сбора временных данных [8]. Другие предлагали рекуррентные нейронные сети RNN [9–13] или их комбинацию с CNN [6, 14, 15] для улучшения последовательного понимания данных. В 2014 году исследование [16] показало, что мы можем рассматривать эти спектрограммы как изображения и использовать стандартную архитектуру CNN, такую как AlexNet [17], предварительно обученную на ImageNet [18] для задачи классификации звука.

МАТЕРИАЛЫ И МЕТОДЫ

В данной работе проводились исследования в области машинного обучения для решения задачи обнаружения транспортных средств аварийных служб в условиях городского трафика. Основой разработанной программы для решения поставленной задачи является сверточная нейронная сеть, которая работает с открытым датасетом “Emergency Vehicle Siren Sounds”, который можно найти на “Kaggle” [19]. Этот набор данных был полностью создан вручную путем извлечения звука из источников, доступных на интернет-сайтах, таких как Google и Youtube, и сохранен в аудиоформате “.wav”. Датасет содержит звуки сирен автомобилей скорой помощи, шума городского трафика и пожарных машин. Каждая категория содержит 200 звуковых файлов и 200 изображений спектрограмм (которые не будут использованы в данной работе) для каждого звукового файла. Также следует отметить, что этот набор данных был специально создан для проекта машинного обучения, этот набор данных не связан с какой-либо организацией и не подлежит внешнему лицензированию, скачивание бесплатное, изменение и распространение этого набора данных полностью свободное. Исходная выборка изображений была разделена на 2 класса “test” и “train”, разделение выборки произведено в соотношении 1:10.

Код был разработан на платформе “Google.Collab”, на языке программирования “python”, основной библиотекой для машинного обучения является “TensorFlow” и в особенности ее модуль “Keras”. Код программы можно найти на GitHub одного из авторов по имени пользователя “AnLiMan” по названию репозитория “CNN-for-audio-recognition” [20]. Код является полностью доступным к редактированию и коммерческому использованию и свободному распространению. Модель сверточной нейросети – последовательная (Sequential), содержащая в себе несколько слоев свертки для обработки изображений, визуализация ее архитектуры представлена на Рис. 1.

 

Рис. 1. Архитектура CNN для распознавания сирены аварийных служб

Источник: составлено авторами

 

В работе использовались следующие методы: эксперимент и математическое моделирование. Основными методами процесса обучения нейронной сети, использованными в данной работе, являются алгоритм обратного распространения ошибки и использование матриц свертки для обнаружения закономерностей на изображениях. Ошибка распознавания рассчитывалась с использованием метода расчета стандартного отклонения.

Для преобразования звуков в спектрограммы использовалась библиотека “Librosa” – это библиотека Python для анализа музыки и аудио. Она предоставляет функции, необходимые для создания систем поиска информации о музыке и аудио. В соответствии с разработанной методикой и идей проекта – звук с микрофона передается в записывающее устройство, которое делит его на фрагменты по 3 секунды и отправляет на обработку сверточной нейросети. Пример, генерируемых спектрограмм скорой машины (ambulance) показана на Рис. 2, пожарной машины (firetruck) на Рис. 3 и городского шума (traffic) на Рис. 4. Как видно из иллюстраций спектрограммы звуков сирены имеют четкие паттерны и определенный частотный диапазон, в то время как городской трафик просто равномерно занимает всю доступную слышимую область. Однако для работы сети требуется убрать дополнительную информацию о сэмпле, которая также генерируется библиотекой “Librosa” до уровня, показанного на Рис. 5.

 

Рис. 2. Спектрограмма скорой машины (ambulance)

Источник: составлено авторами

 

Рис. 3. Спектрограмма пожарной машины (firetruck)

Источник: составлено авторами

 

Рис. 4. Спектрограмма городского шума (traffic)

Источник: составлено авторами

 

Рис. 5. «Очищенная» спектрограмма звуковой дорожки

Источник: составлено авторами

 

Создание модели CNN.

Сверточная нейронная сеть (ConvNet / CNN) – это алгоритм глубокого обучения, который может принимать входное изображение, назначать важность различным аспектам или объектам на изображении и иметь возможность отличать одино от другого. CNN может успешно фиксировать пространственные и временные зависимости в изображении с помощью применения соответствующих фильтров.

При разработке сверточной нейросети использовалась библиотека от Google – “Tensorflow” и в особенности ее модуль “Keras”, модель сверточной нейросети – последовательная (Sequential), содержащая в себе несколько слоев свертки для обработки изображений, код для создания архитектуры модели представлен ниже, визуализация архитектуры представлена на Рис. 1.

 

model = tf.keras.models.Sequential([

 tf.keras.layers.Conv2D(8, (2,2), activation='relu', input_shape=(271, 446, 3)),

 tf.keras.layers.MaxPooling2D(2, 2),

 tf.keras.layers.Conv2D(32, (2,2), activation='relu'),

 tf.keras.layers.MaxPooling2D(2,2),

 tf.keras.layers.Conv2D(64, (2,2), activation='relu'),

 tf.keras.layers.MaxPooling2D(2,2),

 tf.keras.layers.Flatten(),

 tf.keras.layers.Dense(128, activation='relu'),

 tf.keras.layers.Dropout(0.2),

 tf.keras.layers.Dense(3, activation='softmax')

])

 

Алгоритм работы.

Алгоритм обучения сверточной нейросети показан на Рис. 6. Процесс обучения начинается с импорта библиотек машинного обучения, работы со звуком, массивами, архивами, изображениями и облачными хранилищами. После импорта звуков они с помощью библиотеки “Librosa” преобразуются в спектрограммы, показанные ранее на Рис. 2–4 до уровня изображений, показанных на Рис. 5. Далее идет определение архитектуры сети, которая была подробно описана ранее. Основной процесс обучения занимает порядка 12 минут. В случае, если точность распознавания превысит 93 %, либо если закончится количество эпох обучения, то процесс обучения завершится. После модель и ее веса сохраняются на облачном хранилище, чтобы не повторять процесс обучения снова в будущем, а просто загрузить готовую модель для работы.

 

Рис. 6. Алгоритм обучения сверточной нейронной сети

Источник: составлено авторами

 

Резюме сверточной нейронной сети приведено в Табл. 1. Из данной таблицы можно увидеть, что конечная архитектура нейросети содержит примерно 14,6 млн параметров, что является, довольно, небольшим значением.

 

Таблица. Параметры модели нейросети

Тип слоя	Размер на выходе	Число параметров
conv2d (Conv2D)	(None, 270, 445, 8)	104
max_pooling2d (MaxPooling2D)	(None, 135, 222, 8)	0
conv2d_1 (Conv2D)	(None, 134, 221, 32)	1056
max_pooling2d_1 (MaxPooling 2D)	(None, 67, 110, 32)	0
conv2d_2 (Conv2D)	(None, 66, 109, 64)	8256
max_pooling2d_2 (MaxPooling 2D)	(None, 33, 54, 64)	0
flatten (Flatten)	(None, 114048)	0
dense (Dense)	(None, 128)	14 598 272
dropout (Dropout)	(None, 128)	0
dense_1 (Dense)	(None, 3)	387
Всего параметров		14 608 075

 

РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ

Как уже было сказано ранее, примерное время обучения составило 12 мин., график данного процесса показан на Рис. 7. Для последней эпохи обучения были получены следующие результаты: loss: 0,1844 – accuracy: 0,9212 – val_loss: 0,2081 – val_accuracy: 0,9333. Здесь loss – «потери», разница между полученным значением предсказания и реальным, accuracy – точность распознавания для текущей эпохи. Главные показатели это “val_loss” и “val_accuracy”, отображающие итоговые результаты обучения сети.

 

Рис. 7. График процесса обучения

Источник: составлено авторами

 

Далее была проведена проверка точности распознавания нейросети. Ниже на Рис. 8 приведен результат распознавания 16-ти случайных изображений из тестовой выборки. Зеленый цвет означает, что изображение было распознано правильно, за скобками указано предсказанное значение, а в скобках реальное. Как видно из Рис. 8, точность в 93,3 % позволяет достичь достаточно высоких результатов. Алгоритм работы можно несколько изменить, если в качестве обучающего набора использовать аудиофайлы короче 3-х секунд и усреднять итоговый прогноз. Однако в рамках данного исследования такой эксперимент не проводился.

 

Рис. 8. Проверка точности распознавания на 16-ти случайных спектрограммах

Источник: составлено авторами

 

Также был проведен тест скорости распознавания и вывода одного изображения (Рис. 9) результат составил примерно 0,0205 секунды. Однако алгоритм работы можно усовершенствовать, если убрать вывод изображения, в котором нет необходимости человеку, в этом случае скорость распознавания составит – 0,0004±5 % секунды.

 

Рис. 9. Проверка отдельного изображения из тестовой выборки

Источник: составлено авторами

 

ОБСУЖДЕНИЕ РЕЗУЛЬТАТОВ

Для увеличения скорости работы нейронной сети мы предлагаем убрать компонент визуализации результата предсказания, что позволит добиться скорости распознавания – 0,0004±5 % секунд для всех изображений из тестовой выборки.

Следует отметить важное ограничение данной работы – достаточно сложно добиться высокой точности распознавания без использования дополнительных методов фильтрации и обработки изображений. Поэтому для повышения производительности сети необходимо применять алгоритмы предварительной обработки необработанных изображений, например, фильтром Гаусса или аналогичным. Также следует провести постобработку результатов прогнозирования, путем усреднения или перепроверки. Для улучшения качества предсказания также можно повысить порог срабатывания (threshold) нейрона, но в этом случае потребуется увеличить размер датасета.

ЗАКЛЮЧЕНИЕ

Использование разработанной технологии распознавания сигналов экстренных служб в условиях городского трафика позволит повысить безопасность дорожного движения и увеличить шансы на предотвращение опасной ситуации.

Также данная система может являться дополнительным помощником для слабослышащих людей во время вождения и повседневной жизни для своевременного оповещения о наличии поблизости экстренных служб.

Разработанная модель сверточной нейронной сети может быть легко интегрирована в интеллектуальную систему помощи водителю или для системы автопилота беспилотного автомобиля.

Результаты исследования показали эффективность работы сети на уровне 93,3 % и скорость распознавания примерно равной 0,4 м/с при использовании интерпретируемого языка python. Данное время можно уменьшить, если экспортировать модель на компилируемый язык программирования, например, C#.

Датасет звуков сирены, который использовался для эксперимента может быть успешно заменен соответствующими звуками страны, в которой планируется использование данной системы без критического изменения кода разработанной программы.

РЕКОМЕНДАЦИЯ К ПУБЛИКАЦИИ

Старший научный сотрудник Южно-Уральского Государственного университета, доктор технических наук, профессор Александр Григорьевич Возмилов рекомендует данную статью к публикации.

Авторы заявляют, что:

1. у них нет конфликта интересов;
2. настоящая статья не содержит каких-либо исследований с участием людей в качестве объектов исследований.

About the authors

Andrey A. Lisov

South Ural State University

Author for correspondence.
Email: lisov.andrey2013@yandex.ru
ORCID iD: 0000-0001-7282-8470
SPIN-code: 1956-3662

postgraduate student

Russian Federation, Chelyabinsk

Askar Z. Kulganatov

South Ural State University

Email: kulganatov97@gmail.com
ORCID iD: 0000-0002-7576-7949
SPIN-code: 7607-9723

postgraduate student

Russian Federation, Chelyabinsk

Sergei A. Panishev

South Ural State University

Email: panishef.serega@mail.ru
ORCID iD: 0000-0003-2753-2341
SPIN-code: 2676-5207

postgraduate student

Russian Federation, Chelyabinsk

References

Supplementary files