Derin öğrenme tabanlı ses ve görüntü işleme teknolojilerine sahip otonom insansız hava aracı

Yükleniyor...
Küçük Resim

Tarih

2024

Dergi Başlığı

Dergi ISSN

Cilt Başlığı

Yayıncı

İstanbul Gedik Üniversitesi

Erişim Hakkı

info:eu-repo/semantics/openAccess

Özet

Bu çalışma, derin öğrenme tabanlı çevresel ses sınıflandırma teknolojisi ve bilgisayarlı görü tekniklerini bir araya getirerek gerçek zamanlı nesne algılama ve sınıflandırma işlemlerini gerçekleştirebilen ve bu özellikleri sayesinde otonom karar verebilen bir İnsansız Hava Aracı (İHA) platformunu tanıtmayı amaçlamaktadır. İHA'nın aynı anda ses ve görüntü işleme yeteneklerini kullanabilmesi, iki farklı veri kaynağından bilgi toplama ve analiz yapma olanağını sunar. Bu, İHA'nın hem çevresel sesleri dinleyebilme hem de çevresindeki nesneleri gözlemleme yeteneğini içerir. Ses işleme, platformun çevresel sesleri algılayarak ses tabanlı nesne tanıma ve sınıflandırma yapmasına olanak tanırken, görüntü işleme ise uçuş sırasında çevresindeki nesneleri görsel olarak algılayarak nesne tanıma ve sınıflandırma işlemlerini gerçekleştirebilir. Bu da İHA'nın tanımlı görevleri otomatik olarak gerçekleştirebilmesine olanak tanır. Daha önceki bilimsel çalışmalar incelendiğinde nesne algılama ve sınıflandırmada, görüntü ve ses işleme teknolojisinin farklı alanlarda değişik amaçlar için ayrı ayrı kullanıldığı görülmektedir. İHA'ya otonom karar verme yeteneği kazandırmak ve gerçek zamanlı algılamanın yanı sıra kaydedilen görüntülerden ve seslerden nesne algılama ve sınıflandırma yapabilmek için gömülü bir yapay zekâ modülü gereklidir. İHA'nın, gömülü sistemler aracılığıyla hem ses hem de görüntü işleme teknolojilerini aynı anda kullanabilme yeteneğine sahip olması, nesne algılama ve sınıflandırma kapasitesini büyük ölçüde artırır ve ona önemli bir avantaj sağlar. Bu, İHA'nın çeşitli görevlerde daha etkili ve güvenilir bir şekilde kullanılmasına olanak tanır. Önerilen yaklaşımda, görüntü ve ses işleme, İHA üzerine Raspberry Pi 4, kamera ve mikrofon monte edilerek gömülü gerçekleştirildi. Ayrıca uzaktan müdahale imkânı sağlaması için Raspberry Pi ile uyumlu 4G/LTE modem kit ve nesne algılama hızını arttırması için Coral Edge TPU yardımcı işlemcisi kullanıldı. Görüntü işleme için TensorFlow Kütüphanesi ve SSD MobilNetV2 evrişimsel sinir ağı modeli kullanıldı. Test uçuşları sırasında, araba için %96.3 ve insan için %96.2 doğruluk elde edildi. Ses sinyali işleme için derin öğrenme modeli olarak MobileNetV1 evrişimsel sinir ağı üzerine kurulu YAMNet derin öğrenme modeli seçildi. Ses sınıflandırması için yapılan uçuş testlerinde helikopter sesi kullanıldı ve modelin sesi doğru sınıflandırdığı gözlemlendi.
This study aims to introduce an Unmanned Aerial Vehicle (UAV) platform capable of real-time object detection and classification by combining deep learning-based environmental sound classification technology with computer vision techniques. The UAV's ability to simultaneously utilize audio and visual processing capabilities allows it to gather information and analyze data from two different sources. This includes the UAV's capacity to both listen to environmental sounds and observe surrounding objects. Sound processing enables the platform to detect and classify objects based on sound, while image processing allows it to visually perceive and classify objects during flight. This enables the UAV to autonomously perform defined tasks. Previous scientific studies indicate that in object detection and classification, image and sound processing technologies have been separately used for different purposes. To endow the UAV with autonomous decision-making abilities and enable real-time detection from recorded images and sounds, an embedded artificial intelligence module is required. The UAV's capability to simultaneously use both sound and image processing technologies through embedded systems significantly enhances its object detection and classification capacity, providing it with a significant advantage. This allows the UAV to be used more effectively and reliably in various missions. In the proposed approach, image and sound processing were embedded onto the UAV using Raspberry Pi 4, a camera, and a microphone. Additionally, a 4G/LTE modem kit compatible with Raspberry Pi was utilized to enable remote intervention, and the Coral Edge TPU auxiliary processor was used to increase object detection speed. For image processing, the TensorFlow Library and the SSD MobilNetV2 convolutional neural network model were used. During test flights, accuracy rates of 96.3% for cars and 96.2% for humans were achieved. For sound signal processing, the YAMNet deep learning model built on the MobileNetV1 convolutional neural network was chosen. Helicopter sound was used during flight tests, and the model correctly classified the sound.

Açıklama

Lisansüstü Eğitim Enstitüsü, Savunma Teknolojileri Ana Bilim Dalı, Savunma Teknolojileri Bilim Dalı

Anahtar Kelimeler

İnsansız Hava Aracı, Bilgisayarlı Görü, Derin Öğrenme, Görüntü İşleme, Nesne Algılama, Evrişimsel Sinir Ağı, Raspberry Pi, Ses Sınıflandırması, Unmanned Aerial Vehicle, Computer Vision, Deep Learning, Image Processing, Object Detection, Conventional Neural Network, Rapsberry Pi, Sound Classification

Kaynak

WoS Q Değeri

Scopus Q Değeri

Cilt

Sayı

Künye