Adaptive blended visual localization system based on artificial neural networks for unmanned air vehicles

Yükleniyor...
Küçük Resim

Tarih

2022

Dergi Başlığı

Dergi ISSN

Cilt Başlığı

Yayıncı

İstanbul Gedik Üniversitesi

Erişim Hakkı

info:eu-repo/semantics/openAccess

Özet

The recent developments in aviation unmannization have brought along systems that aim to limit the operational capability of unmanned platforms. The primary targets of the systems are generally communication and navigation functions. Most widely used Global Positioning System (GPS) signals are vulnerable to jamming and inaccurate localization is almost inevitable in strategic areas where electronic warfare is at an advanced stage. To cope with this challenge, the search for alternative positioning solutions independent of the Global Navigation Satellite System (GNSS) continues. In this thesis, an Unmanned Aerial Vehicles (UAVs) geolocalization framework based on visual resources is presented. It consists of two independent pipelines receiving data from the same source, handcrafted and artificial neural network based. On the side of deep learning, with trained convolutional neural network (CNN) features extracted from satellite and aerial images are used to localize UAV in GPS denied environments. Since the raw outputs from the neural net are not suitable for high-fidelity matching, they are optimized by three successive methods. The first one modifies the feature map obtained from the characteristics of the two images according to the final potential position of the UAV. The matching coefficients are multiplied by an exponentially decreasing function from the nearest pixels to the farthest ones. The second one joins the process after the first three position predictions and uses them to create an imaginary perspective. If the new location determined in each iteration follows the same direction compared to the previous ones, the spectrum narrows and the outputs become more precise. Otherwise, the angle of the corridor will widen, allowing the direction of the new predictions to change in subsequent ones. The third and final one draws an inertial path during the flight of the UAV, taking into account the technical specs of the platform (max. bank angle, max./min. speed). The altitude-independent horizontal plane is divided into 8 segments, and the coefficient of inertia of each segment increases as the aircraft moves over them. Through these applied methods, the flight characteristic of the UAV refines the textures extracted from the images to be matched before the next step, where the best coefficients are taken, and the others are eliminated. In the last stage of the neural network, clustering is performed with Dbscan, and outliers are removed. Scale-invariant feature transform (SIFT) is used for the handcrafted computer vision side. As well as their working mechanisms the efficiencies of the neural network and SIFT-based sources under variable circumstances such as the amount of light, vegetation and seasonal changes also differs. A real-time adaptive blended localization system is achieved by training the long short-term memory network (LSTM) with the dataset obtained by comparing the outputs of these two locator algorithms with ground truth data for different weather conditions and trajectories. As a result, the proposed system reduces the error by 12 percent compared to the blended ones with constant coefficients. This result is achieved by force of a new blending method without any change in hardware or content of navigation systems.
Havacılıkta insansızlaştırma alanında yaşanılan son gelişmeler söz konusu insansız platformların operasyonel faaliyetlerini kısıtlamayı amaçlayan sistemleri de beraberinde getirmektedir. Bu sistemlerin öncelikli hedefleri genellikle haberleşme ve navigasyon fonksiyonlarıdır. En yaygın kullanıma sahip Küresel Konumlandırma Sistemi (GPS) sinyalleri karıştırmaya karsı savunmasızdır ve elektronik harbin had safhada olduğu stratejik bölgelerde hatalı konumlandırma neredeyse kaçınılmazdır. Bu güçlükle başa çıkmak için Küresel Navigasyon Uydu Sistemi'nden (GNSS) bağımsız alternatif seyrüsefer çözümleri arayışı devam etmektedir. Bu tezde görsel kaynaklardan beslenen İnsansız Hava Aracı (İHA) konumlandırma sistemi sunulmaktadır. Sistem bilgisayarlı görme ve Yapay Sinir Ağı (YSA) tabanlı olmak üzere aynı kaynaktan beslenen iki bağımsız ardışık düzenden oluşur. Derin öğrenme tarafında Eğitimli Evrişimli Sinir Ağı vasıtasıyla uydu görüntüsü ve havadan çekilen görüntülerden elde edilen özellikler GPS olmayan ortamlarda konumlandırma için kullanılır. Sinir ağından elde edilen ham çıktılar yüksek doğrulukta eşleştirme için uygun olmadığından üç sıralı yöntemle optimize edilirler. İlki, iki görselden elde edilen özellik haritasını İHA'nın son potansiyel konumuna göre modifiye eder. Eşleşme katsayıları yakın piksellerden uzak olanlara doğru üstel azalan bir fonksiyon ile çarpılır. İkinci metot döngüye ilk üç tahminden sonra girerek hayali bir perspektif oluşturmak için bu tahminleri kullanır. Her bir iterasyon için belirlenen konumun doğrultusu bundan önce belirlenenlerinkiyle ortaksa spektrum daralır ve sonraki çıktılar daha kesin hale gelir. Aksi takdirde, koridor açısı genişleyecek ve sonraki adımlarda yeni tahminlerin yönlerinin değişmesine izin verecektir. Üçüncü ve son metot ise İHA'nın uçuşu sırasında teknik özelliklerini (maksimum yatış açısı, maks. / min. hız) dikkate alarak bir atalet yolu çizer. İrtifadan bağımsız yatay düzlem sekiz parçaya bölünmüştür ve her parçanın atalet katsayısı, uçak üzerlerinde hareket ettikçe artar. Uygulanan bu yöntemler sayesinde bir sonraki safha olan en iyi katsayıların seçilip diğerlerinin elendiği eşleme safhasından önce görsellerden elde edilen modeller İHA'nın uçuş karakteristiği ile rafine edilir. YSA'nın son safhasında Dbscan kullanılarak regresyon yapılır ve aykırı veriler çıkarılır. Bilgisayarlı görme tarafında SIFT kullanılır, ışık miktar bitki örtüsü ve mevsimsel değişiklikler gibi değişken koşullar altında çalışma mekanizması farklı olan YSA ve SIFT tabanlı kaynakların verimliliği de farklılık göstermektedir. İki ayrı kaynaktan alınan çıktılar Uzun Kısa Vadeli Hafıza Ağı vasıtasıyla değişken senaryolar için eğitilip reel değerlerle karşılaştırılarak gerçek zamanlı adaptif harmanlanmış konumlandırma sistemi elde edilir. Sonuç olarak önerilen sistem sabit katsayıyla harmanlanmış olanlara göre hata oranını yüzde 12 düşürmektedir. Bu sonuç donanımda veya navigasyon sistemlerinin içeriğinde bir değişiklik yapılmadan yeni bir harmanlama metodu sayesinde elde edilmektedir.

Açıklama

Lisansüstü Eğitim Enstitüsü, Savunma Teknolojileri Ana Bilim Dalı

Anahtar Kelimeler

Artificial Neural Network, Computer Vision, Visual Based Navigation, Blended Navigation, Yapay Sinir Ağları, Bilgisayarlı Görme, Görsel Tabanlı Navigasyon, Harmanlanmış Navigasyon

Kaynak

WoS Q Değeri

Scopus Q Değeri

Cilt

Sayı

Künye