Optik Kamera İletişimi ve Fotogrametri Kullanılarak Kablosuz Ağ Uygulamaları için Konumlandırma

1. Giriş

Bu tez, Md. Tanvir Hossan tarafından 2018 yılında Kookmin Üniversitesi'ne sunulmuş olup, Optik Kamera İletişimi (OCC) ve fotogrametriyi sinerjik bir şekilde birleştirerek konumlandırmaya yönelik yeni bir yaklaşımı araştırmaktadır. Temel önerme, özellikle iç mekanlar veya yoğun kentsel kanyonlar gibi zorlu ortamlarda GPS ve Wi-Fi gibi geleneksel Radyo Frekansı (RF) tabanlı sistemlerin sınırlamalarını ele almaktır.

1.1 Giriş

Araştırma, Nesnelerin İnterneti (IoT), otonom araçlar ve akıllı şehir uygulamaları için kesin, güvenilir ve altyapı açısından hafif konumlandırma sistemlerine yönelik artan talep tarafından motive edilmektedir.

1.2 Konumlandırmanın Önemi

Doğru konum bilgisi, modern bağlam duyarlı hizmetler için temel bir etkinleştiricidir.

1.2.1 İç Mekan Konumlandırma

GPS sinyalleri iç mekanlarda ciddi şekilde zayıflar, bu da metre seviyesinde hatalara veya tamamen başarısızlığa yol açar. Alternatif RF tabanlı sistemler (Wi-Fi, Bluetooth) çok yollu yayılımdan muzdariptir ve kapsamlı parmak izi oluşturma veya yoğun altyapı dağıtımı gerektirir.

1.2.2 Araç Konumlandırma

Otonom sürüş ve Araçtan-Her Şeye (V2X) iletişimi için santimetre seviyesinde doğruluk çok önemlidir. Sinyal engellemesi ve atmosferik hatalar nedeniyle tek başına GPS yetersizdir. Kameralar ve LiDAR ile sensör füzyonu yaygındır ancak hesaplama açısından maliyetlidir.

1.3 Konumlandırmada OCC ve Fotogrametrinin Yeniliği

Önerilen hibrit yöntem, ışık yayan diyotların (LED) ve bir kameranın çift amaçlı kullanımını ortaya koymaktadır:

• OCC (Veri Bağlantısı): LED'ler, modüle edilmiş ışık yoluyla tanımlama kodlarını veya verileri (örneğin, bilinen 3B koordinatlar) iletir ve bu bir kamera tarafından yakalanır. Bu, RF girişimine karşı bağışıklı, sağlam, lisans gerektirmeyen ve yüksek SNR'ye sahip bir iletişim kanalı sağlar.
• Fotogrametri (Konumlandırma Motoru): Aynı kamera görüntüsü, 3B rekonstrüksiyon gerçekleştirmek için kullanılır. 2B görüntüdeki bilinen LED işaret noktaları (OCC ile çözülen kimlikler aracılığıyla) tanımlanarak, kameranın konumu ve yönelimi (poz) projektif geometri ilkeleri kullanılarak hesaplanabilir.

Bu füzyon, işaret noktalarının kendi kimliklerini ve konumlarını yayınladığı, konumlandırma iş akışını basitleştiren kendi kendine yeten bir sistem oluşturur.

1.4 Katkı

Tez, bu spesifik hibrit mimariyi önermede, veri çözme ve poz tahmini için ilgili algoritmaları geliştirmede ve performansını hem iç mekan hem de araç senaryoları için doğrulamada katkılar iddia etmektedir.

1.5 Tez Organizasyonu

Belge, ilgili çalışmalar, önerilen sistem modeli, performans analizi ve sonuç bölümlerinden oluşan bölümlerle yapılandırılmıştır.

2. Konumlandırma için İlgili Çalışmalar

2.1 Giriş

Bu bölüm, önerilen yöntemin avantajlarını vurgulamak için bir temel oluşturan mevcut konumlandırma teknolojilerini incelemektedir. Muhtemelen RF tabanlı yöntemleri (GPS, Wi-Fi RTT, UWB), görü tabanlı yöntemleri (tek kameralı/SLAM, işaret tabanlı AR) ve LiDAR ve saf Görünür Işık Konumlandırması (VLP) gibi diğer optik yöntemleri kapsamaktadır.

Özgün Analiz ve Eleştiri

Temel İçgörü: Bu tez, sadece başka bir konumlandırma makalesi değildir; akıllı telefonun en yaygın sensörü olan kamerayı, birleşik bir radyo alıcısı ve ölçüm aracına dönüştüren zekice bir yöntemdir. Gerçek yenilik, fiziksel bir işaret noktasına dijital bir "isim etiketi" gömerek, geleneksel görsel konumlandırmayı (Google'ın Görsel Konumlandırma Servisi gibi) rahatsız eden karmaşık bilgisayarlı görü özellik eşleştirme ve veritabanı arama problemini zarif bir şekilde atlamaktır. Pasif bir ışık kaynağını, aktif, kendini tanımlayan bir işaretçiye dönüştürür.

Mantıksal Akış ve Güçlü Yönler: Mantık sağlam ve tutumludur. Sistem akışı—kare yakalama, OCC kimliklerini çözme, bilinen 3B koordinatları alma, Perspektif-n-Nokta (PnP) çözme—temiz, doğrusal bir iş akışıdır. Güçlü yönleri, niş uygulamalarda göze çarpar: modüle edilmiş LED koridor ışıkları altında gezen depo robotlarını veya kodlanmış LED işaretçileri olan bir hangarda kenetlenen dronları düşünün. Modern ortamların RF karmaşasına karşı oldukça dirençlidir; bu nokta, IEEE 802.15.7r1 OCC standardizasyon görev grubunun araştırmalarında da vurgulanmış ve elektromanyetik hassas bölgelerdeki faydasına işaret edilmiştir. Sadece alınan sinyal gücünü (RSS) veya geliş açısını (AoA) kullanan ve ortam ışığı gürültüsünden muzdarip saf VLP sistemleriyle karşılaştırıldığında, bu hibrit yöntem görüntünün geometrik yapısını kullanır ve bu da yoğunluk dalgalanmalarına karşı daha dayanıklıdır.

Kusurlar ve Kritik Boşluklar: Ancak, bu yaklaşım temelde optik yasalarıyla sınırlıdır. Doğrudan görüş hattı (LoS) gereksinimi, onun Aşil topuğudur ve bu da dağınık veya görüş hattı olmayan (NLoS) ortamlarda kullanılamaz hale getirir—bu, RF'nin duvarları delme yeteneğiyle keskin bir tezat oluşturur. Etkili menzil, kamera çözünürlüğü ve LED parlaklığı ile sınırlıdır; bir akıllı telefon kamerasıyla 200 metrede araçları takip edemezsiniz. Ayrıca, sistemin performansı yüksek ortam ışığında (güneş ışığı) veya kamera hareket bulanıklığında düşer; RF sistemleri bu sorunları büyük ölçüde görmezden gelir. Tez, muhtemelen gerçek zamanlı görüntü işleme ve OCC çözmenin hesaplama gecikmesini hafife alır; bu, yüksek hızlı araç uygulamaları için engelleyici olabilir. Bu, çok spesifik, kısıtlı bir problem seti için yüksek hassasiyetli bir çözümdür.

Uygulanabilir İçgörüler: Uygulayıcılar için bu çalışma, "akıllı" ortamlar tasarlamak için bir şablondur. Uygulanabilir çıkarım, konumlandırmayı baştan düşünerek LED aydınlatma altyapısını tasarlamaktır—IEEE 802.15.7'nin Optik Kamera İletişimi (OCC) gibi standart modülasyon şemalarını kullanarak. Gelecek, GPS veya 5G konumlandırmayı değiştirmek değil, onları güçlendirmektedir. En uygulanabilir yol sensör füzyonudur: bir IMU ve GPS kaba, her zaman mevcut bir tahmin sağlarken, OCC-fotogrametri sistemi, kameranın bir işaretçiyi gördüğü her zaman yüksek doğruluklu bir düzeltme sağlar. Bu hibrit sensör füzyonu yaklaşımı, NVIDIA DRIVE gibi platformlarda görüldüğü üzere, otonom sistemler için en son konumlandırma araştırmalarının merkezi temasıdır.

Teknik Detaylar ve Matematiksel Formülasyon

Temel matematiksel problem Perspektif-n-Nokta (PnP) problemidir. Verilenler:

• Dünya koordinat sisteminde $n$ adet 3B nokta: $\mathbf{P}_i = (X_i, Y_i, Z_i)^T$, OCC ile çözülen LED kimliğinden elde edilir.
• Görüntü düzlemindeki karşılık gelen 2B izdüşümleri: $\mathbf{p}_i = (u_i, v_i)^T$.
• Kameranın içsel matrisi $\mathbf{K}$ (kalibrasyondan).

Şu denklemi sağlayan kamera dönüşü $\mathbf{R}$ ve ötelemesi $\mathbf{t}$'yi bulun:

$\mathbf{p}_i = \mathbf{K} [\mathbf{R} | \mathbf{t}] \mathbf{P}_i$

$n \geq 4$ için (dejenere olmayan bir konfigürasyonda), bu EPnP veya IPPE gibi algoritmalar kullanılarak verimli bir şekilde çözülebilir. OCC bileşeni, görüntüdeki her LED lekesi etrafındaki bir ilgi alanından (ROI) gelen ışık yoğunluğu sinyalinin demodülasyonunu içerir. Bu tipik olarak Açık-Kapalı Anahtarlama (OOK) veya Değişken Darbe Konum Modülasyonu (VPPM) kullanır. Sinyal işleme zinciri, arka planı kaldırmak için kare farkı alma, senkronizasyon ve çözme işlemlerini içerir.

Deneysel Sonuçlar ve Performans

Tezin yapısına ve benzer çalışmalara dayanarak, deneysel bölüm muhtemelen sistemin kontrollü bir laboratuvar kurulumunda ve taklit bir araç senaryosunda doğrulamasını yapmaktadır.

Grafik Açıklaması (Çıkarılan): Farklı sistemler için konumlandırma hatasını (santimetre cinsinden) karşılaştıran bir çubuk grafik: Wi-Fi RSSI, Bluetooth Low Energy (BLE), Saf VLP (RSS kullanarak) ve önerilen OCC+Fotogrametri yöntemi. OCC+Fotogrametri çubuğu önemli ölçüde daha kısa olacak, 30 cm altı doğruluğu gösterirken, diğerleri 1-5 metre hata gösterecektir. Muhtemelen ikinci bir çizgi grafik, LED işaret noktalarından uzaklığın bir fonksiyonu olarak hatayı gösterecek ve hata tasarlanan operasyonel menzil içinde (örneğin, 5-10m) kademeli olarak artarken bir metrenin altında kalacaktır.

Raporlanan Temel Metrikler:

• Konumlandırma Doğruluğu: Konumdaki Kök Ortalama Kare Hatası (RMSE), iyi koşullar altında muhtemelen 10-30 cm aralığında.
• OCC Çözme Başarı Oranı: LED kimliklerinin doğru çözüldüğü karelerin yüzdesi, pozlama süresi, kare hızı ve modülasyon frekansına bağlıdır.
• İşleme Gecikmesi: Görüntü yakalamadan poz tahminine kadar geçen süre, gerçek zamanlı uygulamalar için kritiktir.
• Ortam Işığına Dayanıklılık: Değişen aydınlatma koşulları altında performans düşüşü.

Analiz Çerçevesi: Kavramsal Bir Vaka

Senaryo: Akıllı Depo Envanter Robotu.

1. Problem: Bir robotun, ürünleri taramak için belirli bir rafa (Koridor 5, Bölme 12) santimetre hassasiyetinde gitmesi gerekmektedir. GPS mevcut değildir. Metal rafların neden olduğu çok yollu yayılım nedeniyle Wi-Fi güvenilmezdir.

2. OCC-Fotogrametri Çözüm Çerçevesi:

• Altyapı: Her koridorun tavanında benzersiz bir LED ışık dizisi vardır. Her LED, bir depo haritasına göre önceden ölçülmüş $(X, Y, Z)$ koordinatlarını ileten basit bir kodu modüle eder.
• Robot Sensörü: Yukarı bakan bir kamera.
• İş Akışı:
  1. Robot Koridor 5'e girer. Kamerası tavan LED'lerini yakalar.
  2. Görüntü işleme, parlak lekeleri (LED'leri) izole eder.
  3. OCC çözücü, her görünür LED için $(X, Y, Z)$ koordinatlarını çıkarır.
  4. PnP çözücü, bu 3B-2B karşılıklılıkları kullanarak robotun koridordaki kesin $(x, y)$ konumunu ve yönünü $(\theta)$ hesaplar.
  5. Bu yüksek hassasiyetli düzeltme, tekerlek odometrisi ile bir Kalman Filtresi'nde füzyonlanarak sorunsuz navigasyon sağlanır.

3. Sonuç: Robot, Bölme 12'yi doğru bir şekilde bulur ve sistemin yapılandırılmış, LED donanımlı bir iç mekan ortamındaki faydasını gösterir.

Gelecek Uygulamalar ve Araştırma Yönleri

• Artırılmış Gerçeklik (AR) Çapa Kalıcılığı: Bir müzedeki OCC özellikli LED'ler, AR cihazlarının sanal içeriği fiziksel bir sergiye manuel tarama yapmadan anında ve doğru bir şekilde kilitlemesine izin verebilir; Microsoft'un Azure Uzamsal Çapalar projesinde görsel özellikler kullanılarak araştırıldığı gibi.
• Ultra Hassas Drone Sürü Koordinasyonu: Bir fabrika katı gibi kontrollü bir alanda, dronlar milimetre hassasiyetinde kenetlenme ve şarj için modüle edilmiş LED iniş pedlerini kullanabilir; bu kavram Amazon'un Prime Air dağıtım merkezleriyle ilgilidir.
• V2X İletişim ve Konumlandırma: Araç far/stop lambaları ve trafik sinyalleri, kimliklerini ve durumlarını yayınlayabilir (örneğin, "Ben 47 numaralı trafik lambasıyım, 2 saniye içinde kırmızıya döneceğim"), bu da araçların onları kesin olarak konumlandırmasına ve niyeti anlamasına olanak tanıyarak güvenlik sistemlerini geliştirir.
• Araştırma Yönleri:
  1. NLoS Azaltma: Sınırlı görüş hattı olmayan algılama sağlamak için yansıtıcı yüzeyler veya dağınık ışık desenleri kullanmak.
  2. Standardizasyon ve Birlikte Çalışabilirlik: Farklı işaretçilerin ve alıcıların birlikte çalışmasını sağlamak için OCC standartlarının (IEEE 802.15.7r1) daha geniş kabulünü teşvik etmek.
  3. Derin Öğrenme Entegrasyonu: Kısmi örtme ve gürültüye karşı sistemi daha dayanıklı hale getirmek için Evrişimli Sinir Ağları (CNN) kullanarak modüle edilmiş LED içeren görüntülerden doğrudan poz regresyonu yapmak.
  4. Enerji Verimli Protokoller: Pil destekli IoT etiketleri için, retro-yansıtıcılar ve bir kamera flaşını sorgulayıcı olarak kullanan görev döngüsü protokolleri tasarlamak.

Kaynaklar

1. Hossan, M. T. (2018). Localization using Optical Camera Communication and Photogrammetry for Wireless Networking Applications [Yüksek Lisans tezi, Kookmin Üniversitesi].
2. IEEE Standard for Local and Metropolitan Area Networks--Part 15.7: Short-Range Optical Wireless Communications. (2018). IEEE Std 802.15.7-2018.
3. Lepetit, V., Moreno-Noguer, F., & Fua, P. (2009). EPnP: An Accurate O(n) Solution to the PnP Problem. International Journal of Computer Vision, 81(2), 155–166.
4. Zhuang, Y., Hua, L., Qi, L., Yang, J., Cao, P., Cao, Y., ... & Thompson, J. (2018). A Survey of Positioning Systems Using Visible LED Lights. IEEE Communications Surveys & Tutorials, 20(3), 1963-1988.
5. NVIDIA Corporation. (2023). NVIDIA DRIVE Hyperion: Otonom Araç Hesaplama Platformu. Şu adresten alındı: https://www.nvidia.com/en-us/self-driving-cars/
6. Microsoft Corporation. (2023). Azure Uzamsal Çapalar. Şu adresten alındı: https://azure.microsoft.com/en-us/products/spatial-anchors/