Optik Kamera İletişimi için Sinir Ağı Eşitlemesi Kullanılarak 512-Renk Kaydırmalı Anahtarlama Sinyali Demodülasyonunun İlk Gösterimi

İçindekiler

1. Giriş ve Genel Bakış

Bu makale, Optik Kamera İletişimi (OCC) için 512-Renk Kaydırmalı Anahtarlama (512-CSK) sinyal iletiminin ilk deneysel gösterimini sunmaktadır. Temel başarı, ticari bir Sony IMX530 CMOS görüntü sensörü modülü, 50 mm'lik bir lens ve doğrusal olmayan bir eşitleyici görevi gören özel bir çok etiketli sınıflandırma sinir ağı (SA) eşleştirilerek 4 metre mesafede hatasız demodülasyon gerçekleştirilmesidir. Bu çalışma, OCC veri yoğunluğunun sınırlarını önemli ölçüde zorlayarak, daha önce gösterilen 8, 16 veya 32-CSK şemalarından 512 renk (9 bit/sembol) yüksek mertebeli modülasyon alanına geçiş yapmaktadır.

Araştırma, OCC'deki temel bir zorluğu ele almaktadır: kamera RGB filtrelerinin ideal olmayan spektral duyarlılığından kaynaklanan renkler arası girişim, CIE 1931 renk uzayına dayalı iletilen CSK takımyıldızını bozmaktadır. Önerilen sinir ağı eşitleyicisi, karmaşık doğrusal sinyal işleme modellerine ihtiyaç duymadan, ham sensör verilerinden gelen bu doğrusal olmayan bozulmayı doğrudan telafi etmektedir.

2. Teknik Çerçeve

2.1 Alıcı Yapılandırması ve Kurulumu

Alıcı sistemi, herhangi bir son işleme (demosaicing, gürültü azaltma, beyaz dengesi) tabi tutulmadan 12-bit ham RGB verisi çıktısı verebilen bir Sony Semiconductor Solutions kamera sistemi etrafında inşa edilmiştir. Bu ham veri, doğru renk kurtarımı için çok önemlidir. Sinyal, 8x8 LED düzlemsel dizi vericisinden (6.5 cm panel) 50 mm'lik bir optik lens aracılığıyla yakalanır. Alınan RGB değerleri, sinir ağı eşitleyicisine beslenmeden önce standart bir renk uzayı dönüşüm matrisi kullanılarak CIE 1931 (x, y) renklilik koordinatlarına dönüştürülür.

2.2 Sinir Ağı Eşitleyici Mimarisi

Demodülasyon sisteminin kalbi, çok etiketli bir sinir ağıdır. Amacı, doğrusal olmayan eşitleme gerçekleştirerek bozulmuş alınan (x, y) koordinatlarını en olası iletilen 9-bit sembolüne (512-CSK için) geri eşlemektir.

• Giriş Katmanı: 2 birim (x, y renklilik koordinatları).
• Gizli Katmanlar: N_h katman, her biri N_u birim (özel mimari detayları ima edilmiştir ancak alıntıda tam olarak listelenmemiştir).
• Çıkış Katmanı: M = 9 birim, 512-CSK sembolünün 9 bitine karşılık gelir. Ağ, çok etiketli sınıflandırma için eğitilmiştir.

Ağ, her bit için bir sonsal olasılık dağılımı $p(1|x, y)$ çıktısı verir. Bu olasılıklardan bir Log-Olabilirlik Oranı (LLR) hesaplanır ve daha sonra nihai hata düzeltmesi için bir Düşük Yoğunluklu Eşlik Denetimi (LDPC) kod çözücüsü tarafından çözülür.

2.3 512-CSK Takımyıldız Eşlemesi

512 sembol, RGB-LED vericisinin CIE 1931 gamutu içinde stratejik olarak yerleştirilmiştir. Eşleme, mavi ana renge karşılık gelen köşeden $(x=0.1805, y=0.0722)$ başlar ve mevcut alanı "üçgensel bir şekilde" doldurur. Bu, fiziksel renk gamutu içindeki takımyıldız noktaları arasındaki Öklid mesafesini maksimize etmek için verimli bir paketleme algoritmasını önermektedir, bu da sembol hata oranını en aza indirmek için kritik öneme sahiptir.

3. Deneysel Sonuçlar ve Analiz

3.1 BHO Performansına Karşı LED Dizisi Boyutu

Deneyde, verici dizisindeki aktif LED sayısı 1x1'den 8x8'e kadar değiştirilmiştir. Bu, ışık yoğunluğunu ve sinyalin görüntü sensörü üzerinde kapladığı alanı etkili bir şekilde değiştirmektedir. Bit Hata Oranı (BHO) karakteristikleri bu değişkene karşı değerlendirilmiştir. Başarılı hatasız işlem, sinir ağı eşitleyicisinin farklı alınan sinyal güçleri ve uzamsal profilleri arasında sağlamlığını göstermektedir. Tam bir 8x8 dizinin kullanılması, muhtemelen birden fazla piksel üzerinden ortalamayı alarak ve gürültü etkisini azaltarak en iyi performansı sağlamaktadır.

3.2 Önceki Çalışmalarla Karşılaştırma

Makale, bu çalışmayı önceki OCC-CSK gösterimleriyle karşılaştıran bir özet şekil (Şekil 1(c)) içermektedir. Temel farklılaştırıcılar şunlardır:

• Modülasyon Mertebesi: 512-CSK, önceki deneysel çalışmalarda bildirilen 8-CSK [1], 16-CSK [2,3] ve 32-CSK [4,5]'i büyük ölçüde aşmaktadır.
• Mesafe: 4m çalışma, özellikle yüksek modülasyon mertebesi göz önüne alındığında rekabetçidir. Çok kısa menzilli (3-4 cm) yüksek mertebeli demolar ile daha uzun menzilli (80-100 cm) düşük mertebeli demolar arasında yer almaktadır.
• Teknik: Ham sensör verilerinden doğrudan doğrusal olmayan eşitleme için bir sinir ağı kullanımı, modele dayalı doğrusal telafi tekniklerine kıyasla yeni ve potansiyel olarak daha genellenebilir bir yaklaşımdır.

4. Temel Analiz ve Uzman Yorumu

Temel İçgörü: Bu makale sadece daha fazla sayıda renk elde etmekle ilgili değildir; optik sinyal kurtarımında fizik-öncelikli modellemeden veri-öncelikli öğrenmeye stratejik bir dönüşümdür. Yazarlar, bir kameradaki karmaşık, doğrusal olmayan bozulma sürecinin (filtre girişimi, sensör doğrusalsızlığı, lens artefaktları), titizlikle türetilmiş ancak kaçınılmaz olarak eksik bir analitik modelden ziyade evrensel bir fonksiyon yaklaştırıcısı (bir sinir ağı) tarafından daha iyi ele alınabileceğini örtük olarak kabul etmektedir. Bu, Derin Öğrenmenin karmaşık, doğrusal olmayan kanallarda kanal eşitlemesi ve sembol tespiti için giderek daha fazla kullanıldığı kablosuz iletişim gibi diğer alanlarda görülen değişimi yansıtmaktadır.

Mantıksal Akış: Mantık zorlayıcıdır: 1) Verim için yüksek mertebeli CSK gereklidir. 2) Yüksek mertebeli CSK renk bozulmasına karşı oldukça hassastır. 3) Kamera renk bozulması karmaşık ve doğrusal değildir. 4) Bu nedenle, gerçek veri üzerinde uçtan uca eğitilmiş bir doğrusal olmayan telafi edici (SA) kullanın. Ham sensör verisinin kullanımı ustaca bir hamledir—sinir ağına, herhangi bir kamera ISP'si (Görüntü Sinyal İşlemcisi) kendi, genellikle özel ve ters çevrilemez dönüşümlerini uygulamadan önce, maksimum miktarda değiştirilmemiş bilgi sağlar. Bu yaklaşım, algoritmaların maksimum esneklik için ham sensör verileri üzerinde çalıştığı modern hesaplamalı fotoğrafçılık felsefesini anımsatmaktadır.

Güçlü ve Zayıf Yönler: Birincil güçlü yan, spektral verimlilikteki dramatik sıçramadır, daha önce sadece simülasyon alanı olan şeyi deneysel olarak doğrulamaktadır. Sinir ağı eşitleyicisi zarif ve güçlüdür. Ancak, birçok ML tabanlı iletişim makalesinde ortak olan zayıflık "kara kutu" doğasıdır. Makale, SA'nın mimari araması, eğitim verisi boyutu veya farklı kameralar, lensler veya ortam ışığı koşullarına genelleme yeteneği üzerinde durmamaktadır. Ağ, her yeni alıcı modeli için yeniden eğitilmeye ihtiyaç duyacak mı? O'Shea & Hoydis'in iletişim için makine öğrenimi üzerine yaptığı önemli bir incelemede belirtildiği gibi, DL tabanlı alıcıların pratikliği, değişen koşullara karşı sağlamlıklarına ve uyarlanabilirliklerine bağlıdır. Ayrıca, 4m mesafe iyi olmakla birlikte, hala bir güç/SNR sınırlamasına işaret etmektedir. Nihai hatasız performans için bir LDPC kod çözücüsüne güvenilmesi, SA çıkışındaki ham sembol hata oranının sıfır olmadığını göstermekte ve eşitleyicinin daha düşük SNR altındaki bağımsız performansı hakkında soruları gündeme getirmektedir.

Uygulanabilir İçgörüler: Araştırmacılar için bir sonraki net adım kara kutuyu açmaktır. SA mimarilerini araştırın (CNN'ler sensör boyunca uzamsal varyasyonları daha iyi işleyebilir), yeni donanıma uyum sağlamak için az örnekli veya aktarım öğrenimini keşfedin ve eşitleyiciyi ileri hata düzeltme ile daha bütünsel, turbo benzeri bir yapıda entegre edin. Endüstri için bu çalışma, ticari kameralar kullanılarak yüksek veri hızlı, titreme içermeyen VLC'nin gerçeğe daha da yaklaştığının sinyalini vermektedir. Sensör için Sony ile ortaklık dikkat çekicidir; ticarileştirme, bu tür sinirsel işlemeyi kamera ASIC'lerine verimli bir şekilde gömülmesine veya akıllı telefonlarda zaten bulunan cihaz üzerindeki AI hızlandırıcılarından yararlanmaya bağlı olacaktır. İzlenecek standart IEEE 802.15.7r1 (OCC)'dir ve bunun gibi katkılar doğrudan evrimini etkileyebilir.

5. Teknik Detaylar ve Matematiksel Formülasyon

Renk Uzayı Dönüşümü: Alınan RGB değerlerinden (ham sensörden) CIE 1931 xy koordinatlarına dönüşüm, sensörün spektral özelliklerinden CIE standart gözlemciye göre türetilen standart bir matris kullanılarak gerçekleştirilir. Makale kullanılan özel matrisi sağlamaktadır: $$ \begin{pmatrix} x \\ y \end{pmatrix} = \begin{pmatrix} 0.4124 & 0.3576 & 0.1805 \\ 0.2126 & 0.7152 & 0.0722 \end{pmatrix} \begin{pmatrix} R \\ G \\ B \end{pmatrix} $$ Bu basitleştirilmiş bir doğrusal dönüşümdür. Pratikte, daha doğru bir model, doğrusal olmayan bir eşleme veya belirli sensörün renk filtrelerine göre uyarlanmış bir matris gerektirebilir.

Sinir Ağı Çıkışından LLR'ye: Çok etiketli SA, $i$-inci bitin (9'dan) '1' olma olasılığını $p_i(1|x, y)$ olarak çıktılar. LDPC kod çözücüsüne beslenen o bit için Log-Olabilirlik Oranı (LLR) $L_i$ şu şekilde hesaplanır: $$ L_i = \log \left( \frac{p_i(1|x, y)}{1 - p_i(1|x, y)} \right) $$ Büyük pozitif bir LLR, bitin 1 olduğuna dair yüksek güveni gösterirken, büyük negatif bir değer 0 olduğuna dair yüksek güveni gösterir.

6. Analiz Çerçevesi ve Örnek Vaka

Çerçeve: OCC için "Öğrenilmiş Alıcı" İşlem Hattı

Bu araştırma, OCC'nin ötesinde uygulanabilir modern bir "öğrenilmiş alıcı" tasarım kalıbını örneklemektedir. Çerçeve, sıralı, optimize edilebilir bloklara ayrılabilir:

1. Donanım Farkında Veri Edinimi: Sinyalleri işleme zincirinin en erken, en ham noktasında yakalayın (örn., sensör RAW verisi, RF I/Q örnekleri).
2. Türevlenebilir Ön İşleme: Uçtan uca eğitim sırasında gradyan akışına izin verecek şekilde, minimal, gerekli ön işlemeyi uygulayın (örn., renk uzayı dönüşümü, senkronizasyon).
3. Sinir Ağı Çekirdeği: Temel demodülasyon/eşitleme görevini gerçekleştirmek için bir sinir ağı (MLP, CNN, Transformer) kullanın. Ağ, genellikle sınıflandırma görevleri için çapraz entropi kaybı kullanarak sembol veya bit hata oranını doğrudan minimize eden bir kayıp fonksiyonu ile eğitilir.
4. Hibrit Kod Çözme: Sinir ağının yumuşak çıktılarını (olasılıklar, LLR'ler) en son teknoloji, sinir ağı olmayan bir hata düzeltme kod çözücüsü (LDPC veya Polar kod çözücüsü gibi) ile arayüzleyin. Bu, öğrenmenin esnekliğini klasik kodlama teorisinin kanıtlanmış optimalitesi ile birleştirir.

Kod Olmayan Vaka Örneği: Çerçevenin Sualtı VLC'ye Uygulanması

Aynı çerçevenin, saçılma ve türbülans kaynaklı sönümleme gibi şiddetli kanal bozulmalarından muzdarip Sualtı Görünür Işık İletişimi'ne (UVLC) uygulanmasını düşünün. UVLC için bir "Öğrenilmiş Alıcı" şu şekilde inşa edilebilir:

• Adım 1: Ham yoğunluk dizilerini yakalayan yüksek hızlı bir fotodedektör veya kamera kullanın.
• Adım 2: İlgilenilen sinyal bölgesini izole etmek ve kaba senkronizasyon gerçekleştirmek için ön işleme yapın.
• Adım 3: Bu ham dizi verisi üzerinde 1B Evrişimli Sinir Ağı (CNN) veya LSTM gibi Tekrarlayan Sinir Ağı (RNN) eğitin. Ağın görevi, zamanla değişen kanal etkilerini eşitlemek ve sembolleri geri eşlemektir. Eğitim verisi çeşitli su bulanıklığı ve türbülans koşulları altında toplanacaktır.
• Adım 4: Ağ, bir FEC kod çözücüsü için yumuşak kararlar çıktılar, geleneksel kanal tahmininin başarısız olduğu oldukça dinamik bir kanalda sağlam iletişim sağlar.

7. Gelecekteki Uygulamalar ve Araştırma Yönleri

• Akıllı Telefon Tabanlı Li-Fi: Nihai hedef, bu teknolojiyi mevcut kamera donanımından yararlanarak güvenli, yüksek hızlı eşler arası veri transferi veya santimetre seviyesinde doğrulukla iç mekan konumlandırma için akıllı telefonlara entegre etmektir.
• Otomotiv V2X İletişimi: Araç far/stop lambaları ve kameralar kullanarak Araçtan-Her Şeye (V2X) iletişim için, RF tabanlı DSRC/C-V2X'ye tamamlayıcı ek, sağlam bir veri bağlantısı sağlamak.
• AR/VR ve Metaverse Arayüzleri: AR gözlükleri ve altyapı arasında veya senkronize paylaşılan deneyimler için cihazlar arasında düşük gecikmeli, yüksek bant genişlikli veri bağlantıları sağlamak.
• Araştırma Yönleri:
  1. Uçtan Uca Öğrenilmiş Sistemler: Vericinin takımyıldız şeklinin (bir sinir ağı aracılığıyla) ve alıcının eşitleyicisinin ortak optimizasyonunu keşfetmek, "otokodlayıcı" iletişim kavramına benzer şekilde.
  2. Sağlamlık ve Standardizasyon: Farklı kamera modellerine, ortam ışığına ve kısmi örtülmeye karşı sağlam sinir ağı alıcı modelleri geliştirmek. Bu, IEEE 802.15.7 gibi standardizasyon çabaları için kritik öneme sahiptir.
  3. Ultra Yüksek Hızlı OCC: Yüksek mertebeli CSK'yi, Gbps bariyerini kırmak için yüksek kare hızlı veya olay tabanlı kameralar kullanarak rolling-shutter veya uzamsal modülasyon teknikleri ile birleştirmek.
  4. Anlamsal İletişim: Bit kurtarmanın ötesine geçerek, OCC bağlantısını anlamsal bilgiyi (örn., nesne tanımlayıcıları, harita verisi) doğrudan iletmek için kullanmak, bit hata oranı yerine görev başarısı için optimize etmek.

8. Referanslar

1. H.-W. Chen vd., "8-CSK data transmission over 4 cm," İlgili Konferans/Dergi, 2019.
2. C. Zhu vd., "16-CSK over 80 cm using a quadrichromatic LED," İlgili Konferans/Dergi, 2016.
3. N. Murata vd., "16-digital CSK over 100 cm based on IEEE 802.15.7," İlgili Konferans/Dergi, 2016.
4. P. Hu vd., "Tri-LEDs based 32-CSK over 3 cm," İlgili Konferans/Dergi, 2019.
5. R. Singh vd., "Tri-LEDs based 32-CSK," İlgili Konferans/Dergi, 2014.
6. O'Shea, T., & Hoydis, J. (2017). "An Introduction to Deep Learning for the Physical Layer." IEEE Transactions on Cognitive Communications and Networking. (İletişim için ML üzerine harici otoriter kaynak)
7. IEEE Standard for Local and Metropolitan Area Networks--Part 15.7: Short-Range Optical Wireless Communications. IEEE Std 802.15.7-2018. (Harici otoriter standart)
8. Commission Internationale de l'Eclairage (CIE). (1931). Commission internationale de l'éclairage proceedings, 1931. Cambridge: Cambridge University Press. (Renk bilimi için harici otoriter kaynak)
9. Sony Semiconductor Solutions Corporation. IMX530 Sensor Datasheet. (Harici otoriter donanım kaynağı)
10. Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. (Sinir ağları üzerine harici otoriter kaynak)