신경망 등화기를 이용한 512-색상 편이 변조 신호 복조의 최초 실증

목차

1. 서론 및 개요

본 논문은 광 카메라 통신(OCC)을 위한 512-색상 편이 변조(512-CSK) 신호 전송의 최초 실험적 데모를 제시한다. 핵심 성과는 상용 소니 IMX530 CMOS 이미지 센서 모듈과 50mm 렌즈, 비선형 등화기 역할을 하는 맞춤형 다중 레이블 분류 신경망(NN)을 결합하여 4미터 거리에서 오류 없는 복조를 달성한 것이다. 이 연구는 기존에 실증된 8, 16, 32-CSK 방식에서 512색(9비트/심볼)의 고차 변조 영역으로 나아가 OCC 데이터 밀도의 한계를 크게 확장시켰다.

이 연구는 OCC의 근본적인 과제인, 카메라 RGB 필터의 비이상적인 스펙트럼 감도로 인해 발생하는 색상 간 간섭(크로스토크)을 해결한다. 이 간섭은 CIE 1931 색 공간을 기반으로 전송된 CSK 성상도를 왜곡시킨다. 제안된 신경망 등화기는 복잡한 선형 신호 처리 모델이 필요 없이, 원시 센서 데이터로부터 직접 이 비선형 왜곡을 보상한다.

2. 기술 프레임워크

2.1 수신기 구성 및 설정

수신기 시스템은 어떠한 후처리(디모자이킹, 노이즈 제거, 화이트 밸런스) 없이 12비트 원시 RGB 데이터를 출력할 수 있는 소니 세미컨덕터 솔루션즈 카메라 시스템을 중심으로 구축되었다. 이 원시 데이터는 정확한 색상 복원에 매우 중요하다. 신호는 8x8 LED 평면 배열 송신기(6.5cm 패널)로부터 50mm 광학 렌즈를 통해 포착된다. 수신된 RGB 값은 신경망 등화기에 입력되기 전에 표준 색 공간 변환 행렬을 사용하여 CIE 1931 (x, y) 색도 좌표로 먼저 변환된다.

2.2 신경망 등화기 구조

복조 시스템의 핵심은 다중 레이블 신경망이다. 그 목적은 비선형 등화를 수행하여 왜곡된 수신 (x, y) 좌표를 가장 가능성 높은 전송된 9비트 심볼(512-CSK용)로 다시 매핑하는 것이다.

• 입력층: 2개 유닛 (x, y 색도 좌표).
• 은닉층: 각각 N_u개의 유닛을 가진 N_h개 층 (구체적인 구조 세부사항은 언급되었으나 발췌문에서 완전히 열거되지는 않음).
• 출력층: M = 9개 유닛, 512-CSK 심볼의 9비트에 해당. 네트워크는 다중 레이블 분류를 위해 훈련됨.

네트워크는 각 비트에 대한 사후 확률 분포 $p(1|x, y)$를 출력한다. 이 확률들로부터 로그-우도비(LLR)가 계산되며, 이후 저밀도 패리티 검사(LDPC) 디코더에 의해 최종 오류 정정을 위해 디코딩된다.

2.3 512-CSK 성상도 매핑

512개의 심볼은 RGB-LED 송신기의 CIE 1931 색역 내에 전략적으로 배치된다. 매핑은 청색 기본 색상 $(x=0.1805, y=0.0722)$에 해당하는 꼭짓점에서 시작하여 사용 가능한 공간을 "삼각형 방식"으로 채운다. 이는 물리적 색역 내에서 성상도 점들 간의 유클리드 거리를 최대화하기 위한 효율적인 패킹 알고리즘을 암시하며, 이는 심볼 오류율 최소화에 매우 중요하다.

3. 실험 결과 및 분석

3.1 LED 배열 크기에 따른 BER 성능

실험은 송신기 배열에서 활성화된 LED의 수를 1x1에서 8x8까지 변화시켰다. 이는 효과적으로 광 강도와 이미지 센서 상의 신호가 차지하는 면적을 변화시킨다. 비트 오류율(BER) 특성이 이 변수에 대해 평가되었다. 성공적인 오류 없는 동작은 신경망 등화기가 다양한 수신 신호 강도와 공간 프로파일에 걸쳐 견고함을 보여준다. 전체 8x8 배열 사용은 여러 픽셀에 걸쳐 평균을 내고 노이즈 영향을 줄여 최상의 성능을 제공할 가능성이 높다.

3.2 기존 연구와의 비교

본 논문은 이 연구를 이전 OCC-CSK 데모와 비교하는 요약 그림(그림 1(c))을 포함한다. 주요 차별점은 다음과 같다:

• 변조 차수: 512-CSK는 기존 실험 연구들에서 보고된 8-CSK [1], 16-CSK [2,3], 32-CSK [4,5]를 훨씬 능가한다.
• 거리: 4m 동작은 특히 높은 변조 차수를 고려할 때 경쟁력이 있다. 이는 초단거리(3-4 cm) 고차 데모와 장거리(80-100 cm) 저차 데모 사이에 위치한다.
• 기법: 원시 센서 데이터로부터 직접 비선형 등화를 위해 신경망을 사용하는 것은 모델 기반 선형 보상 기법에 비해 새롭고 잠재적으로 더 일반화 가능한 접근법이다.

4. 핵심 분석 및 전문가 해석

핵심 통찰: 이 논문은 단순히 더 많은 색상을 달성하는 것이 아니라, 광 신호 복원에 있어 물리학 중심 모델링에서 데이터 중심 학습으로의 전략적 전환을 보여준다. 저자들은 카메라 내 복잡한 비선형 왜곡 파이프라인(필터 크로스토크, 센서 비선형성, 렌즈 아티팩트)이 꼼꼼하게 유도되었지만 필연적으로 불완전한 해석적 모델보다는 범용 함수 근사기(신경망)에 의해 더 잘 처리된다는 점을 암묵적으로 인정한다. 이는 복잡하고 비선형적인 채널에서 채널 등화 및 심볼 검출에 딥러닝이 점점 더 많이 사용되는 무선 통신과 같은 다른 분야에서 보이는 변화와 유사하다.

논리적 흐름: 논리는 설득력이 있다: 1) 처리량을 위해 고차 CSK가 필요하다. 2) 고차 CSK는 색상 왜곡에 매우 민감하다. 3) 카메라 색상 왜곡은 복잡하고 비선형적이다. 4) 따라서, 실제 데이터에 대해 종단 간 훈련된 비선형 보상기(NN)를 사용한다. 원시 센서 데이터 사용은 걸작이다. 이는 카메라 ISP(이미지 신호 프로세서)가 자체적인 종종 독점적이고 비가역적인 변환을 도입하기 전에 신경망에 최대한의 변경되지 않은 정보를 제공한다. 이 접근법은 알고리즘이 최대 유연성을 위해 원시 센서 데이터에서 작동하는 현대 계산 사진학의 철학을 떠올리게 한다.

강점과 약점: 주요 강점은 스펙트럼 효율성의 극적인 도약으로, 이전에는 시뮬레이션만 가능했던 영역을 실험적으로 검증한 것이다. 신경망 등화기는 우아하고 강력하다. 그러나 많은 ML 기반 통신 논문에 공통적인 약점은 "블랙박스" 성질이다. 이 논문은 NN의 구조 탐색, 훈련 데이터 크기, 또는 다른 카메라, 렌즈, 주변광 조건에 대한 일반화 능력에 대해 깊이 다루지 않는다. 새로운 수신기 모델마다 네트워크를 재훈련해야 할까? O'Shea & Hoydis의 통신을 위한 머신러닝에 관한 선구적인 리뷰에서 언급된 바와 같이, DL 기반 수신기의 실용성은 변화하는 조건에 대한 견고성과 적응성에 달려있다. 더욱이, 4m 거리는 좋지만 여전히 전력/SNR 제한을 암시한다. 최종 오류 없는 성능을 위해 LDPC 디코더에 의존한다는 것은 NN 출력에서의 원시 심볼 오류율이 0이 아니라는 것을 나타내며, 더 낮은 SNR에서 등화기의 독립적인 성능에 대한 의문을 제기한다.

실행 가능한 통찰: 연구자들에게 명확한 다음 단계는 블랙박스를 여는 것이다. NN 구조(CNN이 센서 전체의 공간적 변화를 더 잘 처리할 수 있음)를 조사하고, 새로운 하드웨어에 적응하기 위한 소수 샷 또는 전이 학습을 탐구하며, 등화기를 순방향 오류 정정과 더욱 전체론적인 터보와 같은 구조로 통합하는 것이다. 산업계에서는 이 연구가 상용 카메라를 사용한 고속 데이터율, 플리커 없는 VLC가 현실에 더 가까워지고 있음을 알린다. 센서를 위한 소니와의 협력은 주목할 만하다. 상용화는 이러한 신경망 처리를 카메라 ASIC에 효율적으로 내장하거나 스마트폰에 이미 존재하는 온디바이스 AI 가속기를 활용하는 데 달려있다. 주시해야 할 표준은 IEEE 802.15.7r1(OCC)이며, 이러한 기여는 그 발전에 직접적으로 영향을 미칠 수 있다.

5. 기술 상세 및 수학적 공식화

색 공간 변환: 수신된 RGB 값(원시 센서로부터)을 CIE 1931 xy 좌표로의 변환은 센서의 스펙트럼 특성과 CIE 표준 관찰자와의 상대 관계로부터 유도된 표준 행렬을 사용하여 수행된다. 논문은 사용된 구체적인 행렬을 제공한다: $$ \begin{pmatrix} x \\ y \end{pmatrix} = \begin{pmatrix} 0.4124 & 0.3576 & 0.1805 \\ 0.2126 & 0.7152 & 0.0722 \end{pmatrix} \begin{pmatrix} R \\ G \\ B \end{pmatrix} $$ 이는 단순화된 선형 변환이다. 실제로는 더 정확한 모델이 비선형 매핑이나 특정 센서의 컬러 필터에 맞춤화된 행렬을 필요로 할 수 있다.

신경망 출력에서 LLR로: 다중 레이블 NN은 9비트 중 i번째 비트가 '1'일 확률 $p_i(1|x, y)$를 출력한다. LDPC 디코더에 입력되는 해당 비트의 로그-우도비(LLR) $L_i$는 다음과 같이 계산된다: $$ L_i = \log \left( \frac{p_i(1|x, y)}{1 - p_i(1|x, y)} \right) $$ 큰 양의 LLR은 비트가 1일 확신이 높음을, 큰 음의 값은 비트가 0일 확신이 높음을 나타낸다.

6. 분석 프레임워크 및 사례 연구

프레임워크: OCC를 위한 "학습된 수신기" 파이프라인

이 연구는 OCC를 넘어서 적용 가능한 현대적인 "학습된 수신기" 설계 패턴을 보여준다. 이 프레임워크는 순차적이고 최적화 가능한 블록으로 분해될 수 있다:

1. 하드웨어 인식 데이터 획득: 처리 체인의 가장 이른, 가장 원시적인 지점에서 신호를 캡처한다(예: 센서 RAW 데이터, RF I/Q 샘플).
2. 미분 가능 전처리: 최소한의 필요한 전처리(예: 색 공간 변환, 동기화)를 미분 가능한 방식으로 적용하여 종단 간 훈련 시 그래디언트 흐름을 허용한다.
3. 신경망 코어: 신경망(MLP, CNN, Transformer)을 사용하여 핵심 복조/등화 작업을 수행한다. 네트워크는 심볼 또는 비트 오류율을 직접 최소화하는 손실 함수로 훈련되며, 분류 작업에는 종종 교차 엔트로피 손실을 사용한다.
4. 하이브리드 디코딩: 신경망의 소프트 출력(확률, LLR)을 최신의 비신경망 오류 정정 디코더(LDPC 또는 Polar 코드 디코더와 같은)와 인터페이스한다. 이는 학습의 유연성과 고전적 코딩 이론의 입증된 최적성을 결합한다.

비코드 사례 연구: 수중 VLC에 프레임워크 적용

이 동일한 프레임워크를 산란 및 난류 유발 페이딩과 같은 심각한 채널 손상이 있는 수중 가시광 통신(UVLC)에 적용하는 것을 고려해 보자. UVLC를 위한 "학습된 수신기"는 다음과 같이 구축될 수 있다:

• 1단계: 고속 광검출기 또는 원시 강도 시퀀스를 캡처하는 카메라를 사용한다.
• 2단계: 관심 신호 영역을 분리하고 대략적인 동기화를 수행하기 위해 전처리한다.
• 3단계: 이 원시 시퀀스 데이터에 대해 1D 합성곱 신경망(CNN) 또는 LSTM과 같은 순환 신경망(RNN)을 훈련시킨다. 네트워크의 작업은 시변 채널 효과를 등화하고 심볼을 디맵핑하는 것이다. 훈련 데이터는 다양한 수질 탁도 및 난류 조건에서 수집될 것이다.
• 4단계: 네트워크는 FEC 디코더를 위한 소프트 결정을 출력하여, 기존 채널 추정이 실패하는 매우 동적인 채널에서 견고한 통신을 가능하게 한다.

7. 미래 응용 및 연구 방향

• 스마트폰 기반 Li-Fi: 궁극적인 목표는 기존 카메라 하드웨어를 활용하여 안전한 고속 피어-투-피어 데이터 전송 또는 센티미터 수준 정확도의 실내 위치 측위를 위해 이 기술을 스마트폰에 통합하는 것이다.
• 자동차 V2X 통신: 차량 헤드라이트/테일라이트와 카메라를 사용하여 차량-모든 것(V2X) 통신을 수행하며, RF 기반 DSRC/C-V2X를 보완하는 추가적인 견고한 데이터 링크를 제공한다.
• AR/VR 및 메타버스 인터페이스: AR 안경과 인프라 간 또는 동기화된 공유 경험을 위한 장치 간의 저지연, 고대역폭 데이터 링크를 가능하게 한다.
• 연구 방향:
  1. 종단 간 학습 시스템: "오토인코더" 통신 개념과 유사하게, 송신기의 성상도 형태(신경망을 통해)와 수신기의 등화기를 공동 최적화하는 것을 탐구한다.
  2. 견고성 및 표준화: 다양한 카메라 모델, 주변광, 부분적 폐색에 대해 견고한 신경망 수신기 모델을 개발한다. 이는 IEEE 802.15.7과 같은 표준화 노력에 매우 중요하다.
  3. 초고속 OCC: 고차 CSK를 고프레임 레이트 또는 이벤트 기반 카메라를 사용한 롤링 셔터 또는 공간 변조 기법과 결합하여 Gbps 장벽을 돌파한다.
  4. 의미론적 통신: 비트 복원을 넘어, OCC 링크를 사용하여 의미론적 정보(예: 객체 식별자, 지도 데이터)를 직접 전송하고, 비트 오류율보다는 작업 성공을 위해 최적화한다.

8. 참고문헌

1. H.-W. Chen 외, "8-CSK data transmission over 4 cm," 관련 학회/저널, 2019.
2. C. Zhu 외, "16-CSK over 80 cm using a quadrichromatic LED," 관련 학회/저널, 2016.
3. N. Murata 외, "16-digital CSK over 100 cm based on IEEE 802.15.7," 관련 학회/저널, 2016.
4. P. Hu 외, "Tri-LEDs based 32-CSK over 3 cm," 관련 학회/저널, 2019.
5. R. Singh 외, "Tri-LEDs based 32-CSK," 관련 학회/저널, 2014.
6. O'Shea, T., & Hoydis, J. (2017). "An Introduction to Deep Learning for the Physical Layer." IEEE Transactions on Cognitive Communications and Networking. (통신을 위한 ML에 관한 외부 권위 있는 출처)
7. IEEE Standard for Local and Metropolitan Area Networks--Part 15.7: Short-Range Optical Wireless Communications. IEEE Std 802.15.7-2018. (외부 권위 있는 표준)
8. Commission Internationale de l'Eclairage (CIE). (1931). Commission internationale de l'éclairage proceedings, 1931. Cambridge: Cambridge University Press. (색 과학에 관한 외부 권위 있는 출처)
9. Sony Semiconductor Solutions Corporation. IMX530 Sensor Datasheet. (외부 권위 있는 하드웨어 출처)
10. Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep Learning. MIT Press. (신경망에 관한 외부 권위 있는 출처)