Первая демонстрация демодуляции сигнала с 512-цветовой манипуляцией сдвигом цвета с использованием нейросетевого эквалайзера для оптической камерной связи

Содержание

1. Введение

Оптическая камерная связь (OCC) — перспективная технология для оптической беспроводной связи следующего поколения, использующая повсеместно распространённые КМОП-матрицы в камерах в качестве приёмников. Она предлагает бесплатные и экономически эффективные каналы связи. Ключевой задачей является повышение пропускной способности, ограниченной частотой кадров камеры и временем экспозиции, при сохранении работы без мерцания. Манипуляция сдвигом цвета (CSK), схема модуляции из стандарта IEEE 802.15.7, отображает данные на цвета в колориметрическом пространстве CIE 1931 для увеличения скорости передачи данных. Однако перекрёстные помехи, вызванные спектральной чувствительностью камеры, требуют компенсации. Предыдущие демонстрации достигали до 32-CSK на коротких расстояниях. В данной статье представлена первая экспериментальная демонстрация передачи сигнала 512-CSK с безошибочной демодуляцией на расстоянии 4 метра с использованием нейросетевого эквалайзера для обработки нелинейных перекрёстных помех.

2. Конфигурация приёмника

Система приёмника основана на модуле КМОП-матрицы Sony IMX530 с объективом 50 мм, способном выводить 12-битные сырые данные RGB без постобработки (дебайеризации, шумоподавления, баланса белого).

2.1 Камерная система и сырые данные

Камерная система Sony выводит чистые сырые данные изображения, сохраняя исходные показания сенсора, что критически важно для точной обработки сигнала до того, как любая цветокоррекция внесёт искажения.

2.2 Преобразование цветового пространства

Сырые значения RGB преобразуются в колориметрические координаты CIE 1931 (x, y) с использованием стандартной матрицы преобразования: $$\begin{pmatrix} x \\ y \end{pmatrix} = \begin{pmatrix} 0.4124 & 0.3576 & 0.1805 \\ 0.2126 & 0.7152 & 0.0722 \end{pmatrix} \begin{pmatrix} R \\ G \\ B \end{pmatrix}$$

2.3 Нейросетевой эквалайзер

Нейронная сеть с многоклассовой классификацией выступает в роли эквалайзера для компенсации нелинейных перекрёстных помех. Она имеет 2 входных узла (x, y), $N_h$ скрытых слоёв с $N_u$ узлами и $M=log_2(512)=9$ выходных узлов (бит на символ). Сеть выводит апостериорное распределение вероятностей $p(1|x,y)$, на основе которого вычисляются логарифмические отношения правдоподобия (LLR) для подачи в декодер LDPC. Точки созвездия для 512-CSK расположены треугольником, начиная с синей вершины (x=0.1805, y=0.0722).

3. Результаты эксперимента

3.1 Экспериментальная установка

Для передачи использовалась плоская матрица светодиодов 8x8 (размер панели: 6.5 см). Количество активных светодиодов варьировалось от 1x1 до 8x8 для оценки коэффициента битовых ошибок (BER) в зависимости от занимаемой площади изображения (интенсивности света). Расстояние передачи было фиксированным и составляло 4 метра.

3.2 Характеристики BER

Система достигла безошибочной демодуляции для 512-CSK. Характеристики BER оценивались в зависимости от эффективной площади светодиодов на захваченном изображении. Нейросетевой эквалайзер успешно подавил перекрёстные помехи, обеспечив надёжную демодуляцию при таком высоком порядке модуляции, где традиционные линейные методы потерпели бы неудачу.

Ключевой показатель эффективности

Порядок модуляции: 512-CSK (9 бит/символ)

Расстояние передачи: 4 метра

Результат: Достигнута безошибочная демодуляция

4. Ключевая идея и анализ

Ключевая идея

Данная работа — это не просто увеличение порядка CSK до 512 цветов; это стратегический переход от физически обоснованной очистки сигнала к реконструкции на основе данных. Настоящий прорыв заключается в том, что сильные межканальные перекрёстные помехи рассматриваются не как проблема шума, который нужно отфильтровать, а как детерминированное, нелинейное искажение, которое нейронная сеть может изучить и инвертировать. Это отражает смену парадигмы, наблюдаемую в вычислительной фотографии, где модели глубокого обучения, подобные обсуждаемым в статье CycleGAN (Zhu et al., 2017), учатся переводить между доменами (например, из зашумлённого в чистый) без парных примеров. Здесь нейронная сеть изучает обратное отображение спектрального «отпечатка» камеры.

Логическая последовательность

Логика убедительна: 1) Высокоуровневая CSK ограничена перекрёстными помехами. 2) Перекрёстные помехи камеры сложны и нелинейны. 3) Следовательно, используем универсальный аппроксиматор функций (нейронную сеть), обученный на принятых данных, чтобы смоделировать и устранить их. Последовательность от сырых данных сенсора -> преобразование в CIE 1931 -> нейросетевой эквалайзер -> декодер LDPC представляет собой современную гибридную цепочку обработки сигналов. Она умно использует стандартизированное пространство CIE в качестве стабильного промежуточного представления, разделяя науку о цвете и теорию связи.

Сильные стороны и недостатки

Сильные стороны: Демонстрация эмпирически убедительна, достигнут рекордный показатель 512-CSK на практическом расстоянии 4 м. Использование сырых данных сенсора обходит деструктивные конвейеры обработки изображений (ISP) камеры — критически важный, часто упускаемый из виду приём. Метод не зависит от конкретного приёмника; нейронную сеть можно переобучить для любой камеры. Недостатки: Подход по своей природе требует больших объёмов данных и калибровки для каждой камеры. В статье ничего не сказано о сложности, задержках и энергопотреблении нейронной сети — критически важных деталях для OCC в реальном времени на мобильных устройствах. Матрица светодиодов 8x8 представляет собой громоздкий передатчик, что противоречит цели OCC — использованию повсеместных источников света. Как отмечается в исследованиях IEEE ComSoc по VLC, масштабируемость и совместимость остаются серьёзными препятствиями.

Практические выводы

Для исследователей: будущее за лёгкими моделями, возможно, с использованием федеративного обучения для калибровки на устройстве. Исследуйте архитектуры на основе трансформеров, которые могут лучше справляться с последовательными искажениями символов, чем прямые нейронные сети. Для промышленности: эта технология готова для нишевых сценариев со стационарной установкой (гиды в музеях, связь между заводскими роботами), где передатчики и приёмники стабильны. Сотрудничайте с производителями сенсоров камер (такими как Sony, как в этой статье), чтобы встраивать предварительно обученные или легко обучаемые блоки эквалайзеров непосредственно в цифровой блок сенсора, делая «готовые к OCC» камеры продаваемой особенностью.

5. Технические детали

Основная техническая проблема заключается в несоответствии между идеальным цветовым пространством CIE 1931 и фактической спектральной чувствительностью камеры, как показано на рис. 1(b) PDF. Это приводит к тому, что принятые значения (R, G, B) являются линейными смесями переданных интенсивностей. Преобразование в (x, y) помогает, но не устраняет нелинейности. Нейронная сеть с её $N_h$ скрытыми слоями изучает функцию $f: (x, y) \rightarrow \mathbf{p}$, где $\mathbf{p}$ — 9-мерный вектор вероятностей битов. LLR для $k$-го бита вычисляется как: $$LLR(k) = \log \frac{p(b_k=1 | x, y)}{p(b_k=0 | x, y)}$$ Эти LLR обеспечивают мягкие входные данные для мощного декодера LDPC, позволяя использовать прямое исправление ошибок для достижения окончательного безошибочного результата.

6. Пример аналитического подхода

Случай: Оценка новой камеры для OCC. Данное исследование предоставляет основу для тестирования пригодности любой камеры для высокоуровневой CSK.

Сбор данных: Передайте известные символы 512-CSK с использованием калиброванной матрицы светодиодов. Захватите сырые данные сенсора тестируемой камерой.
Предварительная обработка: Преобразуйте сырые фрагменты RGB в координаты CIE 1931 (x, y) с использованием стандартной матрицы.
Обучение модели: Обучите нейронную сеть с многоклассовой классификацией (например, простой трёхслойный MLP) для отображения принятых кластеров (x, y) обратно на 512 переданных меток символов. Обучающая выборка — это известное соответствие символов.
Метрика производительности: Итоговая точность валидации или BER после декодирования LDPC напрямую указывает на возможности камеры. Высокая точность свидетельствует о низких внутренних искажениях или высокой линейности, что делает камеру хорошим приёмником OCC.
Сравнение: Повторите для разных камер. Необходимая сложность нейронной сети (глубина $N_h$, ширина $N_u$) становится косвенным показателем степени перекрёстных помех камеры.

Этот подход выходит за рамки анализа технических характеристик и переходит к функциональной, ориентированной на связь оценке.

7. Будущие применения и направления

Применения:

Точное позиционирование в помещениях: Высокоскоростная OCC может передавать сложные отпечатки местоположения или карты вместе с идентификационными кодами.
Интеграция с дополненной реальностью (AR): Умные светильники могут транслировать метаданные об объектах или произведениях искусства непосредственно на камеры смартфонов, обеспечивая бесшовную AR без обращения к облачным сервисам.
Промышленный IoT в зонах, чувствительных к RF: Связь между роботами, датчиками и контроллерами в больницах или самолётах с использованием существующего освещения.
Подводная связь: Сине-зелёные светодиоды с использованием CSK могут обеспечить более высокие скорости передачи данных для подводных аппаратов и датчиков.

Направления исследований:

Сквозное обучение: Переход от отдельных блоков (демодуляция, эквализация, декодирование) к единой глубокой сети, обученной непосредственно для минимизации BER.
Динамическая компенсация канала: Разработка нейронных сетей, способных адаптироваться в реальном времени к изменяющимся условиям, таким как автоэкспозиция камеры, размытие движения или изменение окружающего освещения.
Стандартизация архитектур нейронных сетей: Предложение лёгких, стандартизированных моделей нейронных сетей для эквализации, которые могут быть реализованы в аппаратном или программном обеспечении камер.
Интеграция с концепцией 6G: Позиционирование OCC как дополнительной технологии в рамках гетерогенной сетевой архитектуры 6G, как это исследуется в технических документах Next G Alliance.

8. Ссылки

H.-W. Chen и др., "8-CSK data transmission over 4 cm," Relevant Conference, 2019.
C. Zhu и др., "16-CSK over 80 cm using a quadrichromatic LED," Relevant Journal, 2016.
N. Murata и др., "16-digital CSK over 100 cm based on IEEE 802.15.7," Relevant Conference, 2016.
P. Hu и др., "Tri-LEDs based 32-CSK over 3 cm," Relevant Journal, 2019.
R. Singh и др., "Tri-LEDs based 32-CSK," Relevant Conference, 2014.
J.-Y. Zhu и др., "Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks," IEEE International Conference on Computer Vision (ICCV), 2017. (Внешний источник концепции трансляции доменов на основе обучения)
IEEE Communications Society, "Visible Light Communication: A Roadmap for Standardization," Technical Report, 2022. (Внешний источник о проблемах отрасли)
Next G Alliance, "6G Vision and Framework," White Paper, 2023. (Внешний источник о будущей сетевой интеграции)
"Commission Internationale de l'Eclairage (CIE) 1931 color space," Standard.
Sony Semiconductor Solutions Corporation, "IMX530 Sensor Datasheet," Technical Specification.