Аналоговые сети Колмогорова-Арнольда для эффективной аппроксимации функций в гибкой электронике

1. Введение

В данной статье представлена новая систематическая методология аппроксимации функций в гибкой электронике (ГЭ) с использованием аналоговой реализации сетей Колмогорова-Арнольда (KAN). Основная решаемая проблема — это неизбежный компромисс в ГЭ между вычислительной мощностью и строгими ограничениями по физическому размеру, энергопотреблению и стоимости производства. Традиционные цифровые подходы становятся неприемлемо затратными по площади и мощности для таких применений ГЭ, как носимые устройства и датчики Интернета вещей. Предлагаемое решение использует библиотеку аналоговых базовых блоков (ABB) для построения KAN на основе сплайнов, предлагая универсальный и аппаратно-эффективный путь для встраивания интеллектуальной обработки данных непосредственно на гибкую подложку, вблизи сенсора.

2. Предпосылки и мотивация

2.1 Ограничения гибкой электроники

Гибкая электроника, часто основанная на таких материалах, как оксид индия-галлия-цинка (IGZO), позволяет создавать устройства новых форм-факторов: носимые устройства, медицинские пластыри, экологические датчики. Однако по сравнению с кремниевыми КМОП-технологиями для них характерны большие размеры элементов, что делает сложные цифровые схемы неэффективными по занимаемой площади. Кроме того, приложения требуют сверхнизкого энергопотребления для увеличения срока службы батареи или совместимости с системами сбора энергии. Это создает острую потребность в вычислительных парадигмах, изначально экономно использующих аппаратные ресурсы.

2.2 Сети Колмогорова-Арнольда (KAN)

Сети KAN, недавно вновь привлекшие внимание благодаря работе Liu et al. (2024), предлагают убедительную альтернативу традиционным многослойным перцептронам (MLP). Вместо фиксированных функций активации в узлах, KAN размещают обучаемые одномерные функции (обычно сплайны) на ребрах (весах) сети. В основе этого лежит теорема представления Колмогорова-Арнольда, утверждающая, что любую многомерную непрерывную функцию можно представить в виде конечной композиции непрерывных функций одной переменной и операции сложения. Такая структура естественным образом подходит для эффективной аналоговой реализации, поскольку сложные функции разбиваются на более простые, композируемые операции.

3. Предлагаемая архитектура аналоговых KAN

3.1 Аналоговые базовые блоки (ABB)

Основой подхода является набор предварительно охарактеризованных, низкопотребляющих аналоговых схем, выполняющих фундаментальные математические операции: Сложение, Умножение и Возведение в квадрат. Эти блоки спроектированы с учетом технологических вариаций и паразитных эффектов процессов ГЭ. Их модульная природа позволяет осуществлять систематическую композицию.

3.2 Построение сплайнов с помощью ABB

Каждая обучаемая одномерная функция в KAN (сплайн) строится путем комбинирования ABB. Сплайн, определяемый кусочно-полиномиальными функциями между узлами, может быть реализован путем избирательной активации и суммирования выходов блоков умножителя и возведения в квадрат, настроенных с полиномиальными коэффициентами. Такой аналоговый сплайн заменяет цифровую таблицу поиска (LUT) или арифметический блок, экономя значительную площадь.

3.3 Сборка сети KAN

Полный слой KAN собирается путем подключения входных переменных к набору аналоговых сплайн-блоков (по одному на каждое ребро/вес). Выходы сплайнов, сходящихся на одном узле, суммируются с помощью блоков сложения ABB. Этот процесс повторяется для построения глубины сети. Параметры (коэффициенты сплайнов) определяются вне системы путем обучения, а затем жестко задаются в виде смещений и коэффициентов усиления аналоговой схемы.

4. Техническая реализация и детали

4.1 Математическая формулировка

Ядро слоя KAN преобразует входной вектор $\mathbf{x} \in \mathbb{R}^n$ в выходной вектор $\mathbf{y} \in \mathbb{R}^m$ через обучаемые одномерные функции $\Phi_{q,p}$: $$\mathbf{y} = \left( y_1, y_2, ..., y_m \right)$$ $$y_q = \sum_{p=1}^{n} \Phi_{q,p}(x_p), \quad q = 1,...,m$$ В аналоговой реализации каждая $\Phi_{q,p}(\cdot)$ представляет собой физическую сплайн-схему. Суммирование выполняется блоком сложения ABB в токовом или потенциальном режиме.

4.2 Схемотехника и паразитные эффекты

Блок умножения ABB может быть основан на ячейке Гилберта или принципе транслинейности для работы при низком напряжении. Блок возведения в квадрат может быть получен из умножителя с объединенными входами. Ключевые неидеальности включают: разброс параметров транзисторов ($\sigma_V_T$), влияющий на точность коэффициентов; конечное выходное сопротивление, вызывающее ошибки нагрузки; и паразитные емкости, ограничивающие полосу пропускания. Эти факторы в совокупности определяют измеренную ошибку аппроксимации.

5. Экспериментальные результаты и анализ

5.1 Метрики аппаратной эффективности

Предложенный аналоговый KAN сравнивался с эквивалентной цифровой реализацией сплайна с 8-битной точностью в процессе, совместимом с ГЭ. Результаты впечатляют:

• Площадь: Сокращение в 125 раз. Аналоговый дизайн устраняет необходимость в больших цифровых регистрах, умножителях и памяти для LUT.
• Мощность: Экономия 10.59%. Аналоговые вычисления избегают высокого динамического энергопотребления, связанного с тактированием и переключением цифровых схем.

5.2 Анализ ошибки аппроксимации

Компромиссом за аппаратную эффективность является вычислительная точность. Система вносит максимальную ошибку аппроксимации в 7.58%. Эта ошибка проистекает из двух основных источников:

1. Ошибка проектирования: Внутренняя ошибка от использования конечного числа сегментов сплайна для аппроксимации целевой функции.
2. Паразитная ошибка: Ошибки, вносимые аналоговыми неидеальностями (разброс, шум, паразитные эффекты) в ABB.

6. Пример использования и структура фреймворка

Сценарий: Реализация легковесного детектора аномалий для гибкого монитора сердечного ритма. Устройству необходимо вычислять простой индекс здоровья $H$ по двум входам: вариабельности сердечного ритма (HRV) $x_1$ и асимметрии пульсовой волны $x_2$. Известно эмпирическое соотношение $H = f(x_1, x_2)$, но оно нелинейно.

Применение фреймворка:

1. Декомпозиция функции: С использованием предложенного фреймворка $f(x_1, x_2)$ аппроксимируется двухслойным KAN со структурой [2, 3, 1]. Сеть обучается вне системы на наборе данных.
2. Отображение на ABB: Обученные одномерные функции (сплайны) на 6 ребрах первого слоя и 3 ребрах второго слоя отображаются в полиномиальные коэффициенты.
3. Создание экземпляра схемы: Для каждого сплайна определяется необходимое количество сегментов кусочно-полиномиальной функции. Соответствующие блоки умножителя и возведения в квадрат ABB настраиваются коэффициентами (в виде напряжений/токов смещения) и соединяются с блоками сложения ABB в соответствии с графом KAN.
4. Развертывание: Эта аналоговая схема KAN изготавливается непосредственно на гибком пластыре. Она непрерывно потребляет микроватты мощности, обрабатывая данные с датчиков в реальном времени для выявления аномалий без оцифровки или беспроводной передачи исходных данных.

7. Перспективы применения и направления развития

Ближайшие применения:

• Умные биомедицинские пластыри: Обработка сигналов на пластыре для ЭКГ, ЭЭГ или ЭМГ, позволяющая выполнять локальное выделение признаков (например, детектирование QRS-комплекса) перед передачей данных.
• Концентраторы экологических датчиков: Внутрисистемная калибровка и слияние данных для датчиков температуры, влажности и газов в узлах Интернета вещей.
• Распознавание жестов в носимых устройствах: Сверхнизкопотребляющая предобработка данных от гибких массивов датчиков деформации или давления.

1. Обучение, устойчивое к ошибкам: Разработка алгоритмов обучения, совместно оптимизирующих параметры KAN как для точности, так и для устойчивости к неидеальностям аналоговых схем (аналогично обучению нейронных сетей с учетом аппаратуры).
2. Адаптивные и реконфигурируемые ABB: Исследование схем, в которых коэффициенты сплайнов могут быть незначительно скорректированы после изготовления для компенсации технологических вариаций или адаптации к различным задачам.
3. Интеграция с сенсорикой: Проектирование ABB, которые напрямую взаимодействуют с определенными типами датчиков (например, фотодиодами, пьезорезистивными элементами), приближаясь к истинному слиянию аналогового сенсора и процессора.
4. Масштабируемость до более глубоких сетей: Исследование архитектурных методов и схемотехнических решений для управления накоплением шума и ошибок в более глубоких аналоговых KAN для более сложных задач.

8. Ссылки

1. Z. Liu et al., "KAN: Kolmogorov-Arnold Networks," arXiv:2404.19756, 2024. (Основополагающая статья, возродившая интерес к KAN).
2. Y. Chen et al., "Flexible Hybrid Electronics: A Review," Advanced Materials Technologies, vol. 6, no. 2, 2021.
3. M. Payvand et al., "In-Memory Computing with Emerging Memory Technologies: A Review," Proceedings of the IEEE, 2023. (Контекст об альтернативных эффективных вычислительных парадигмах).
4. J. Zhu et al., "Analog Neural Networks: An Overview," in IEEE Circuits and Systems Magazine, 2021. (Основы аппаратного обеспечения аналогового машинного обучения).
5. International Roadmap for Devices and Systems (IRDS™), "More than Moore" White Paper, 2022. (Обсуждает роль гетерогенной интеграции и специализированной аппаратуры, такой как ГЭ).
6. B. Murmann, "Mixed-Signal Computing for Deep Neural Network Inference," IEEE Transactions on Very Large Scale Integration (VLSI) Systems, 2021. (Релевантно для анализа компромисса точности и эффективности).

9. Оригинальный анализ и экспертное мнение