유연 전자 소자를 위한 효율적 함수 근사를 위한 아날로그 콜모고로프-아르놀드 네트워크

1. 서론

본 논문은 콜모고로프-아르놀드 네트워크(KANs)의 아날로그 구현을 활용하여 유연 전자 소자(FE)에서 함수 근사를 위한 새로운 체계적 방법론을 제시합니다. 해결하고자 하는 핵심 과제는 FE에서 계산 능력과 물리적 크기, 전력 예산, 제조 비용에 대한 엄격한 제약 사이에 존재하는 본질적인 트레이드오프입니다. 웨어러블 및 IoT 센서와 같은 FE 응용 분야에서는 기존 디지털 방식이 면적과 전력 측면에서 비용이 과도하게 높아집니다. 제안하는 솔루션은 아날로그 기본 블록(ABB) 라이브러리를 활용하여 스플라인 기반 KAN을 구성함으로써, 지능형 센서 근처 처리를 유연 기판에 직접 내장하기 위한 일반적이고 하드웨어 효율적인 경로를 제공합니다.

2. 배경 및 동기

2.1 유연 전자 소자의 제약 조건

인듐 갈륨 아연 산화물(IGZO)과 같은 재료를 기반으로 하는 유연 전자 소자는 웨어러블, 의료 패치, 환경 센서에 새로운 폼 팩터를 가능하게 합니다. 그러나 실리콘 CMOS에 비해 더 큰 피처 사이즈를 가지기 때문에 복잡한 디지털 회로는 면적 효율성이 떨어집니다. 더욱이 응용 분야에서는 장시간 배터리 수명이나 에너지 하베스팅 호환성을 위해 초저전력 소비를 요구합니다. 이는 하드웨어 자원에 본질적으로 절약적인 계산 패러다임에 대한 시급한 필요성을 창출합니다.

2.2 콜모고로프-아르놀드 네트워크(KANs)

Liu 외(2024)에 의해 최근 부활한 KANs는 기존의 다층 퍼셉트론(MLP)에 대한 매력적인 대안을 제공합니다. 노드에 고정된 활성화 함수를 사용하는 대신, KANs는 네트워크의 에지(가중치)에 학습 가능한 단변량 함수(일반적으로 스플라인)를 배치합니다. 콜모고로프-아르놀드 표현 정리는 이를 뒷받침하며, 모든 다변량 연속 함수는 단일 변수의 연속 함수와 덧셈의 유한한 합성으로 표현될 수 있다고 명시합니다. 이 구조는 복잡한 함수가 더 간단하고 구성 가능한 연산으로 분해되기 때문에 효율적인 아날로그 구현에 자연스럽게 적합합니다.

3. 제안하는 아날로그 KAN 아키텍처

3.1 아날로그 기본 블록(ABBs)

이 접근법의 기초는 기본적인 수학 연산을 수행하는 사전 특성화된 저전력 아날로그 회로 세트입니다: 덧셈, 곱셈, 제곱. 이러한 블록은 FE 공정 변동과 기생 효과를 고려하여 설계되었습니다. 이들의 모듈식 특성은 체계적인 구성을 가능하게 합니다.

3.2 ABB를 이용한 스플라인 구성

KAN의 각 학습 가능한 단변량 함수(스플라인)는 ABB를 조합하여 구성됩니다. 매듭 사이의 조각별 다항식으로 정의되는 스플라인은 다항식 계수로 구성된 승산기 및 제곱기 블록의 출력을 선택적으로 활성화하고 합산함으로써 구현될 수 있습니다. 이 아날로그 스플라인은 디지털 룩업 테이블(LUT) 또는 산술 장치를 대체하여 상당한 면적을 절약합니다.

3.3 KAN 네트워크 조립

완전한 KAN 레이어는 입력 변수를 아날로그 스플라인 블록 뱅크(에지/가중치당 하나씩)에 연결하여 조립됩니다. 동일한 노드로 수렴하는 스플라인의 출력은 덧셈 ABB를 사용하여 합산됩니다. 이 과정은 네트워크 깊이를 구축하기 위해 반복됩니다. 매개변수(스플라인 계수)는 오프라인 학습을 통해 결정된 후 아날로그 회로의 바이어스와 이득에 하드와이어링됩니다.

4. 기술적 구현 및 상세 내용

4.1 수학적 공식화

KAN 레이어의 핵심은 학습 가능한 단변량 함수 $\Phi_{q,p}$를 통해 입력 벡터 $\mathbf{x} \in \mathbb{R}^n$을 출력 벡터 $\mathbf{y} \in \mathbb{R}^m$으로 변환합니다: $$\mathbf{y} = \left( y_1, y_2, ..., y_m \right)$$ $$y_q = \sum_{p=1}^{n} \Phi_{q,p}(x_p), \quad q = 1,...,m$$ 아날로그 구현에서 각 $\Phi_{q,p}(\cdot)$는 물리적 스플라인 회로입니다. 합산은 전류 모드 또는 전압 모드 가산기 ABB에 의해 수행됩니다.

4.2 회로 설계 및 기생 효과

승산기 ABB는 저전압 동작을 위해 길버트 셀 또는 트랜스리니어 원리를 기반으로 할 수 있습니다. 제곱기는 입력이 연결된 승산기에서 파생될 수 있습니다. 주요 비이상적 특성으로는: 계수 정확도에 영향을 미치는 트랜지스터 불일치($\sigma_V_T$); 부하 오류를 유발하는 유한 출력 임피던스; 대역폭을 제한하는 기생 커패시턴스가 있습니다. 이러한 요소들은 측정된 근사 오차에 공동으로 기여합니다.

5. 실험 결과 및 분석

5.1 하드웨어 효율성 지표

제안된 아날로그 KAN은 FE 호환 공정에서 8비트 정밀도를 가진 동등한 디지털 스플라인 구현과 비교 평가되었습니다. 결과는 놀랍습니다:

• 면적: 125배 감소. 아날로그 설계는 대형 디지털 레지스터, 승산기 및 LUT용 메모리를 제거합니다.
• 전력: 10.59% 절감. 아날로그 계산은 디지털 회로의 클록킹 및 스위칭에 따른 높은 동적 전력을 피합니다.

5.2 근사 오차 분석

하드웨어 효율성에 대한 트레이드오프는 계산 정밀도입니다. 시스템은 최대 7.58%의 근사 오차를 유발합니다. 이 오차는 두 가지 주요 원인에서 비롯됩니다:

1. 설계 오차: 목표 함수를 근사하기 위해 유한한 수의 스플라인 조각을 사용함으로써 발생하는 본질적 오차.
2. 기생 오차: ABB의 아날로그 비이상적 특성(불일치, 노이즈, 기생 효과)에 의해 유입되는 오차.

6. 사례 연구 및 프레임워크 예시

시나리오: 유연 심박수 모니터를 위한 경량 이상 감지기 구현. 장치는 두 입력, 즉 심박수 변이도(HRV) $x_1$과 맥파 왜곡도 $x_2$로부터 간단한 건강 지수 $H$를 계산해야 합니다. 알려진 경험적 관계 $H = f(x_1, x_2)$가 존재하지만 비선형입니다.

프레임워크 적용:

1. 함수 분해: 제안된 프레임워크를 사용하여 $f(x_1, x_2)$는 구조가 [2, 3, 1]인 2층 KAN으로 근사됩니다. 네트워크는 데이터셋에서 오프라인 학습됩니다.
2. ABB 매핑: 첫 번째 층의 6개 에지와 두 번째 층의 3개 에지에 있는 학습된 단변량 함수(스플라인)가 다항식 계수에 매핑됩니다.
3. 회로 인스턴스화: 각 스플라인에 대해 필요한 조각별 다항식 세그먼트 수가 결정됩니다. 해당 승산기 및 제곱기 ABB가 계수(바이어스 전압/전류로서)로 구성되고 KAN 그래프에 따라 가산기 ABB와 상호 연결됩니다.
4. 배포: 이 아날로그 KAN 회로는 유연 패치에 직접 제작됩니다. 이는 마이크로와트 수준의 전력을 지속적으로 소비하며, 센서 데이터를 실시간으로 처리하여 원시 데이터의 디지털화나 무선 전송 없이 이상을 표시합니다.

7. 응용 전망 및 향후 방향

단기적 응용 분야:

• 스마트 생체의학 패치: ECG, EEG 또는 EMG를 위한 패치 내 신호 처리로, 데이터 전송 전 로컬 특징 추출(예: QRS 검출)을 가능하게 합니다.
• 환경 센서 허브: IoT 노드의 온도, 습도, 가스 센서를 위한 현장 보정 및 데이터 융합.
• 웨어러블 제스처 인식: 유연 변형률 또는 압력 센서 어레이의 데이터에 대한 초저전력 전처리.

1. 오차 복원력 학습: 정확도와 아날로그 회로 비이상적 특성에 대한 견고성을 공동 최적화하는 KAN 매개변수를 위한 학습 알고리즘 개발(하드웨어 인식 신경망 학습과 유사).
2. 적응형 및 재구성 가능 ABB: 스플라인 계수가 제작 후 공정 변동을 보상하거나 다른 작업에 적응하도록 미세 조정될 수 있는 회로 탐구.
3. 센싱과의 통합: 특정 센서 유형(예: 포토다이오드, 압저항 소자)과 직접 인터페이스하는 ABB 설계로, 진정한 아날로그 센서-프로세서 융합을 향해 나아갑니다.
4. 더 깊은 네트워크로의 확장성: 더 복잡한 작업을 위한 더 깊은 아날로그 KAN에서 노이즈와 오차 누적을 관리하기 위한 아키텍처 기술 및 회로 설계 연구.

8. 참고문헌

1. Z. Liu 외, "KAN: Kolmogorov-Arnold Networks," arXiv:2404.19756, 2024. (KANs를 부활시킨 시초 논문).
2. Y. Chen 외, "Flexible Hybrid Electronics: A Review," Advanced Materials Technologies, vol. 6, no. 2, 2021.
3. M. Payvand 외, "In-Memory Computing with Emerging Memory Technologies: A Review," Proceedings of the IEEE, 2023. (대체 효율적 컴퓨팅 패러다임에 대한 맥락).
4. J. Zhu 외, "Analog Neural Networks: An Overview," in IEEE Circuits and Systems Magazine, 2021. (아날로그 ML 하드웨어 배경).
5. International Roadmap for Devices and Systems (IRDS™), "More than Moore" White Paper, 2022. (FE와 같은 응용 특화 하드웨어 및 이종 통합의 역할 논의).
6. B. Murmann, "Mixed-Signal Computing for Deep Neural Network Inference," IEEE Transactions on Very Large Scale Integration (VLSI) Systems, 2021. (정밀도-효율성 트레이드오프 분석 관련).

9. 원본 분석 및 전문가 논평