1. 簡介
本文提出一種新穎、系統化嘅方法,利用Kolmogorov-Arnold網絡(KANs)嘅模擬實現,喺柔性電子(FE)中進行函數逼近。解決嘅核心挑戰係柔性電子喺計算能力與物理尺寸、功耗預算同製造成本嘅嚴格限制之間嘅固有權衡。對於可穿戴設備同物聯網傳感器等柔性電子應用,傳統數字方法喺面積同功耗上變得極其昂貴。提出嘅解決方案利用一個模擬構建塊(ABB)庫來構建基於樣條嘅KANs,為將智能、近傳感器處理直接嵌入柔性基板提供一條通用且硬件高效嘅途徑。
125x
相比8位數字樣條嘅面積縮減
10.59%
實現嘅功耗節省
≤ 7.58%
最大逼近誤差
2. 背景與動機
2.1 柔性電子嘅限制
柔性電子通常基於銦鎵鋅氧化物(IGZO)等材料,為可穿戴設備、醫療貼片同環境傳感器實現新穎外形。然而,同矽CMOS相比,佢哋具有更大嘅特徵尺寸,令複雜數字電路面積效率低下。此外,應用要求超低功耗以延長電池壽命或兼容能量收集。呢啲創造咗對硬件資源天生節儉嘅計算範式嘅迫切需求。
2.2 Kolmogorov-Arnold網絡(KANs)
KANs最近由劉等人(2024年)重新激活,為傳統多層感知器(MLPs)提供咗一個引人注目嘅替代方案。KANs唔係喺節點上使用固定激活函數,而係喺網絡嘅邊(權重)上放置可學習嘅單變量函數(通常係樣條)。Kolmogorov-Arnold表示定理支持呢一點,指出任何多元連續函數都可以表示為單變量連續函數同加法嘅有限組合。呢種結構天生適合高效模擬實現,因為複雜函數被分解為更簡單、可組合嘅操作。
3. 提出嘅模擬KAN架構
3.1 模擬構建塊(ABBs)
呢個方法嘅基礎係一組預先表徵、低功耗嘅模擬電路,用於執行基本數學運算:加法、乘法同平方。呢啲構建塊嘅設計考慮咗柔性電子工藝變化同寄生效應。佢哋嘅模塊化特性允許系統化組合。
3.2 使用ABB構建樣條函數
KAN中每個可學習嘅單變量函數(一個樣條)都係通過組合ABB來構建嘅。一個由節點之間分段多項式定義嘅樣條,可以通過選擇性激活並加載配置咗多項式係數嘅乘法器同平方器構建塊嘅輸出嚟實現。呢個模擬樣條取代咗數字查找表(LUT)或算術單元,節省咗大量面積。
3.3 KAN網絡組裝
一個完整嘅KAN層係通過將輸入變量連接到一組模擬樣條塊(每個邊/權重一個)來組裝嘅。匯聚到同一個節點嘅樣條輸出使用加法ABB進行求和。重複呢個過程以構建網絡深度。參數(樣條係數)通過離線訓練確定,然後硬連線到模擬電路嘅偏置同增益中。
4. 技術實現與細節
4.1 數學公式
KAN層嘅核心係通過可學習嘅單變量函數 $\Phi_{q,p}$ 將輸入向量 $\mathbf{x} \in \mathbb{R}^n$ 轉換為輸出向量 $\mathbf{y} \in \mathbb{R}^m$: $$\mathbf{y} = \left( y_1, y_2, ..., y_m \right)$$ $$y_q = \sum_{p=1}^{n} \Phi_{q,p}(x_p), \quad q = 1,...,m$$ 喺模擬實現中,每個 $\Phi_{q,p}(\cdot)$ 都係一個物理樣條電路。求和由電流模式或電壓模式加法器ABB執行。
4.2 電路設計與寄生效應
乘法器ABB可以基於吉爾伯特單元或跨線性原理以實現低電壓操作。平方器可以從輸入相連嘅乘法器衍生。關鍵嘅非理想因素包括:影響係數精度嘅晶體管失配($\sigma_V_T$);導致負載誤差嘅有限輸出阻抗;以及限制帶寬嘅寄生電容。呢啲因素共同導致咗測量到嘅逼近誤差。
5. 實驗結果與分析
5.1 硬件效率指標
提出嘅模擬KAN喺兼容柔性電子嘅工藝中,與具有8位精度嘅等效數字樣條實現進行咗基準測試。結果非常顯著:
- 面積: 縮減125倍。模擬設計消除咗大型數字寄存器、乘法器同用於LUT嘅存儲器。
- 功耗: 節省10.59%。模擬計算避免咗時鐘同數字電路切換嘅高動態功耗。
5.2 逼近誤差分析
硬件效率嘅權衡係計算精度。系統引入咗最大7.58%嘅逼近誤差。呢個誤差主要來源於兩個方面:
- 設計誤差: 使用有限數量嘅樣條段來逼近目標函數所固有嘅誤差。
- 寄生誤差: 由ABB中模擬非理想因素(失配、噪聲、寄生效應)引入嘅誤差。
關鍵見解
- 系統化設計: 提供一種通用、可重複嘅模擬函數逼近方法,超越咗臨時性電路設計。
- 硬件-KAN協同效應: KAN嘅結構將複雜函數分解為簡單、適合模擬嘅單變量操作。
- 精度與效率嘅權衡: 通過接受一個受控、考慮應用場景嘅逼近誤差水平,實現咗巨大嘅面積同功耗節省。
- 針對柔性電子嘅優化: 設計直接解決咗柔性電子平台嘅核心限制(面積、功耗)。
6. 案例研究與框架示例
場景: 為柔性心率監測器實現一個輕量級異常檢測器。設備需要從兩個輸入計算一個簡單嘅健康指數 $H$:心率變異性(HRV)$x_1$ 同脈搏波形偏度 $x_2$。已知存在一個經驗關係 $H = f(x_1, x_2)$,但係非線性嘅。
框架應用:
- 函數分解: 使用提出嘅框架,$f(x_1, x_2)$ 由一個結構為 [2, 3, 1] 嘅2層KAN逼近。網絡喺數據集上進行離線訓練。
- ABB映射: 第一層6條邊同第二層3條邊上訓練好嘅單變量函數(樣條)被映射到多項式係數。
- 電路實例化: 對於每個樣條,確定所需嘅分段多項式段數。相應嘅乘法器同平方器ABB用係數(作為偏置電壓/電流)配置,並根據KAN圖與加法器ABB互連。
- 部署: 呢個模擬KAN電路直接製造喺柔性貼片上。佢持續消耗微瓦級功率,實時處理傳感器數據以標記異常,無需對原始數據進行數字化或無線傳輸。
7. 應用前景與未來方向
近期應用:
- 智能生物醫學貼片: 用於心電圖、腦電圖或肌電圖嘅貼片信號處理,實現數據傳輸前嘅本地特徵提取(例如,QRS波檢測)。
- 環境傳感器樞紐: 用於物聯網節點中溫度、濕度同氣體傳感器嘅原位校準同數據融合。
- 可穿戴手勢識別: 對來自柔性應變或壓力傳感器陣列嘅數據進行超低功耗預處理。
- 容錯訓練: 開發訓練算法,共同優化KAN參數以實現精度同對模擬電路非理想因素嘅魯棒性(類似於硬件感知神經網絡訓練)。
- 自適應與可重配置ABB: 探索樣條係數可以喺製造後輕微調整以補償工藝變化或適應不同任務嘅電路。
- 與傳感集成: 設計可直接與特定傳感器類型(例如,光電二極管、壓阻元件)接口嘅ABB,邁向真正嘅模擬傳感器-處理器融合。
- 更深網絡嘅可擴展性: 研究用於管理更深層模擬KAN中噪聲同誤差累積嘅架構技術同電路設計,以應對更複雜嘅任務。
8. 參考文獻
- Z. Liu 等人, "KAN: Kolmogorov-Arnold Networks," arXiv:2404.19756, 2024. (重振KANs嘅開創性論文)。
- Y. Chen 等人, "Flexible Hybrid Electronics: A Review," Advanced Materials Technologies, 卷 6, 期 2, 2021.
- M. Payvand 等人, "In-Memory Computing with Emerging Memory Technologies: A Review," Proceedings of the IEEE, 2023. (關於替代高效計算範式嘅背景)。
- J. Zhu 等人, "Analog Neural Networks: An Overview," 刊於 IEEE Circuits and Systems Magazine, 2021. (關於模擬機器學習硬件嘅背景)。
- 國際器件與系統路線圖(IRDS™), "More than Moore" 白皮書, 2022. (討論異構集成同特定應用硬件(如柔性電子)嘅作用)。
- B. Murmann, "Mixed-Signal Computing for Deep Neural Network Inference," IEEE Transactions on Very Large Scale Integration (VLSI) Systems, 2021. (與精度-效率權衡分析相關)。
9. 原創分析與專家評論
核心見解
呢項工作唔只係另一篇模擬電路論文;佢係一個喺柔性電子領域擺脫數字束縛嘅戰略藍圖。作者正確地指出,由於面積同功耗成本,將數字馮·諾依曼架構粗暴移植到柔性電子係一條死胡同。佢哋嘅天才之處在於認識到KANs嘅數學結構同模擬信號流圖係同構嘅。呢唔只係一個實現技巧——佢係算法同基底嘅根本性對齊。當其他人試圖將量化神經網絡強行塞入柔性電子時,呢個團隊問:乜嘢算法天生就係模擬嘅?受一個60年前嘅表示定理啟發,答案出奇地優雅。
邏輯流程
論證以令人信服嘅邏輯進行:1)柔性電子需要超高效率計算;2)數字計算對呢種媒介效率低下;3)因此,探索模擬計算;4)但模擬設計通常係手工藝式且不可擴展;5)解決方案: 使用KANs提供一個系統化、與函數無關嘅框架來指導模擬設計。從ABB(原語)到樣條(組合函數)再到KANs(網絡化計算)嘅流程創建咗一個清晰嘅抽象層次結構。呢個模仿咗數字設計流程(門 -> 算術邏輯單元 -> 處理器),對於採用至關重要。佢將模擬設計從一種「黑魔法」工藝轉變為針對特定計算任務嘅、某種程度上自動化、可重複嘅工程學科。
優點與缺陷
優點: 125倍嘅面積縮減係一個決定性優勢。喺柔性電子世界,面積就係成本,呢個令複雜嘅片上傳感器處理喺經濟上變得可行。系統化方法係論文最持久嘅貢獻——佢提供咗一個模板。選擇KANs係有先見之明嘅,利用咗佢哋當前嘅學術勢頭(從原始KAN論文喺arXiv上嘅爆炸性引用率可見)來獲取實際硬件收益。
缺陷: 7.58%嘅誤差係房間裡嘅大象。論文輕描淡寫地稱其為「對許多應用可接受」,呢個係事實但限制咗範圍。呢唔係一個通用計算引擎;佢係一個用於容錯任務嘅領域特定加速器。訓練完全係離線嘅,並且與硬件非理想因素脫節——一個主要缺點。正如硬件感知機器學習文獻(例如B. Murmann嘅工作)所指出的,訓練期間忽略寄生效應會導致矽片上性能顯著下降。設計係靜態嘅;一旦製造,功能就固定咗,缺乏某些邊緣應用所需嘅適應性。
可行見解
對於研究人員:直接嘅下一步係硬件在環訓練。喺KAN訓練階段使用ABB非理想因素(失配、噪聲)嘅模型,以培育天生具有魯棒性嘅電路,類似量化感知訓練(QAT)改進數字低精度網絡嘅方式。對於業界:呢項技術非常適合專注於「確定性模擬知識產權」嘅初創公司——向柔性電子代工廠銷售預先驗證、可配置嘅ABB同樣條宏。對於產品經理:睇下數據縮減/預處理係瓶頸嘅傳感器系統(例如,可穿戴設備中嘅原始視頻/音頻)。一個模擬KAN前端可以過濾同提取特徵,喺數據到達數字無線電之前將其數據率降低幾個數量級,從而顯著延長電池壽命。呢項工作唔只係提出一個電路;佢標誌著向下一代智能物質嘅算法-硬件共同進化轉變。