Analoge Kolmogorov-Arnold-Netzwerke für effiziente Funktionsapproximation in flexibler Elektronik

1. Einleitung

Dieses Papier stellt eine neuartige, systematische Methodik zur Funktionsapproximation in flexibler Elektronik (FE) unter Verwendung analoger Implementierungen von Kolmogorov-Arnold-Netzwerken (KANs) vor. Die zentrale Herausforderung ist der inhärente Zielkonflikt in FE zwischen Rechenleistung und strengen Beschränkungen hinsichtlich physischer Größe, Energiebudget und Herstellungskosten. Traditionelle digitale Ansätze werden für FE-Anwendungen wie Wearables und IoT-Sensoren in Bezug auf Fläche und Leistungsaufnahme unverhältnismäßig teuer. Die vorgeschlagene Lösung nutzt eine Bibliothek analoger Grundbausteine (ABBs), um Spline-basierte KANs zu konstruieren, und bietet so einen generischen und hardwareeffizienten Weg, um intelligente, sensornahe Verarbeitung direkt auf flexible Substrate zu integrieren.

2. Hintergrund & Motivation

2.1 Anforderungen flexibler Elektronik

Flexible Elektronik, oft basierend auf Materialien wie Indium-Gallium-Zink-Oxid (IGZO), ermöglicht neuartige Formfaktoren für Wearables, medizinische Pflaster und Umweltsensoren. Sie leiden jedoch im Vergleich zu Silizium-CMOS unter größeren Strukturgrößen, was komplexe digitale Schaltungen flächenineffizient macht. Darüber hinaus erfordern Anwendungen einen extrem niedrigen Energieverbrauch für eine lange Batterielaufzeit oder Kompatibilität mit Energy Harvesting. Dies schafft einen dringenden Bedarf an Rechenparadigmen, die von Natur aus sparsam mit Hardware-Ressourcen umgehen.

2.2 Kolmogorov-Arnold-Netzwerke (KANs)

KANs, kürzlich von Liu et al. (2024) wiederbelebt, bieten eine überzeugende Alternative zu traditionellen mehrschichtigen Perzeptronen (MLPs). Anstelle fester Aktivierungsfunktionen auf Knoten platzieren KANs lernbare univariate Funktionen (typischerweise Splines) auf den Kanten (Gewichten) des Netzwerks. Der Satz von Kolmogorov-Arnold (Darstellungssatz) bildet die Grundlage und besagt, dass jede multivariate stetige Funktion als endliche Komposition stetiger Funktionen einer einzelnen Variable und Addition dargestellt werden kann. Diese Struktur eignet sich von Natur aus für eine effiziente analoge Implementierung, da komplexe Funktionen in einfachere, zusammensetzbare Operationen zerlegt werden.

3. Vorgeschlagene analoge KAN-Architektur

3.1 Analoge Grundbausteine (ABBs)

Die Grundlage des Ansatzes bildet ein Satz vorkarakterisierter, energieeffizienter analoger Schaltungen, die grundlegende mathematische Operationen ausführen: Addition, Multiplikation und Quadrierung. Diese Blöcke sind unter Berücksichtigung von FE-Prozessvariationen und parasitären Effekten ausgelegt. Ihre modulare Natur ermöglicht eine systematische Komposition.

3.2 Spline-Konstruktion mit ABBs

Jede lernbare univariate Funktion im KAN (ein Spline) wird durch Kombination von ABBs konstruiert. Ein Spline, definiert durch stückweise Polynome zwischen Knoten, kann implementiert werden, indem die Ausgänge von Multiplizierer- und Quadrierer-Blöcken, die mit Polynomkoeffizienten konfiguriert sind, selektiv aktiviert und summiert werden. Dieser analoge Spline ersetzt eine digitale Look-Up-Tabelle (LUT) oder eine arithmetische Einheit und spart erhebliche Fläche.

3.3 KAN-Netzwerkaufbau

Eine vollständige KAN-Schicht wird aufgebaut, indem die Eingangsvariablen mit einer Bank analoger Spline-Blöcke (einer pro Kante/Gewicht) verbunden werden. Die Ausgänge der Splines, die auf denselben Knoten zulaufen, werden mit Additions-ABBs summiert. Dieser Prozess wird wiederholt, um die Netzwerktiefe aufzubauen. Die Parameter (Spline-Koeffizienten) werden offline durch Training bestimmt und dann als feste Vorspannungen und Verstärkungen in die analoge Schaltung eingebracht.

4. Technische Implementierung & Details

4.1 Mathematische Formulierung

Der Kern einer KAN-Schicht transformiert einen Eingabevektor $\mathbf{x} \in \mathbb{R}^n$ über lernbare univariate Funktionen $\Phi_{q,p}$ in einen Ausgabevektor $\mathbf{y} \in \mathbb{R}^m$: $$\mathbf{y} = \left( y_1, y_2, ..., y_m \right)$$ $$y_q = \sum_{p=1}^{n} \Phi_{q,p}(x_p), \quad q = 1,...,m$$ In der analogen Implementierung ist jedes $\Phi_{q,p}(\cdot)$ eine physikalische Spline-Schaltung. Die Summation wird von einem Addierer-ABB im Strom- oder Spannungsmodus durchgeführt.

4.2 Schaltungsdesign & Parasitäre Effekte

Der Multiplizierer-ABB kann auf einer Gilbert-Zelle oder einem translinearen Prinzip für Niederspannungsbetrieb basieren. Der Quadrierer kann aus einem Multiplizierer mit verbundenen Eingängen abgeleitet werden. Wichtige Nichtidealitäten sind: Transistor-Mismatch ($\sigma_V_T$), das die Koeffizientengenauigkeit beeinflusst; endliche Ausgangsimpedanz, die zu Belastungsfehlern führt; und parasitäre Kapazitäten, die die Bandbreite begrenzen. Diese Faktoren tragen gemeinsam zum gemessenen Approximationsfehler bei.

5. Experimentelle Ergebnisse & Analyse

5.1 Hardware-Effizienzkennzahlen

Das vorgeschlagene analoge KAN wurde mit einer äquivalenten digitalen Spline-Implementierung mit 8-Bit-Präzision in einem FE-kompatiblen Prozess verglichen. Die Ergebnisse sind bemerkenswert:

• Fläche: 125-fache Reduktion. Das analoge Design eliminiert große digitale Register, Multiplizierer und Speicher für LUTs.
• Leistung: 10,59% Einsparung. Die analoge Berechnung vermeidet den hohen dynamischen Leistungsverbrauch durch Takten und Schalten digitaler Schaltungen.

5.2 Analyse des Approximationsfehlers

Der Preis für die Hardwareeffizienz ist die Rechenpräzision. Das System führt zu einem maximalen Approximationsfehler von 7,58%. Dieser Fehler stammt aus zwei Hauptquellen:

1. Designfehler: Der inhärente Fehler durch die Verwendung einer endlichen Anzahl von Spline-Segmenten zur Approximation der Zielfunktion.
2. Parasitärer Fehler: Fehler, die durch analoge Nichtidealitäten (Mismatch, Rauschen, Parasitäreffekte) in den ABBs eingeführt werden.

6. Fallstudie & Framework-Beispiel

Szenario: Implementierung eines ressourcenschonenden Anomalie-Detektors für einen flexiblen Herzfrequenzmesser. Das Gerät muss einen einfachen Gesundheitsindex $H$ aus zwei Eingaben berechnen: Herzfrequenzvariabilität (HRV) $x_1$ und Pulsform-Schiefe $x_2$. Eine bekannte empirische Beziehung $H = f(x_1, x_2)$ existiert, ist jedoch nichtlinear.

Framework-Anwendung:

1. Funktionszerlegung: Mit dem vorgeschlagenen Framework wird $f(x_1, x_2)$ durch ein 2-schichtiges KAN mit der Struktur [2, 3, 1] approximiert. Das Netzwerk wird offline auf einem Datensatz trainiert.
2. ABB-Zuordnung: Die trainierten univariaten Funktionen (Splines) auf den 6 Kanten der ersten Schicht und den 3 Kanten der zweiten Schicht werden auf Polynomkoeffizienten abgebildet.
3. Schaltungsinstanziierung: Für jeden Spline wird die benötigte Anzahl stückweiser Polynomsegmente bestimmt. Die entsprechenden Multiplizierer- und Quadrierer-ABBs werden mit den Koeffizienten (als Vorspannungen/Ströme) konfiguriert und gemäß dem KAN-Graphen mit Addierer-ABBs verbunden.
4. Einsatz: Diese analoge KAN-Schaltung wird direkt auf dem flexiblen Pflaster gefertigt. Sie verbraucht kontinuierlich Mikrowatt an Leistung, verarbeitet Sensordaten in Echtzeit, um Anomalien zu kennzeichnen, ohne Digitalisierung oder drahtlose Übertragung der Rohdaten.

7. Anwendungsausblick & Zukünftige Richtungen

Kurzfristige Anwendungen:

• Intelligente biomedizinische Pflaster: Signalverarbeitung auf dem Pflaster für EKG, EEG oder EMG, ermöglicht lokale Merkmalsextraktion (z.B. QRS-Detektion) vor der Datenübertragung.
• Umweltsensor-Hubs: In-situ-Kalibrierung und Datenfusion für Temperatur-, Feuchtigkeits- und Gassensoren in IoT-Knoten.
• Wearable-Gestenerkennung: Ultra-niedrigleistungs-Vorverarbeitung von Daten aus flexiblen Dehnungs- oder Drucksensor-Arrays.

1. Fehlertolerantes Training: Entwicklung von Trainingsalgorithmen, die die KAN-Parameter sowohl für Genauigkeit als auch für Robustheit gegenüber analogen Schaltungs-Nichtidealitäten gemeinsam optimieren (ähnlich hardwarebewusstem neuronalem Netzwerktraining).
2. Adaptive & rekonfigurierbare ABBs: Erforschung von Schaltungen, bei denen Spline-Koeffizienten nach der Fertigung leicht angepasst werden können, um Prozessvariationen auszugleichen oder sich an verschiedene Aufgaben anzupassen.
3. Integration mit Sensorik: Design von ABBs, die direkt mit bestimmten Sensortypen (z.B. Fotodioden, piezoresistive Elemente) verbinden, hin zu echter analoger Sensor-Prozessor-Fusion.
4. Skalierbarkeit auf tiefere Netzwerke: Untersuchung architektonischer Techniken und Schaltungsdesigns, um Rauschen und Fehlerakkumulation in tieferen analogen KANs für komplexere Aufgaben zu handhaben.

8. Referenzen

1. Z. Liu et al., "KAN: Kolmogorov-Arnold Networks," arXiv:2404.19756, 2024. (Das grundlegende Papier zur Wiederbelebung von KANs).
2. Y. Chen et al., "Flexible Hybrid Electronics: A Review," Advanced Materials Technologies, Bd. 6, Nr. 2, 2021.
3. M. Payvand et al., "In-Memory Computing with Emerging Memory Technologies: A Review," Proceedings of the IEEE, 2023. (Kontext zu alternativen effizienten Rechenparadigmen).
4. J. Zhu et al., "Analog Neural Networks: An Overview," in IEEE Circuits and Systems Magazine, 2021. (Hintergrund zu analoger ML-Hardware).
5. International Roadmap for Devices and Systems (IRDS™), "More than Moore" White Paper, 2022. (Diskutiert die Rolle heterogener Integration und anwendungsspezifischer Hardware wie FE).
6. B. Murmann, "Mixed-Signal Computing for Deep Neural Network Inference," IEEE Transactions on Very Large Scale Integration (VLSI) Systems, 2021. (Relevant für die Analyse des Präzision-Effizienz-Kompromisses).

9. Originalanalyse & Expertenkommentar