Localisation par Communication Optique Caméra et Photogrammétrie pour Applications de Réseaux Sans Fil

1. Introduction

Ce mémoire, présenté par Md. Tanvir Hossan à l'Université Kookmin en 2018, étudie une approche novatrice de la localisation en combinant de manière synergique la Communication Optique Caméra (OCC) et la photogrammétrie. Le postulat central est de répondre aux limitations des systèmes traditionnels basés sur les Radiofréquences (RF) comme le GPS et le Wi-Fi, en particulier dans des environnements difficiles tels que les intérieurs ou les canyons urbains denses.

1.1 Introduction

Cette recherche est motivée par la demande croissante de systèmes de positionnement précis, fiables et nécessitant peu d'infrastructure pour l'Internet des Objets (IoT), les véhicules autonomes et les applications de ville intelligente.

1.2 Importance de la localisation

Une information de localisation précise est un élément fondamental pour les services modernes conscients du contexte.

1.2.1 Localisation intérieure

Les signaux GPS sont fortement atténués à l'intérieur, entraînant des erreurs de l'ordre du mètre ou un échec complet. Les systèmes alternatifs basés sur les RF (Wi-Fi, Bluetooth) souffrent de la propagation multitrajets et nécessitent un étalonnage extensif par empreintes ou un déploiement d'infrastructure dense.

1.2.2 Localisation véhiculaire

Pour la conduite autonome et les communications Véhicule-vers-Tout (V2X), une précision centimétrique est cruciale. Le GPS seul est insuffisant en raison des blocages de signal et des erreurs atmosphériques. La fusion de capteurs avec caméras et LiDAR est courante mais coûteuse en calcul.

1.3 Innovation de l'OCC et de la photogrammétrie en localisation

La méthode hybride proposée introduit une utilisation à double finalité des diodes électroluminescentes (LED) et d'une caméra :

• OCC (Liaison de données) : Les LED transmettent des codes d'identification ou des données (par exemple, des coordonnées 3D connues) via une lumière modulée, capturée par une caméra. Cela fournit un canal de communication robuste, libre de licence et à fort rapport signal/bruit, immunisé contre les interférences RF.
• Photogrammétrie (Moteur de positionnement) : La même image de la caméra est utilisée pour effectuer une reconstruction 3D. En identifiant les repères LED connus (via les ID décodés par OCC) dans l'image 2D, la position et l'orientation (pose) de la caméra peuvent être calculées en utilisant les principes de la géométrie projective.

Cette fusion crée un système autonome où les repères diffusent leur propre identité et localisation, simplifiant ainsi la chaîne de localisation.

1.4 Contribution

Le mémoire revendique des contributions dans la proposition de cette architecture hybride spécifique, le développement des algorithmes associés pour le décodage des données et l'estimation de la pose, et la validation de ses performances pour les scénarios intérieurs et véhiculaires.

1.5 Organisation du mémoire

Le document est structuré avec des chapitres sur les travaux connexes, le modèle de système proposé, l'analyse des performances et la conclusion.

2. Travaux connexes en localisation

2.1 Introduction

Ce chapitre passe en revue les technologies de localisation existantes, établissant une base de référence pour mettre en évidence les avantages de la méthode proposée. Il couvre probablement les méthodes basées sur les RF (GPS, Wi-Fi RTT, UWB), les méthodes basées sur la vision (monoculaire/SLAM, RA basée sur marqueurs) et d'autres méthodes optiques comme le LiDAR et le Positionnement par Lumière Visible (VLP) pur.

Analyse et critique originale

Idée centrale : Ce mémoire n'est pas simplement un autre article sur le positionnement ; c'est une astuce ingénieuse qui réutilise le capteur le plus ubiquitaire du smartphone — la caméra — en un récepteur radio et un outil de topographie combinés. La véritable innovation est d'utiliser la modulation lumineuse pour intégrer une "étiquette nominative" numérique dans un repère physique, contournant élégamment le problème complexe de vision par ordinateur de l'appariement de caractéristiques et de la consultation de base de données qui affecte la localisation visuelle traditionnelle (comme le Service de Positionnement Visuel de Google). Il transforme une source lumineuse passive en un balise active et auto-identifiante.

Logique et forces : La logique est solide et parcimonieuse. Le flux système — capture d'image, décodage des ID OCC, récupération des coordonnées 3D connues, résolution du problème Perspective-n-Point (PnP) — est un pipeline linéaire et clair. Ses forces sont évidentes dans des applications de niche : imaginez des robots d'entrepôt naviguant sous des lumières d'allée à LED modulées, ou des drones s'arrimant dans un hangar avec des marqueurs LED codés. Il est très résistant au cacophonie RF des environnements modernes, un point souligné par les recherches du groupe de travail IEEE 802.15.7r1 sur la standardisation de l'OCC, qui met en avant son utilité dans les zones sensibles aux interférences électromagnétiques. Comparé aux systèmes VLP purs qui n'utilisent que la puissance du signal reçu (RSS) ou l'angle d'arrivée (AoA) et souffrent du bruit de la lumière ambiante, cette méthode hybride utilise la structure géométrique de l'image, plus robuste aux fluctuations d'intensité.

Faiblesses et lacunes critiques : Cependant, l'approche est fondamentalement entravée par les lois de l'optique. L'exigence d'une ligne de vue directe (LoS) est son talon d'Achille, la rendant inutilisable dans des environnements encombrés ou sans ligne de vue (NLoS) — un contraste frappant avec la capacité des RF à traverser les murs. La portée effective est limitée par la résolution de la caméra et la luminosité des LED ; on ne peut pas suivre des véhicules à 200 mètres avec une caméra de smartphone. De plus, les performances du système chutent sous une lumière ambiante élevée (soleil) ou avec un flou de mouvement de la caméra, des problèmes que les systèmes RF ignorent largement. Le mémoire passe probablement sous silence la latence de calcul du traitement d'image en temps réel et du décodage OCC, qui pourrait être prohibitive pour les applications véhiculaires à haute vitesse. C'est une solution de haute précision pour un ensemble de problèmes très spécifique et contraint.

Perspectives exploitables : Pour les praticiens, ce travail est un plan pour concevoir des environnements "intelligents". Le point à retenir est de concevoir l'infrastructure d'éclairage LED en intégrant la localisation dès le départ — en utilisant des schémas de modulation standardisés comme ceux de la Communication Optique Caméra (OCC) de l'IEEE 802.15.7. L'avenir n'est pas de remplacer le GPS ou le positionnement 5G, mais de les augmenter. La voie la plus viable est la fusion de capteurs : une centrale inertielle (IMU) et le GPS fournissent une estimation approximative et toujours disponible, tandis que le système OCC-photogrammétrie délivre une correction de haute précision chaque fois que la caméra a une vue sur un balise. Cette approche de fusion de capteurs hybrides est le thème central de la recherche de pointe en localisation pour les systèmes autonomes, comme on le voit sur des plateformes comme NVIDIA DRIVE.

Détails techniques et formulation mathématique

Le problème mathématique central est le problème Perspective-n-Point (PnP). Étant donné :

• Un ensemble de $n$ points 3D dans le système de coordonnées monde : $\mathbf{P}_i = (X_i, Y_i, Z_i)^T$, obtenus à partir de l'ID LED décodé par OCC.
• Leurs projections 2D correspondantes dans le plan image : $\mathbf{p}_i = (u_i, v_i)^T$.
• La matrice intrinsèque de la caméra $\mathbf{K}$ (issue de l'étalonnage).

Trouver la rotation $\mathbf{R}$ et la translation $\mathbf{t}$ de la caméra qui satisfont :

$\mathbf{p}_i = \mathbf{K} [\mathbf{R} | \mathbf{t}] \mathbf{P}_i$

Pour $n \geq 4$ (dans une configuration non dégénérée), cela peut être résolu efficacement en utilisant des algorithmes comme EPnP ou IPPE. La composante OCC implique de démoduler le signal d'intensité lumineuse d'une région d'intérêt (ROI) autour de chaque tache LED dans l'image. Cela utilise typiquement la Modulation par Tout ou Rien (OOK) ou la Modulation de Position d'Impulsion Variable (VPPM). La chaîne de traitement du signal implique une différence d'images pour supprimer l'arrière-plan, une synchronisation et un décodage.

Résultats expérimentaux et performances

Sur la base de la structure du mémoire et de travaux similaires, la section expérimentale valide probablement le système dans une configuration de laboratoire contrôlée et un scénario véhiculaire simulé.

Description du graphique (inférée) : Un diagramme à barres comparant l'erreur de localisation (en centimètres) pour différents systèmes : RSSI Wi-Fi, Bluetooth Low Energy (BLE), VLP pur (utilisant RSS), et la méthode proposée OCC+Photogrammétrie. La barre OCC+Photogrammétrie serait significativement plus courte, démontrant une précision inférieure à 30 cm, tandis que les autres montrent des erreurs de 1 à 5 mètres. Un deuxième graphique linéaire montre probablement l'erreur en fonction de la distance par rapport aux repères LED, l'erreur augmentant progressivement mais restant inférieure à un mètre dans la plage opérationnelle conçue (par exemple, 5-10m).

Métriques clés rapportées :

• Précision de localisation : Erreur quadratique moyenne (RMSE) en position, probablement dans la plage de 10-30 cm dans de bonnes conditions.
• Taux de réussite du décodage OCC : Pourcentage d'images où les ID LED ont été correctement décodés, dépendant du temps d'exposition, de la fréquence d'images et de la fréquence de modulation.
• Latence de traitement : Temps entre la capture de l'image et l'estimation de la pose, critique pour les applications en temps réel.
• Robustesse à la lumière ambiante : Dégradation des performances sous différentes conditions d'éclairage.

Cadre d'analyse : un cas conceptuel

Scénario : Robot d'inventaire d'entrepôt intelligent.

1. Problème : Un robot doit naviguer vers une étagère spécifique (Allée 5, Baie 12) avec une précision centimétrique pour scanner des articles. Le GPS est indisponible. Le Wi-Fi est peu fiable en raison des rayonnages métalliques causant du multitrajets.

2. Cadre de solution OCC-Photogrammétrie :

• Infrastructure : Chaque allée a une série unique de lumières LED au plafond. Chaque LED module un code simple transmettant ses coordonnées $(X, Y, Z)$ pré-relevées par rapport à une carte de l'entrepôt.
• Capteur du robot : Une caméra orientée vers le haut.
• Flux de travail :
  1. Le robot entre dans l'Allée 5. Sa caméra capture les LED du plafond.
  2. Le traitement d'image isole les taches lumineuses (LED).
  3. Le décodeur OCC extrait les coordonnées $(X, Y, Z)$ pour chaque LED visible.
  4. Le solveur PnP utilise ces correspondances 3D-2D pour calculer la position précise $(x, y)$ et le cap $(\theta)$ du robot dans l'allée.
  5. Cette position de haute précision est fusionnée avec l'odométrie des roues dans un filtre de Kalman pour une navigation fluide.

3. Résultat : Le robot localise la Baie 12 avec précision, démontrant l'utilité du système dans un environnement intérieur structuré et équipé de LED.

Applications futures et axes de recherche

• Persistance des ancres en Réalité Augmentée (RA) : Des LED compatibles OCC dans un musée pourraient permettre aux dispositifs de RA de verrouiller instantanément et précisément du contenu virtuel à une exposition physique sans balayage manuel, comme exploré par des projets comme Azure Spatial Anchors de Microsoft utilisant des caractéristiques visuelles.
• Coordination ultra-précise d'essaims de drones : Dans un espace contrôlé comme un atelier d'usine, les drones pourraient utiliser des plaques d'atterrissage à LED modulées pour un arrimage et une recharge précis au millimètre, un concept pertinent pour les centres de distribution Amazon Prime Air.
• Communication V2X et localisation : Les phares/feux arrière des voitures et les feux de signalisation pourraient diffuser leur identité et leur état (par exemple, "Je suis le feu de signalisation #47, passant au rouge dans 2s"), permettant aux véhicules de les localiser précisément et de comprendre leur intention, améliorant les systèmes de sécurité.
• Axes de recherche :
  1. Atténuation NLoS : Utiliser des surfaces réfléchissantes ou des motifs de lumière diffusée pour permettre une détection limitée sans ligne de vue.
  2. Standardisation et interopérabilité : Pousser à une adoption plus large des standards OCC (IEEE 802.15.7r1) pour garantir que différents balises et récepteurs fonctionnent ensemble.
  3. Intégration d'apprentissage profond : Utiliser des réseaux de neurones convolutifs (CNN) pour régresser directement la pose à partir d'images contenant des LED modulées, rendant le système plus robuste aux occlusions partielles et au bruit.
  4. Protocoles écoénergétiques : Concevoir des protocoles de cycle de service pour des étiquettes IoT alimentées par batterie utilisant des rétro-réflecteurs et un flash d'appareil photo comme interrogateur.

Références

1. Hossan, M. T. (2018). Localization using Optical Camera Communication and Photogrammetry for Wireless Networking Applications [Mémoire de Master, Université Kookmin].
2. IEEE Standard for Local and Metropolitan Area Networks--Part 15.7: Short-Range Optical Wireless Communications. (2018). IEEE Std 802.15.7-2018.
3. Lepetit, V., Moreno-Noguer, F., & Fua, P. (2009). EPnP: An Accurate O(n) Solution to the PnP Problem. International Journal of Computer Vision, 81(2), 155–166.
4. Zhuang, Y., Hua, L., Qi, L., Yang, J., Cao, P., Cao, Y., ... & Thompson, J. (2018). A Survey of Positioning Systems Using Visible LED Lights. IEEE Communications Surveys & Tutorials, 20(3), 1963-1988.
5. NVIDIA Corporation. (2023). NVIDIA DRIVE Hyperion : Plateforme informatique pour véhicules autonomes. Récupéré de https://www.nvidia.com/en-us/self-driving-cars/
6. Microsoft Corporation. (2023). Azure Spatial Anchors. Récupéré de https://azure.microsoft.com/en-us/products/spatial-anchors/