Utafiti wa Uwekaji Mahali kwa Kuchanganya Mawasiliano ya Kamera ya Mwanga na Fotogrametria kwa Matumizi ya Mitandao Isiyo na Waya

1. Utangulizi

Tasnifu hii, iliyowasilishwa na Md. Tanvir Hossan kwa Chuo Kikuu cha Kookmin mwaka 2018, inachunguza njia mpya ya kuweka mahali kwa kuchanganya kwa ushirikiano Mawasiliano ya Kamera ya Mwanga (OCC) na fotogrametria. Dhana kuu ni kushughulikia mapungufu ya mifumo ya jadi inayotegemea Mzunguko wa Redio (RF) kama vile GPS na Wi-Fi, hasa katika mazingira magumu kama ndani ya majengo au mabonde ya mijini yenye msongamano.

1.1 Utangulizi

Utafiti huu umesukumwa na mahitaji yanayoongezeka ya mifumo ya kuweka mahali iliyo sahihi, ya kuaminika na yenye miundombinu midogo kwa ajili ya Internet ya Vitu (IoT), magari yanayojitegemea, na matumizi ya miji mahiri.

1.2 Umuhimu wa Uwekaji Mahali

Taarifa sahihi ya mahali ni kiinua msingi kwa huduma za kisasa zinazotambua muktadha.

1.2.1 Uwekaji Mahali Ndani ya Majengo

Mawimbi ya GPS hupunguzwa sana ndani ya majengo, na kusababisha makosa ya kiwango cha mita au kushindwa kabisa. Mifumo mbadala inayotegemea RF (Wi-Fi, Bluetooth) hukumbwa na usambazaji wa njia nyingi na inahitaji uwekaji wa alama za vidole vyema au uwekaji mnene wa miundombinu.

1.2.2 Uwekaji Mahali wa Gari

Kwa ajili ya uendeshaji wa kujitegemea na mawasiliano ya Gari-kwa-Kila-Kitu (V2X), usahihi wa kiwango cha sentimita ni muhimu sana. GPS pekee haitoshi kwa sababu ya kuzuiwa kwa mawimbi na makosa ya anga. Uchanganyaji wa sensor na kamera na LiDAR ni kawaida lakini wa gharama kubwa ya hesabu.

1.3 Uvutio wa OCC na Fotogrametria katika Uwekaji Mahali

Njia mseto iliyopendekezwa inaletia matumizi ya madhumuni mawili ya diodes zinazotoa mwanga (LED) na kamera:

• OCC (Kiungo cha Data): LED hutoa misimbo ya utambulisho au data (k.m., kuratibu za 3D zinazojulikana) kupitia mwanga uliosawazishwa, ambao unapakuliwa na kamera. Hii hutoa njia ya mawasiliano thabiti, isiyo na leseni, na yenye uwiano wa ishara-kwa-kelele (SNR) ya juu isiyoathiriwa na usumbufu wa RF.
• Fotogrametria (Injini ya Uwekaji Mahali): Picha ile ile ya kamera hutumiwa kutengeneza ujenzi wa 3D. Kwa kutambua alama za LED zinazojulikana (kupitia vitambulisho vilivyofasiriwa na OCC) katika picha ya 2D, mahali na mwelekeo (pose) wa kamera vinaweza kuhesabiwa kwa kutumia kanuni za jiometri ya makadirio.

Uchanganyaji huu huunda mfumo unaojitegemea ambapo alama hutangaza utambulisho na mahali pao wenyewe, na kurahisisha mchakato wa kuweka mahali.

1.4 Mchango

Tasnifu inadai michango katika kupendekeza muundo huu mahususi mseto, kuunda algoriti zinazohusiana za kufasiri data na makadirio ya pose, na kuthibitisha utendaji wake kwa hali zote za ndani na za gari.

1.5 Muundo wa Tasnifu

Hati hii imepangwa na sura kuhusu kazi zinazohusiana, muundo wa mfumo uliopendekezwa, uchambuzi wa utendaji, na hitimisho.

2. Kazi Zinazohusiana na Uwekaji Mahali

2.1 Utangulizi

Sura hii inachunguza teknolojia zilizopo za kuweka mahali, na kuweka msingi wa kuonyesha faida za njia iliyopendekezwa. Inaweza kujumuisha njia zinazotegemea RF (GPS, Wi-Fi RTT, UWB), njia zinazotegemea taswira (monocular/SLAM, AR inayotegemea alama), na njia zingine za mwanga kama LiDAR na Uwekaji Mahali wa Mwanga Unaonekana (VLP) safi.

Uchambuzi wa Asili na Ukosoaji

Ufahamu wa Msingi: Tasnifu hii sio tu karatasi nyingine ya kuweka mahali; ni hack yenye busara inayobadilisha sensor inayotumika zaidi ya simu mahiri—kamera—kuwa kifaa cha kupokea redio na chombo cha upimaji vilivyochanganywa. Uvumbuzi wa kweli ni kutumia usawazishaji wa mwanga kuingiza "kitambulisho" cha kidijitali ndani ya alama halisi, na kuepuka kwa ustadi tatizo changamano la kompyuta la kuendanisha vipengele na kutafuta kwenye hifadhidata ambalo linawasumbua uwekaji mahali wa kuona wa jadi (kama Huduma ya Uwekaji Mahali ya Kuona ya Google). Inabadilisha chanzo cha mwanga kisichofanya chochote kuwa beacon inayojitambulisha na yenye shughuli.

Mtiririko wa Mantiki na Nguvu: Mantiki ni sahihi na ya kifupi. Mtiririko wa mfumo—kupakua sura, kufasiri vitambulisho vya OCC, kurejesha kuratibu za 3D zinazojulikana, kutatua Tatizo la Mtazamo-n-Uhakika (PnP)—ni mchakato safi, wa mstari. Nguvu zake zinaonekana wazi katika matumizi mahususi: fikiria roboti za ghala zinazoelekea chini ya taa za mwanga za korido zilizosawazishwa, au drone zinazoweza kutua kwenye banda lenye alama za LED zilizosimbwa. Inakinzana sana na kelele ya RF ya mazingira ya kisasa, jambo lililosisitizwa na utafiti kutoka kwa kikundi cha kazi cha IEEE 802.15.7r1 juu ya uanzishaji wa viwango vya OCC, ambacho kinasisitiza matumizi yake katika maeneo yanayohisi umeme. Ikilinganishwa na mifumo safi ya VLP ambayo hutumia tu nguvu ya ishara iliyopokelewa (RSS) au pembe ya kufika (AoA) na inakumbwa na kelele ya mwanga wa mazingira, njia hii mseto hutumia muundo wa jiometri wa picha, ambao ni thabiti zaidi kwa mabadiliko ya ukali.

Kasoro na Mapungufu Muhimu: Hata hivyo, njia hii imefungwa kimsingi na sheria za optiki. Hitaji la mstari wa kuona (LoS) wa moja kwa moja ndio kisigino cha Achilles chake, na kuifanya isitumike katika mazingira yenye vurugu au yasiyo na mstari wa kuona (NLoS)—tofauti kubwa na uwezo wa RF wa kupenya kuta. Urefu unaofaa unawekewa kikomo na azimio la kamera na mwangaza wa LED; hutakuwa ukifuatilia magari kwa umbali wa mita 200 kwa kamera ya simu mahiri. Zaidi ya hayo, utendaji wa mfumo hupungua sana chini ya mwanga mkubwa wa mazingira (jua) au kwa blur ya mwendo wa kamera, masuala ambayo mifumo ya RF kwa kiasi kikubwa hupuuza. Tasnifu inaweza kupita juu ya ucheleweshaji wa hesabu wa usindikaji wa picha wa wakati halisi na ufasiri wa OCC, ambao unaweza kuwa wa kuzuia kwa matumizi ya kasi ya juu ya gari. Ni suluhisho la usahihi wa juu kwa seti mahususi sana, iliyowekewa vikomo ya matatizo.

Ufahamu Unaoweza Kutekelezwa: Kwa watendaji, kazi hii ni mchoro wa kubuni mazingira "mahiri". Ufahamu unaoweza kutekelezwa ni kubuni miundombinu ya taa za LED kwa kuzingatia uwekaji mahali tangu mwanzo—kwa kutumia mipango ya kusawazisha iliyoanzishwa kama Mawasiliano ya Kamera ya Mwanga (OCC) ya IEEE 802.15.7. Siku zijazi sio katika kuchukua nafasi ya GPS au uwekaji mahali wa 5G, lakini katika kuongeza nguvu zao. Njia inayoweza kutekelezeka zaidi ni uchanganyaji wa sensor: IMU na GPS hutoa makadirio ya takriban, yanayopatikana kila wakati, wakati mfumo wa OCC-fotogrametria hutoa marekebisho ya usahihi wa juu kila wakati kamera inapoona beacon. Njia hii ya uchanganyaji wa sensor mseto ndio mandhari kuu katika utafiti wa kisasa wa uwekaji mahali kwa mifumo inayojitegemea, kama inavyoonekana katika majukwaa kama NVIDIA DRIVE.

Maelezo ya Kiufundi na Muundo wa Hisabati

Tatizo kuu la hisabati ni Tatizo la Mtazamo-n-Uhakika (PnP). Kwa kuzingatia:

• Seti ya pointi $n$ za 3D katika mfumo wa kuratibu wa ulimwengu: $\mathbf{P}_i = (X_i, Y_i, Z_i)^T$, zilizopatikana kutoka kwa kitambulisho cha LED kilichofasiriwa na OCC.
• Makadirio yao yanayolingana ya 2D katika ndege ya picha: $\mathbf{p}_i = (u_i, v_i)^T$.
• Matriki ya ndani ya kamera $\mathbf{K}$ (kutoka kwa urekebishaji).

Tafuta mzunguko $\mathbf{R}$ na uhamisho $\mathbf{t}$ wa kamera ambavyo vinakidhi:

$\mathbf{p}_i = \mathbf{K} [\mathbf{R} | \mathbf{t}] \mathbf{P}_i$

Kwa $n \geq 4$ (katika usanidi usioharibika), hii inaweza kutatuliwa kwa ufanisi kwa kutumia algoriti kama EPnP au IPPE. Sehemu ya OCC inahusisha kusawazisha ishara ya ukali wa mwanga kutoka eneo la kupendeza (ROI) karibu na kila doa ya LED katika picha. Hii kwa kawaida hutumia Ufunguo wa Washa-Zima (OOK) au Usawazishaji wa Nafasi ya Pigo Inayobadilika (VPPM). Mnyororo wa usindikaji wa ishara unahusisha tofauti za sura kuondoa mandharinyuma, ulinganifu, na ufasiri.

Matokeo ya Majaribio na Utendaji

Kulingana na muundo wa tasnifu na kazi zinazofanana, sehemu ya majaribio inaweza kuthibitisha mfumo katika usanidi wa maabara uliodhibitiwa na hali ya kufikiria ya gari.

Maelezo ya Chati (Yaliyokisiwa): Chati ya baa inayolinganisha kosa la uwekaji mahali (kwa sentimita) kwa mifumo tofauti: Wi-Fi RSSI, Bluetooth Low Energy (BLE), VLP Safi (kutumia RSS), na njia iliyopendekezwa ya OCC+Fotogrametria. Baa ya OCC+Fotogrametria ingekuwa fupi zaidi, na kuonyesha usahihi wa chini ya sentimita 30, wakati nyingine zinaonyesha makosa ya mita 1-5. Grafu ya mstari wa pili inaweza kuonyesha kosa kama kazi ya umbali kutoka kwa alama za LED, na kosa likiongezeka polepole lakini likibaki chini ya mita ndani ya safu ya kazi iliyobuniwa (k.m., 5-10m).

Vipimo Muhimu Vilivyoripotiwa:

• Usahihi wa Uwekaji Mahali: Kosa la Mzizi wa Maana ya Mraba (RMSE) katika nafasi, uwezekano katika safu ya sentimita 10-30 chini ya hali nzuri.
• Kiwango cha Mafanikio cha Ufasiri wa OCC: Asilimia ya sura ambapo vitambulisho vya LED vilifasiriwa kwa usahihi, inategemea wakati wa mfiduo, kiwango cha sura, na mzunguko wa usawazishaji.
• Ucheleweshaji wa Usindikaji: Muda kutoka kwa kupakua picha hadi makadirio ya pose, muhimu kwa matumizi ya wakati halisi.
• Uthabiti dhidi ya Mwanga wa Mazingira: Kupungua kwa utendaji chini ya hali tofauti za mwanga.

Mfumo wa Uchambuzi: Kesi ya Kufikiria

Hali: Roboti Mahiri ya Hesabu ya Ghala.

1. Tatizo: Roboti inahitaji kuelekea kwenye rafu mahususi (Korido 5, Bweni 12) kwa usahihi wa sentimita ili kusakama vitu. GPS haipatikani. Wi-Fi haiaminiki kwa sababu ya rafu za chuma zinazosababisha njia nyingi.

2. Mfumo wa Suluhisho la OCC-Fotogrametria:

• Miundombinu: Kila korido ina mfuatano wa kipekee wa taa za LED kwenye dari. Kila LED inasawazisha msimbo rahisi unaoleta kuratibu zake za $(X, Y, Z)$ zilizopimwa mapema kuhusiana na ramani ya ghala.
• Sensor ya Roboti: Kamera inayoelekea juu.
• Mchakato wa Kazi:
  1. Roboti inaingia Korido 5. Kamera yake inapakua taa za LED za dari.
  2. Usindikaji wa picha hutenganisha madoa mwangavu (LED).
  3. Kifasiri cha OCC hutoa kuratibu za $(X, Y, Z)$ kwa kila LED inayoonekana.
  4. Kitatuzi cha PnP hutumia mawasiliano haya ya 3D-2D kuhesabu mahali sahihi $(x, y)$ na mwelekeo $(\theta)$ wa roboti katika korido.
  5. Marekebisho haya ya usahihi wa juu huchanganywa na odometri ya gurudumu katika Kichujio cha Kalman kwa ajili ya uelekezaji laini.

3. Matokeo: Roboti inapata Bweni 12 kwa usahihi, na kuonyesha matumizi ya mfumo katika mazingira ya ndani yaliyopangwa na yaliyo na vifaa vya LED.

Matumizi ya Baadaye na Mwelekeo wa Utafiti

• Uendelevu wa Nanga za Ukweli Ulioongezwa (AR): LED zilizo na OCC katika makumbusho zinaweza kuruhusu vifaa vya AR kufunga mara moja na kwa usahihi maudhui ya kufikiria kwa onyesho halisi bila kusakama kwa mikono, kama ilivyochunguzwa na miradi kama Nanga za Anga za Azure za Microsoft kwa kutumia vipengele vya kuona.
• Uratibu wa Kundi la Drone wenye Usahihi wa Juu: Katika nafasi iliyodhibitiwa kama sakafu ya kiwanda, drone zinaweza kutumia vibao vya kutua vya LED vilivyosawazishwa kwa kutua na kuchaji kwa usahihi wa milimita, dhana inayohusiana na vituo vya utekelezaji wa Amazon's Prime Air.
• Mawasiliano ya V2X na Uwekaji Mahali: Taa za mbele/nyuma za gari na taa za trafiki zinaweza kutangaza utambulisho na hali yao (k.m., "Mimi ni taa ya trafiki #47, ninageuka nyekundu katika sekunde 2"), na kuwezesha magari kuzipata kwa usahihi na kuelewa kusudi, na kuimarisha mifumo ya usalama.
• Mwelekeo wa Utafiti:
  1. Upunguzaji wa NLoS: Kutumia nyuso za kuakisi au muundo wa mwanga uliosambazwa kuwezesha hisia ndogo za mazingira yasiyo na mstari wa kuona.
  2. Uanzishaji wa Viwango na Uendeshaji Pamoja: Kusukuma kwa kupitishwa kwa viwango vya OCC (IEEE 802.15.7r1) ili kuhakikisha beacon na vipokezi tofauti vinafanya kazi pamoja.
  3. Ujumuishaji wa Kujifunza Kina: Kutumia CNN kurejesha pose moja kwa moja kutoka kwa picha zilizo na LED zilizosawazishwa, na kufanya mfumo kuwa thabiti zaidi kwa kuzuiwa kwa sehemu na kelele.
  4. Itifaki zenye Ufanisi wa Nishati: Kubuni itifaki za mzunguko wa wajibu kwa lebo za IoT zenye betri kwa kutumia viakisi vya kurudisha mwanga na umeme wa kamera kama mhoji.

Vyanzo

1. Hossan, M. T. (2018). Localization using Optical Camera Communication and Photogrammetry for Wireless Networking Applications [Tasnifu ya Uzamili, Chuo Kikuu cha Kookmin].
2. Kiwango cha IEEE cha Mawasiliano ya Ndani na ya Jiji--Sehemu ya 15.7: Mawasiliano ya Mwanga Isiyo na Waya ya Umbali Mfupi. (2018). IEEE Std 802.15.7-2018.
3. Lepetit, V., Moreno-Noguer, F., & Fua, P. (2009). EPnP: Suluhisho Sahihi la O(n) kwa Tatizo la PnP. Gazeti la Kimataifa la Kompyuta ya Kuona, 81(2), 155–166.
4. Zhuang, Y., Hua, L., Qi, L., Yang, J., Cao, P., Cao, Y., ... & Thompson, J. (2018). Uchunguzi wa Mifumo ya Uwekaji Mahali Inayotumia Taa za Mwanga Unaonekana. IEEE Communications Surveys & Tutorials, 20(3), 1963-1988.
5. NVIDIA Corporation. (2023). Jukwaa la Hesabu la Gari la Kujitegemea la NVIDIA DRIVE Hyperion. Imepatikana kutoka https://www.nvidia.com/en-us/self-driving-cars/
6. Microsoft Corporation. (2023). Nanga za Anga za Azure. Imepatikana kutoka https://azure.microsoft.com/en-us/products/spatial-anchors/