基于增強現實技術的聽障兒童智能玩具系統設計

發布時間：2022-04-16所屬分類：計算機職稱論文瀏覽：1次

摘 要： 摘 要：針對聽障兒童自我封閉等心理障礙，設計互動性與體驗感較高的增強現實技術的聽障兒童智能玩具系統，提高聽障兒童的互動興趣。構建包含客戶端與服務器端的系統整體架構，通過客戶端的攝像機標定與數據傳輸模塊，采集圖像并運算攝像機內外參數，將圖像與外參數據向

　　摘 要：針對聽障兒童自我封閉等心理障礙，設計互動性與體驗感較高的增強現實技術的聽障兒童智能玩具系統，提高聽障兒童的互動興趣。構建包含客戶端與服務器端的系統整體架構，通過客戶端的攝像機標定與數據傳輸模塊，采集圖像并運算攝像機內外參數，將圖像與外參數據向服務器端傳輸;服務器端的虛實融合模塊依據客戶端所傳輸的圖像與外參數據，構造背景貼圖并實時更新攝像機位置與角度，完成場景的虛實融合，并通過用戶交互模塊內的運動控制部分，實現聽障兒童對智能玩具移動與轉動等運動的控制。實驗結果表明，該系統的通信同步性與穩定性較高，可實現對智能玩具的高精度控制，平均幀率可達到30.97 f/s，有效保障動態畫面呈現的流暢性，可為提高聽障兒童的互動興趣、消除自閉障礙提供有效幫助。

　　關鍵詞：智能玩具;增強現實;聽障兒童;互動興趣;背景貼圖;虛實融合;運動控制

　　0 引 言

　　聽障兒童因存在生理缺陷，造成他們在不同程度上的自我認知能力不足，因此易出現情緒低落、壓抑及自我封閉等性格與心理上的缺陷，長此以往將導致聽障兒童在人際交往方面形成障礙[1] 。語言與聽力方面的缺陷造成他們更習慣通過視覺感受外界生活與認知世界，因此針對聽障兒童所設計的智能玩具更應注重視覺的沖擊與交互的體驗[2] �；�于此設計的聽障兒童智能玩具，可調動聽障兒童的情緒，讓其注意力集中到同智能玩具的交互中，令他們產生深層次的感覺反應，并有效激發他們的學習興趣與潛能，消除聽障兒童的自我封閉等心理障礙，提高其人際交往能力[3⁃4] 。為實現此目的，需設計一種能夠實現聽障兒童與智能玩具交互的系統。

　　基于 Mindstorms 的控制系統通過 UDP 協議完成控制機器人與 PC 的通信，并運用 PD 實現控制，此系統的控制精度高，但其通信同步性與畫面呈現的流暢性較差[5] ;基于 WinCE 的控制系統通過遠程調試模式與控制器相連，完成在示教器內置的 WinCE操作系統下對機器人的控制，該系統畫面呈現的流暢性與通信同步穩定性較佳，但控制精度略差[6] 。增強現實(Augmented Reality， AR)技術屬于一種采用計算機視覺技術對攝像機位置和角度進行實時運算，同時向真實圖像內疊加計算機所生成的三維虛擬物體或二維圖像的技術[7⁃8] 。它不僅對虛擬現實技術的優點予以很好的繼承，而且彌補了虛擬現實技術的缺陷之處，與虛擬現實技術相比，其展示效果更加真實[9] 。

　　綜合以上分析，本文設計一種基于 AR 技術的聽障兒童智能玩具系統，該系統屬于一種虛擬智能玩具交互系統，可實現對真實智能玩具的運動狀況與各項功能的精準演示，同時提供交互功能。該系統可通過虛擬智能玩具為聽障兒童提供更加絢麗的呈現效果，同時能夠代替真實智能玩具的功能，并帶來真實玩具無法提供的樂趣，提升了聽障兒童的互動能力與自我認知能力。

　　1 基于 AR 技術的聽障兒童智能玩具系統

　　1.1 系統整體架構

　　通過分析 AR 技術的聽障兒童智能玩具系統需求，運用 C/S 架構創建保護客戶端與服務器端的系統整體架構。其中，客戶端的主要任務為采集圖像、標定攝像機以及運算場景信息等;服務器端的關鍵職責為搭建與渲染虛擬場景、智能玩具運動控制、場景的虛實融合及用戶交互界面顯示等。系統的整體架構如圖 1所示。圖 1 系統整體架構圖依據 AR 技術的聽障兒童智能玩具系統的現實應用需求，劃分該系統的功能需求為基本功能需求與高級功能需求。其中，基本功能需求屬于該系統正常運行的根本，采用標定攝像機的方式將攝像機姿態確準，達到智能玩具場景虛實融合的目的;高級功能需求的重點為聽障兒童手動操控虛擬智能玩具漫游與指定漫游路線等交互功能。

　　1.2 系統功能模塊劃分與設計

　　1.2.1 攝像機標定與數據傳輸模塊

　　通過采集一定量具有完整標識圖的圖像實施攝像機標定，運算出攝像機的內部參數，以 XML 格式的文件儲存運算內部參數。通過讀取所運算的內部參數，以采集的每幀圖像為依據，對攝像機外部參數實施運算，向服務器端發送運算所得的攝像機外部參數及所采集的當前幀圖像數據。繼續進入下一幀，重復以上過程實施幀循環。通過 Socket實現數據傳輸，建立同服務器端的 TCP 連接后，分包發送每幀數據，重復操作直至進程完成或終止。攝像機標定與數據傳輸模塊過程如圖2所示。

　　1.2.2 場景虛實融合模塊

　　此模塊主要包括虛擬場景搭建與場景虛實融合兩部分。系統以真實場景為依據完成虛擬環境的搭建，所搭建的虛擬場景內主要包含：智能玩具三維模型、虛擬攝像機、模型材質、場景光源及虛擬地面等。另外，將自動漫游功能加入到虛擬智能玩具內，令其可在虛擬環境下實施漫游展示。

　　客戶端傳輸的攝像機外部參數數據與圖像數據由服務器端的數據接收模塊接收;通過格式變換接收到的圖像數據，將格式變換后的圖像數據當作當前幀的背景貼圖;采用接收到的攝像機外部參數運算出攝像機的位姿和角度，依據運算結果對當前幀的攝像機姿態實施設置;進入下一幀循環執行以上過程，將融合了真實場景和虛擬場景的感官效果展現給聽障兒童。場景虛實融合過程如圖 3所示。

　　1.2.3 用戶交互模塊

　　在以上兩個模塊的基礎上，設計包含智能玩具運動控制、指定運動路徑兩部分的用戶交互模塊，將更好的 沉浸感與真實感提供給聽障兒童[10] 。用戶交互模塊結構如圖 4所示。

　　通過用戶交互模塊中的運動控制部分，聽障兒童可實現以鍵盤、鼠標或其余輸入設備控制智能玩具轉動和移動;通過該模塊中的指定運動路徑部分可實現屏幕的拾取功能，比如聽障兒童通過鼠標指定虛擬環境中的某個點，系統能夠檢測到該指定點的位置，并令智能玩具依據檢測到的指定點位置運動[11⁃12] 。

　　1.4 場景虛實融合

　　通過設置背景貼圖，并對攝像機位置和角度予以實時更新，能夠令虛擬場景和真實場景接近一致，實現場景的虛實融合[13] 。

　　1.4.1 背景貼圖構造

　　融合虛擬場景和真實場景為 AR 技術的關鍵，以此實現將虛擬物體或圖像向實際環境內真實疊加的效果[14] ，故應將由攝像機采集的圖像當作虛擬場景的背景貼圖。通過運用輔助攝像機的深度渲染層次，在場景內構造背景貼圖。以深度值為依據由高到低對物體實施渲染，即為整個虛擬場景內的渲染順序。設背景貼圖的深度值為-1，其他場景元素的深度值均為 1，場景中主攝像機的采集區間設為深度值≥1，輔助攝像機的采集區間設為深度值≤-1，如此整個虛擬場景內除了背景貼圖之外的其余場景元素均由主攝像機實施成像，輔助攝像機僅對背景貼圖實施成像。當對每幀圖像實施渲染時，應先對整個虛擬場景內深度值高的部分實施渲染，再對深度值低的背景貼圖實施渲染，獲得背景貼圖置于整個虛擬場景之后的最終效果。

　　1.4.2 數據接收與場景更新

　　完成背景貼圖構造后，在場景對每幀實施渲染，通過監聽端口接收的圖像數據對背景貼圖實施更新，同時對虛擬攝像機的位置與角度予以實時調整[15] 。場景更新過程如圖 5 所示。采用 New Thread 構建子線程，在子線程內開啟監聽端口實施監聽。當子線程監聽端口接收到圖像數據后，對其實施相應的坐標轉換;通過 GPU 操作依次設定相對位置像素的三通道值，避免了單個設置各個像素值運行效率低的問題;向 Color 數組內存儲每個圖像的全部像素值，再對當前幀的背景貼圖像素值實施設置。

　　1.5 智能玩具運動控制

　　為實現對智能玩具的運動控制，需通過客戶/服務器模式并基于 TCP/IP 協議設計反饋式增量控制方法，其中，客戶端與服務器端分別為下位機與上位機。具體控制過程如圖 6所示。

　　具體控制步驟為：

　　1)由下位機發出連接請求。

　　2)上位機對下位機發出的連接請求實施監聽。

　　3)當上位機監聽到來自下位機發出的連接請求后，若未給予應答，則返回步驟 1);若下位機得到上位機的連接應答，則繼續。

　　4)下 位 機 對 智 能 玩 具 當 下 的 位 置 數 據 { E, A1 , A2 ,…, A5 }進行讀取，其中 A1~A5 表示智能玩具的 5 個旋轉自由度，E 表示智能玩具的整體平移自由度，并以數據包格式將其封裝之后向上位機發送。

　　5)當上位機將來自下位機的數據包接收到之后，以設定的運動軌跡為依據，對智能玩具運動自由度下一幀的位移增量{ ΔE,ΔA1 ,ΔA2 ,…,ΔA5 }實施運算，并以指令格式將其封裝發往下位機。

　　6)下位機接收到來自上位機的指令數據之后，將智能玩具各自由度的位移增量數據提取出，并依據設定的增量驅動智能玩具運動。

　　相關知識推薦：論文發表國際期刊快嗎

　　7)下位機對通信是否斷開實施檢測，若未斷開則轉至步驟 4);反之，則轉至步驟 1)。

　　2 實驗結果分析

　　以某公司生產的智能玩具為實驗對象(如圖 7 所示)，檢驗本文系統的綜合性能。選取基于 Mindstorms 的智能機器人控制系統與基于 WinCE 的開放式 6R 工業機器人控制系統作為本文系統的對比系統，兩個對比系統分別為參考文獻[5⁃6]系統，將實驗智能玩具分別用于三個系統中，對比分析各系統的綜合性能。系統測試環境為：

　　1)服務器端：Microsoft SQL Server 2014 數據庫、 Windows Server 2016 服 務 器 操 作 系 統 、Power Builder 9.1及 IIS 6.1信息服務管理工具。

　　2)客戶端：Windows 10、Power Builder 9.1、IE10 及以上版本瀏覽器。

　　2.1 通信同步性分析

　　對于在交互過程中實施對實驗智能玩具的運動控制時，上位機與下位機的通信同步性尤為重要，同步性越高則智能玩具對交互過程中的運動控制反映越靈敏，如此能夠有效提升聽障兒童交互時的真實體驗。在此通過通信頻率對三個系統的通信同步性實施檢測與分析，所得檢測結果如圖 8所示。通過圖 8能夠得出，本文系統與 WinCE 系統隨通信周期的增加，通信頻率并未出現顯著波動，而 Mindstorms 系統的通信頻率波動現象較為明顯;本文系統的整體通信頻率明顯高于其他兩個系統，由此可見，本文系統與 WinCE 系統的通信同步穩定性更好，本文系統的通信同步性更高。

　　2.2 運動控制性能分析

　　分別將三個系統中所用的攝像機依次安裝于實驗智能玩具上，對比各系統交互過程中控制實驗智能玩具時的運動控制誤差。統計各系統運動控制過程中，實驗智能玩具的實際軌跡和設計軌跡間的誤差，以此對比各系統的運動控制誤差。分別對比 x，y，z三個平移方向的誤差，對比結果如圖 9所示。由圖 9可知，在本文系統控制下，實驗智能玩具的 x，y，z 三個方向的平均位移誤差依次為 1.96 mm、0.69 mm、0.75mm，三個方向的最大誤差依次為 2.41mm、0.98 mm、1.12 mm;在 Mindstorms 系統控制下，實驗智能玩具的 x，y，z 三個方向的平均位移誤差依次為 3.08 mm、1.76 mm、1.68 mm，三個方向的最大誤差依次為 3.86 mm、2.12 mm、2.47 mm;在 WinCE 系統控制下，實驗智能玩具的 x，y，z 三個方向的平均位移誤差依次為 5.47 mm、2.78 mm、2.71 mm，三個方向的最大誤差依次為 6.23 mm、3.66 mm、3.56 mm。由此說明，本文系統對實驗智能玩具的運動控制誤差更低，能夠更好地實現智能玩具的實際運動軌跡與設計運動軌跡重合，控制效果好、精準度高、控制性能優越。

　　2.3 流暢性能測試

　　為進一步檢驗本文系統對動態畫面呈現的流暢性能，現對三個系統 30 s內背景貼圖更新的幀率狀況實施分析圖 10中各系統的測試結果能夠得出，在實施背景貼圖更新過程中，本文系統與 WinCE 系統的平均幀 率分別為30.97 f/s和25.55 f/s，明顯高于Mindstorms系統 15.33 f/s 的平均幀率，可見本文系統與 WinCE 系統對于動 態 畫 面 的 流 暢 顯 示 能 夠 給 予 更 有 效 的 保 障 ，而 Mindstorms 系統在呈現動態畫面的流暢性方面稍顯薄弱。

　　綜合以上 3 組實驗測試結果可知，本文系統在通信同步性、運動控制性能及流暢性能三方面的綜合表現更為優越，具有非常好的實時交互性能，能夠有效提升聽障兒童與智能玩具的互動體驗感和互動性。

　　3 結 語

　　本文設計了一種基于 AR 技術的聽障兒童智能玩具系統，針對聽障兒童在互動與人際交往等方面的缺陷，提供一種可實現聽障兒童與智能玩具間實時交互的系統。通過 AR 技術的虛實融合，實現向真實環境中疊加虛擬物體或圖像的目的，為聽障兒童提供一個逼真的虛擬交互場景，并結合運動控制方法實現聽障兒童對智能玩具的運動控制，提升交互效果，令聽障兒童在交互過程中激發對智能玩具的興趣，消除其自我封閉與壓抑等情緒，逐步提升聽障兒童的互動能力與人際交往能力。通過實驗測試可知，本文系統具有較高的通信同步性能，通信穩定性較好，能夠實現對智能玩具的有效控制，控制精度高，同時可有效保障所呈現動態畫面的流暢性，提升聽障兒童的真實體驗感。——論文作者：周玉翠，毛澤民

　　參 考 文 獻

　　[1] 王秀麗，蔣曉，趙丹琳，等 .基于具身認知的兒童智能玩具交互設計研究[J].包裝工程，2019，40(16)：165⁃170.

　　[2] 趙柵凌 . 聾人文化視域下聽障兒童音樂教育現狀的審視與突圍[J].四川戲劇，2019(7)：161⁃164.

　　[3] 陳麗蘭，王雁，肖少北 . 智力在聽障兒童信息加工速度與數量加工間的中介作用[J]. 中華行為醫學與腦科學雜志，2019，28 (10)：925⁃929.

　　[4] 汪梅梅，劉晉宣，萬勤，等 .不同視聽提示方式對學齡前聽障兒童嗓音基頻的影響[J]. 聽力學及言語疾病雜志，2018，26(6)： 624⁃627.

　　[5] 程翀，郭曉彬，陳祥磊，等 .基于 Mindstorms 的智能機器人控制系統開發[J]. 武漢理工大學學報(交通科學與工程版)，2018， 42(2)：247⁃252.

　　[6] 王振華，許琳娜，蘭雪艷 .基于 WinCE 的開放式 6R 工業機器人控制系統研究與開發[J]. 組合機床與自動化加工技術，2018 (6)：76⁃80.

　　[7] 張海森，楊光輝，劉超見，等 .基于 AR 技術的跨平臺移動終端的輔助學習系統[J].圖學學報，2018，39(1)：85⁃90.

　　[8] 伊鵬，劉衍聰，石永軍，等 .基于增強現實技術的工程圖學移動端教學系統設計與開發[J].圖學學報，2018，39(6)：1207⁃1213.

　　[9] 滕健，萬福成 . 基于增強現實的產品展示 APP 設計研究[J]. 包裝工程，2017，38(14)：219⁃223.

　　[10] 吳群彪，方海峰，范紀華，等 .基于 VR/AR 技術的機械課程教學方法探索[J].機械設計，2018，35(z2)：432⁃434.

　　[11] 劉子建，李欣 . 基于增強現實技術的兒童數字化閱讀產品設計[J].包裝工程，2019，40(8)：197⁃203.

　　[12] 田元，周冪，夏丹，等 . 基于移動增強現實的學齡前兒童教育游戲研究與設計[J].電化教育研究，2019，40(4)：68⁃75.

　　[13] 張四方，江家發 . 科學教育視域下增強現實技術教學應用的研究與展望[J].電化教育研究，2018，39(7)：64⁃69.

　　[14] 楊家博，楊剛，楊猛 .基于深度圖像分割與物體跟蹤的增強現實系統[J].系統仿真學報，2017，29(11)：2788⁃2795.

　　[15] 張志利，王超，龍勇，等 .基于核相關濾波器無標識 AR 的目標跟蹤仿真[J].系統仿真學報，2018，30(11)：4462⁃4468.