發布時間：2022-04-11所屬分類：計算機職稱論文瀏覽：1次
摘 要： 摘 要 為了克服武器裝備在維修過程中存在的原理結構復雜，缺乏形象性指導等問題，對基于增強現實的裝備輔助維修系統及其應用現狀進行了研究分析。按功能的不同，將該系統劃分為四個模塊，并對這四個模塊涉及的關鍵技術進行了分析和介紹，總結歸納了當前最新的研究動態
摘 要 為了克服武器裝備在維修過程中存在的原理結構復雜，缺乏形象性指導等問題，對基于增強現實的裝備輔助維修系統及其應用現狀進行了研究分析。按功能的不同，將該系統劃分為四個模塊，并對這四個模塊涉及的關鍵技術進行了分析和介紹，總結歸納了當前最新的研究動態和發展趨勢。該系統利用增強現實技術的虛實交互特性，使武器裝備的維修過程變得直觀形象，可以顯著提升維修效果，有很大的發展應用潛力。
關鍵詞 武器裝備維修 增強現實 計算機視覺虛實交互
引 言
隨著現代作戰環境和武器裝備日益復雜，軍事裝備維修和維護對維護人員的要求也越來越高。但由于維修人員對新式武器裝備的結構原理不夠熟悉，再加上缺乏形象直觀的維修輔助手段，導致部隊維修保障能力受到了嚴重制約。然而，增強現實技術具有強大的表現力和形象性，正是解決這些問題的有效手段。
增強現實( Augmented Reality，AR) 技術[1]是在虛擬現實( Virtual Reality，VR) 技術上發展起來的， AR 技術是將真實場景和虛擬物體相互融合的一種手段，讓人能以自然的方式與虛擬世界中的對象進行交互。AR 系統的特點是虛實空間的一致性結合以及實時交互，具體包括三維物體的注冊技術、跟蹤和定位技術以及顯示技術等。
基于增強現實的武器裝備維修系統將真實的維修環境與虛擬維修環境融為一體，其不僅維持了用戶對真實環境的感官效果，還通過特定的設備使得用戶與場景中的虛擬物體進行交互。它的整個維修過程都是在真實環境下進行的，虛擬環境主要承擔維修引導、提示等功能。相比于其它維修系統，基于增強現實的裝備維修系統具有更強的形象性、直觀性和適時性，可以有效克服由于對武器裝備原理的不了解和裝備本身的復雜性所帶來的維修困難問題，提高維修的質量和效果。
近年來，國內對增強現實的研究逐漸增多，但限于硬件的發展水平，這些成果還多停留于實驗室層面。2015 年 1 月，微軟推出了 Hololens 眼鏡，為增強現實的研究提供了一個先進的硬件平臺，再加上早幾年發布的 Kinect 體感設備，掀起了增強現實研究的一個新的熱潮。本文首先介紹了國內外在基于增強現實的裝備維修技術上取得的成果，然后依據 Hololens 硬件平臺為基礎，探討了基于增強現實的裝備維修系統的設計和應用，并對其關鍵技術的研究現狀和發展趨勢進行分析和介紹。
1 基于增強現實的裝備維修技術發展狀況
1. 1 基于增強現實的裝備維修技術在國外的發展應用
國外對增強現實的研究起步較早，歐美等發達國家在這一領域的發展代表了當今世界增強現實維修技術發展的最高水平。
20 世紀 90 年代初期[2]，增強現實技術開始于波音公司的 Tom Caudell 和他的同事提出將增強現實應用到輔助布線系統中。在他們設計的系統中，應用 S-HMD 將由簡單線條繪制的布線路徑和文字提示信息實時地疊加在機械師的視野中，機械師在這些信息的幫助下能夠一步一步地完成拆卸過程，減少拆卸過程中可能帶來的風險。
在航空維修和航空制造領域，美國波音公司首先將增強現實技術應用于飛機制造中的電力線纜的連接和接線器的裝配。據報道，DART 510 型航空發動機應用增強現實維修系統后其維修時間可減少 56% 。在載人航天工程中，美國 NASA 的 JPL 實驗室就提出了 Phantom Robot 的概念，指出了用仿真圖像對視頻圖像進行疊加增強，以便克服時延對操作的影響，這一方法經驗證可以使操作時間節約近 50% 。
美軍對于增強現實誘導維修技術在軍事領域的應用十分關注，其空軍在 2007 年 8 月聯合空軍研究實驗室、戰斗人員準備研究部、哥倫比亞大學等啟動了維護修理增強現實研究計劃，旨在加強對戶外增強現實系統和支持分布式協同操作增強現實系統的研究，用以提升裝備維護和維修訓練的效果。增強現實技術誘導維修技術也進入了蓬勃發展的階段。
2015 年，由美國國防部牽頭成立的數字化制造與設計創新機構發布了七大研發項目，其中之一就是基于增強現實和可穿戴計算的生產車間布局。該項目實現的功能是通過增強現實顯示設備實時展示和共享實物、模型、設計圖紙等信息，利用多通道人機自然交互技術，使得異地、多人可以實時互動，溝通交流設計思想，修改與改進方案; 通過增強現實系統，可以將裝配維修的標準工作流程指南準確地顯示給用戶，提高工作效率。
2015 年 6 月，微軟增強現實設備 Hololens 獲得了美國 NASA 的垂青，將作為 Sidekick 項目的關鍵工具，隨 著 SpaceX 公司的太空飛船登陸太空， Sidekick 項目能夠幫助宇航員更快掌握空間站的維修，適應空間站環境，從而縮短訓練時間，提升任務效率。
1. 2 基于增強現實的裝備維修技術在國內的發展現狀
國內增強現實技術的起步較晚，目前在軍事領域的應用很少，但在一些民用設備的維修方面取得了一定的成果[4]。如南京航空航天大學 RMS 中心則開展了將 AR 技術用于民用航空器維修的相關研究工作; 華中科技大學徐遲主要研究了增強現實環境下裝配系統的虛實融合技術，根據虛實模型混合特點構建裝配模型，采用機器視覺標志跟蹤法進行三維注冊，利用深度圖逐點對比虛實對象的深度位置關系以解決虛實遮擋問題，并實現虛實零件的融合; 廣東工業大學的宋春雨以齒輪油泵為研究對象，在移動終端 Android 系統下，實現增強現實環境下的裝配，并著重研究了虛實融合技術的實現、無標識注冊算法和交互方式的設計。
2 基于增強現實的武器裝備智能維修系統框架
基于增強現實的裝備維修系統按照功能不同可以劃分為維修引導信息離線建模模塊、維修對象視覺處理、虛擬維修工具注冊融合模塊、人機交互 4 個模塊。
維修引導信息離線建模模塊[5]主要是在在線維修開始之前對增強現實引導維修的功能過程進行建模，通過采集相關的維修場景圖片，輸入與之對應的維修引導信息，進而生成相應的數據庫，供在線維修階段進行對比調用。維修對象視覺處理模塊主要功能是通過計算機視覺對維修場景進行相關處理分析，包括維修目標的識別跟蹤、三維場景重建、計算機位姿跟蹤。
虛擬維修工具注冊融合模塊的主要內容是求解出虛擬引導工具的注冊位姿，并將其與真實場景無縫融合起來。
人機交互模塊包含兩部分內容，一部分是將融合好的增強現實維修場景通過頭戴式顯示器展示給維修人員，另一部分是維修人員對虛擬引導工具的操控，主要通過語音、人體動作的方式進行控制。
3 基于增強現實的導彈裝備智能維修系統關鍵技術研究
3. 1 維修引導信息離線建模模塊
維修引導信息是指在增強現實的虛擬場景中給予的用于輔助維修操作的信息，可以采用視頻、音頻、圖像、文字、標識等形式給出，通過分析培訓任務，從相關維修手冊、資料中分析出維修輔助信息，并在增強現實的虛擬場景中建模實現。
維修引導信息建模主要包括二維的文字、圖片及視頻輔助引導信息和三維的虛擬模型引導信息。二維維修引導信息主要包括操作設備名稱、維修操作步驟信息、工具信息等，主要通過多媒體上設備進行顯示; 三維的虛擬模型引導信息主要包括維修操作對象設備和操作工具模型，兩者在增強現實維修操作輔助系統中以三維模型的樣式進行渲染疊加，其信息包括幾何模型信息、三維位姿信息和引導路徑信息等，Unity3D 工具是當前搭建三維模型最流行的軟件。
離線維修場景采集是在離線情況下對可能出現的維修現場情況進行采集。每一種情況建立相應的 維修引導模型，將建立好的三維模型引導信息和二維模型引導信息與相應的維修場景圖片匹配，儲存到數據庫中。在線訓練時，通過對在線維修場景的分析從數據庫中找出相應的維修引導模型，得出其注冊位姿即可融合到真實環境中。
3. 2 維修對象視覺處理模塊
本文設計的增強現實智能維修系統依據 Hololens 硬件平臺開發實現，Hololens 同時具備 RGB 和深度攝像頭[6]，維修對象視覺處理模塊處理的信息主要基于 RGB-D 視頻流。相比于傳統的單一 RGB 檢測或者灰度檢測，基于 RGB-D 的聯合檢測方式融合了目標的深度信息，能夠有效提升目標識別和場景重建的速度、準確率和魯棒性。
3. 2. 1 圖像目標的快速識別
為了實現基于圖像自然特征[7]的維修對象識別與跟蹤，需要從圖像中快速提取特征并與三維特征庫中的特征點進行匹配，從而獲得一組二維圖像點與三維特征點的對應。為此，需要實現圖像特征的快速提取與描述，通常采用的方法有快速角點檢測、二進制描述、SURF、Freak 等算法實現; 但是隨著要描述場景空間的增加，特征庫中描述子的數量也在不斷增長，為了保持高的匹配精度，利用上述索引方法進行特征匹配的速度也在呈幾何級數下降。
當前的主要解決途徑有，改進二進制描述子索引方法，利用特征庫中三維特征點與描述子的一對多特性，建立有監督的特征索引方法; 還可以采用層級聚類樹或者局部敏感哈希方法對特征庫中的描述子建立索引從而提高匹配速度。
3. 2. 2 維修對象視頻目標跟蹤
視頻目標跟蹤的本質就是在連續視頻幀中找到感興趣運動目標所處的位置。如何準確地識別目標，并進行長時間的實時穩定跟蹤是研究的關鍵問題。
一些常用的目標跟蹤算法[8]有基于粒子濾波的目標跟蹤、基于 Meanshift 的目標跟蹤、基于卡爾曼濾波的目標跟蹤等。實際應用中常常將幾種不同的方法結合起來使用，以發揮不同算法的優勢，如 Meanshift 和粒子濾波方法結合起來，對每個粒子使用 Meanshift 算法改善每個粒子的性能，能提高跟蹤精度。將卡爾曼濾波和 Meanshift 算法結合起來，通過卡爾曼濾波方法預測目標在下一幀的位置或者通過卡爾曼濾波更新目標模型來改善跟蹤的性能。
為了在視頻序列中更好地實現[9]目標跟蹤，許多學者在目標跟蹤方法中融入機器學習的思想來進行參數的自適應設定和目標的描述，以增強對環境的適應能力，從而產生了基于機器學習的目標跟蹤方法，常用于目標跟蹤的學習算法有支持向量機 ( SVM) 和 AdaBoost 。SVM 跟蹤的缺點是不能處理目標的消失或重新出現現象以及目標部分或全部遮擋，AdaBoost 在實時性能上還有待提高。
隨著深度學習理論[10]的發展，基于深度學習的視頻目標跟蹤系統逐漸得到更多的研究應用。在目標識別跟蹤領域最典型的應用是卷積神經網絡 ( Convolutional Neural Network，CNN) 。如圖 5 所示，該卷積模型通過權值共享、局部感受野等特點，大幅度降低了神經網絡中的參數數量，提高了計算速度。
深度學習模型的特點是數據量巨大，訓練耗時較長，但是成功訓練好的模型具有優越的識別性能。2015 年 11 月 9 日谷歌開源的人工智能系統 TensorFlow，2016 年 1 月微軟開源的人工智能工具包 CNTK( Computational Network Toolkit，CNTK) ，是當前用于深度學習的最新軟件平臺，其中已經集成好很多經典的算法，可以用于解決圖像識別和視頻跟蹤問題。其中，CNTK 工具包和 Hololens 眼鏡均由微軟推出，兩者兼容性較好，并且 CNTK 是當前運行最快的深度學習軟件，完全可以滿足基于增強現實的智能維修系統實時性要求。
3. 2. 3 三維場景重建
傳統的三維重建往往需要使用雙目視覺原理對場景深度進行計算，RGB-D 攝像機的應用使三維重建過程得到了大幅度簡化，利用深度傳感器，可以同時采集單個視角的圖像和與該視角圖像對應的深度數據，通過對多個視角下采集的深度傳感器數據的融合，能夠實現真實場景三維重建。
為降低圖像處理所需內存和與之對應的算法復雜度，當前的研究趨勢是對維修對象物理空間進行稀疏三維表達; 對于物理空間的稀疏化造成的拓撲結構碎片問題，通過確定稀疏物理空間表達下的高效拓撲結構表述與索引方法來解決，基于高效拓撲表述的快速跟蹤與融合能夠有效提高三維重構的實時性。
3. 2. 4 攝像機位姿跟蹤
基于自然特征點的攝像機位姿估算可以看作是一 個 透 視 n 點 投 影 問 題[11]， 簡 稱 為 PnP( Perspective n Point) 。假定像機模型為透視投影模型并且已經標定好，在圖 6 中建立該模型，Oc 是攝像機坐標系原點，Os 是圖像坐標系原點，Ow 是世界坐標系原點。攝取一幅在世界坐標系下坐標已知的 n 個空間點( 如圖中 P1、P2、P3 ) 的圖像，且這 n 個空間點所對應的圖像坐標系的坐標( 圖中 P' 1、 P' 2、P' 3 ) 已知，求解 n 個空間點在攝像機坐標系下的坐標，或是求解世界坐標系相對于攝像機坐標系的位置 t 和姿態 R。
如圖 6 所示，當前主要的求解方法有解析求解算法、迭代求解算法和基于全局優化的求解算法。解析求解算法通過利用三維特征點和二維特征點間的幾何關系來得到關于像機位置姿態的解析表達式。目前認為解析算法中計算復雜度最低的一種算法是文獻中提出的 EPnP 算法。相比于解析求解算法，攝像機位姿迭代求解算法的優勢是計算過程簡單，而且抗圖像噪聲干擾、抗特征點誤匹配的能力強。POSIT ( Pose From Orthography and Scaling With Iteration) 算法[12]是利用弱透視投影模型設計的一種迭代求解算法，并且在 OpenCV 中有專門的函數來實現這個算法。全局優化算法是針對迭代算法不能保證得到全局最優解的缺點提出的。
當前位姿解算的的三種求解方法中，迭代求解算法實時性較好，且對噪聲的抗干擾能力較強，并具有較高的位姿估計精度，所以更廣泛地應用到三維注冊技術中。然而，由于位姿跟蹤解算本身的復雜性，實際應用中還需要對算法進行一定的改進調整，效果較好的有文獻[13]提出的利用迭代求解部分和精細調節過程構成的快速像機位姿估計算法。
3. 3 虛擬維修工具注冊融合模塊
該模塊要完成的主要功能是從數據庫中找到當前維修場景需要的維修引導模型，然后通過前一模塊的分析得出維修引導工具的注冊位姿，最后將維修引導工具融合到真實環境中，從而生成增強現實虛擬維修場景。
由攝像機位姿信息，再結合硬件傳感器可以得到維修人員視點的位姿信息，以此為基礎添加虛擬引導工具，進而確定虛擬維修工具的位姿。
相關知識推薦：發表增強現實技術方向的論文期刊
確定虛擬引導工具位姿后，要將虛擬維修工具與真實場景融合起來，稱為虛實融合。其關鍵問題是維持真實維修環境中維修對象和虛擬引導工具位姿匹配的空間、時間一致性，對于空間一致性問題需要判斷虛擬引導工具與真實的維修對象之間的空間干涉關系，一般分為兩步，一是將三維重建的維修對象模型放置到與被維修對象完全重合，但不可視。二是將虛擬的工具設備與維修對象模型進行空間干涉判斷，可以采用碰撞檢測算法實現。時間一致性要求兩個環境使用同一個仿真時間，并保證時間嚴格同步，否則會造成兩個環境成像時間不一致性問題，嚴重影響增強現實系統的真實感。
3. 4 人機交互模塊
當前人機交互的形式主要有兩種，一是通過語音命令控制虛擬信息，二是通過人體動作對虛擬信息進行相關操作。Hololens 甚至 Kinect 內都配有相應的語音操作系統，對于開發者來說可以直接進行使用。
對于人體動作的識別有基于傳感器的識別和視覺識別兩種形式[14]。顯然，基于視覺的識別有更好的人機交互體驗，是當前的主要研究方向。就當前的研究現狀而言，人體動作識別有手勢識別和肢體動作識別兩類。手勢識別控制具有簡單易操作的特點，通過識別手部的姿態信息，對系統輸入不同的指令，從而完成對虛擬物體的相應操作。
手勢識別主要包括手部分割、手部跟蹤、特征提取、分類識別四個步驟，其流程如圖 7 所示。
另一種識別類型是基于肢體動作的動作識別，如舉臂、點頭、下蹲、抬腿等。這些動作的判別主要依據與人體關節點的識別跟蹤，Kinect 等體感設備本身就具有自動捕捉人體關節點的功能，跟蹤這些關節點的位置組合可以對一些簡單動作進行識別判定。——論文作者：劉 帆 劉鵬遠 徐彬彬
SCISSCIAHCI
