發布時間：2022-04-09所屬分類：計算機職稱論文瀏覽：1次
摘 要： 摘 要：傳統的博物館展示方式大多采用櫥窗陳列物品，存在信息表達單一，互動性差等缺陷。通過分析增強現實與虛擬現實混合所涉及的關鍵技術，提出了一種基于AR-VR混合開發博物館互動展示系統的方法。實驗表明，采用虛擬現實技術和增強現實技術結合的方式可以使館藏信息
摘 要：傳統的博物館展示方式大多采用櫥窗陳列物品，存在信息表達單一，互動性差等缺陷。通過分析增強現實與虛擬現實混合所涉及的關鍵技術，提出了一種基于AR-VR混合開發博物館互動展示系統的方法。實驗表明，采用虛擬現實技術和增強現實技術結合的方式可以使館藏信息展示更全面、效果更逼真，激發參觀者的觀察與思考，實現更深層次的交互體驗。
關鍵詞：計算機視覺;虛擬現實;增強現實;互動體驗
1 引言
近年來，人們開始對文化的需求呈現出與日俱增的態勢，博物館作為人類認知文明的重要場所，館藏展品的展示方式一直備受關注。傳統的博物館展示模式大多采用物品陳列方式，幾乎所有展品都是以靜態方式擺放在櫥窗中，再輔以有限的文字說明，這樣的展示方式會令參觀者感覺索然無味，并且很難觀測到展品的細節特征。隨著移動互聯網的迅猛發展，增強現實(Augment Reality，AR)交互式展示方式得到了更多人的青睞，國內外眾多學者都對增強現實技術進行了相關探索及應用研究。例如，Feiner 等人創建了最早期的 AR 原型系統[1] ，這個系統為手持式應用，可以為參觀者提供建筑或文物的3D圖形信息;陳靖等使用慣性傳感器構建室外 AR系統[2] ;北京理工大學利用透視式頭盔等顯示設備在增強現實技術基礎上開發虛擬數字圓明園系統[3] ;任波等人結合 ARToolKit 開發工具實現了增強現實地產樣板房展示系統[4] ;李江等人利用增強現實技術開發了一個恐龍博物館[5] ;胡穎群等人基于增強現實技術研究實現三維虛擬商品展示系統[6] 。
增強現實技術可以用虛擬的附加信息去增強使用者對真實世界的觀察，做到從參觀者角度出發，充分調動參觀者積極性。然而在具體實踐中，卻暴露出了一些問題，比如沉浸感不強，在博物館參觀過程中，人們在了解展品歷史文化時，希望身臨其境一般與場景中的模型進行近距離接觸，仔細端詳各個細節來補充人眼直接觀察時不易觀察到的細節信息。單一的增強現實技術弱化了使用者對真實世界的觀察和感知能力，為了克服這些問題，本文在增強現實技術基礎上融入虛擬現實技術，將二者結合。提出一種基于AR-VR混合技術的展品展示方式，并探討二者混合所涉及的關鍵技術，該方法打破了傳統的靜態櫥窗展示方式，采用雙向互動方式在虛擬現實與增強現實間進行切換，大大增強展覽的參與性和交互性，從而克服增強現實技術在交流互動中存在的一些問題，使得人們能夠在主動觀察的同時有更好的交互體驗。
2 關鍵技術
2.1 系統框架
AR-VR博物館展覽互動系統將虛擬現實技術與增強現實技術結合，利用虛擬現實技術的沉浸感以及增強現實的交互感提升參觀者參觀博物館的交流互動體驗。系統一共分兩個模塊，分別是博物館虛擬漫游模塊和增強交互模塊，博物館虛擬漫游模塊使用虛擬現實技術[7] ，虛擬的模擬博物館內外場景，把客觀上并不存在的景物，運用計算機技術，在用戶眼前生成一個虛擬的環境，使人感到沉浸在虛擬博物館場景中。而增強交互模塊基于增強現實技術，通過攝像頭采集場景視頻，采用計算機視覺跟蹤注冊方法[8] 根據真實場景中的人工標志物信息進行跟蹤注冊，將虛擬信息疊加在真實場景中，以增強展品信息展示，系統具體框架結構如圖1所示。
首先開啟程序進入虛擬漫游模塊，基于預先制作好的三維虛擬場景開啟場景漫游模式，參觀者可以在博物館中向前、向后、向左、向右移動，或是用鼠標、頭盔控制旋轉視角。在AR-VR切換方面，當參觀者想從虛擬世界切換到真實世界時只需點擊虛擬AR按鈕，即可完成模塊切換。當切換到增強交互模塊后，系統立即開啟攝像頭捕獲場景的初始識別圖像，采用基于計算機視覺跟蹤注冊技術計算出攝像機位姿數據，并持續地將位姿數據不斷傳遞給渲染模塊，將虛擬展品加載到真實場景中。系統實現采用Unity3D平臺，整合Vuforia SDK進行開發。
2.2 虛擬漫游模塊開發
博物館展覽互動系統中虛擬漫游模塊開發基于Unity3D 平臺，Unity3D 是由 Unity Technologies 公司開發的一款綜合性交互式開發平臺，擁有高度優化的圖形渲染管道，可以與一些增強現實開發工具相結合實現虛實疊加人機交互功能也可以實現虛擬現實世界的生成。首先通過 3ds Max、Maya 等三維軟件完成建模和貼圖，將模型建好后發布為.fbx格式文件，接下來將.fbx 文件直接導入Unity3D中構建虛擬博物館場景。最后，為參觀者的虛擬漫游加入交互指令，并對場景進行管理，具體實現流程如圖2所示。
2.2.1 虛擬場景構建
虛擬博物館場景模型制作是虛擬現實漫游模塊開發中非常重要的組成部分，因為模型的質量決定了虛擬場景搭建后的效果，與博物館漫游系統的體驗效果也直接相關。在本文中，所有博物館建筑均采用3ds Max建模軟件實現，在制作建筑模型過程中，既要考慮模型真實感問題，又要考慮系統運行速度問題[9] 。因此，采用精細建模和簡單建模相結合的方式構建虛擬的博物館三維景觀。博物館場景模型的制作分為兩種 ，一種是復雜模型，像博物館內陳設、展品等，這種模型制作要求非常精細，做建模時要適當保留細節。還有一種是簡單模型，像道路、樹木等，這種模型的制作非常簡單，只需制作出大致的輪廓，可以靠貼圖去實現三維效果。模型的制作也有很多的規范，在考慮到系統性能的情況下要求非常多。比如，做模型在不影響真實度基礎上，必須要減少模型的面數和分段數，刪除模型相交處隱形的面數，單個模型面數最多不能超過1 000，否則場景中復雜模型過多，會影響系統的運行，通過對整個場景中模型的優化達到最終的效果。貼圖方面，本文使用高清數碼相機拍攝的圖片來制作紋理貼圖，讓體驗者有更加直觀的感受。
2.2.2 虛擬漫游
當博物館場景搭建完成后，導入Unity平臺，通過加入虛擬漫游交互功能，可以實現體驗者在博物館場景中進行虛擬漫游，體驗者通過上下左右鍵進行前后左右行走，也可以通過頭戴設備進行視角轉換，或是選擇跑步、走路等多種方式以便讓用戶獲得更好的體驗，具體實現如下所示。
2.3 增強交互模塊開發
同VR技術相比，AR技術可以使博物館導覽系統創造更豐富的互動方式，因為AR技術可以在真實世界中疊加虛擬信息，因此可以增強真實世界的物體和環境[10] 。增強交互模塊開發主要分三步進行：首先，通過攝像頭采集真實場景視頻圖像。其次，將檢測到的標志進行跟蹤注冊。最后，在真實的場景中疊加虛擬信息豐富博物館中展品的信息顯示。
2.3.1 視頻采集
當系統切換到增強交互模塊后，攝像頭被立即打開，實時采集博物館中的環境，并生成一系列的真實場景圖像，供系統跟蹤注冊模塊進行調用。
2.3.2 基于計算機視覺的跟蹤注冊技術
跟蹤注冊是增強現實系統的核心，目前的增強現實系統中，主要有兩大類跟蹤注冊技術[11] ，一類是基于計算機視覺跟蹤注冊;另一類是利用設備中的傳感器、 GPS進行硬件跟蹤注冊�；谟嬎銠C視覺的跟蹤注冊方式按照系統是否使用人工標記來區分，分為使用人工標記增強現實技術和沒有使用人工標記的增強現實技術[12] �；谌斯擞浀脑鰪姮F實系統能夠將虛擬模型準確定位到真實世界，并最大限度地實現虛實之間的無縫融合，具有快速、穩定、準確的特點，可以快速從復雜的真實環境中檢測出人工標記且對硬件配置要求不高。因此，大多數增強現實系統的跟蹤注冊模塊都采用基于人工標記的方式實現[13] ，本文采用計算機視覺技術中的人工標志方法進行跟蹤注冊，并采用彩色識別圖，如圖3所示。
跟蹤注冊過程主要分為以下四步，如圖4所示。
步驟1 基于視頻采集設備采集視頻圖像。為滿足實時性、精確性的要求，AR-VR系統通過調用 Android 移動設備的攝像頭，采集真實世界中視頻圖像。
步驟2 對采集的圖像進行預處理，二值化處理捕捉到的視頻圖像，這樣就完成了從彩色的視頻圖像到黑白兩色二值圖像的轉換;對于圖像中任意一點 (x,y),如果其灰度值 S(x,y)≥t 則可以認為該像素點為背景點，否則認為該點為興趣點，經過閾值化處理的圖像可定義為：
通常設置 a0 = 0,a1 = 1 ，得到的即為二值化的圖像。然后，利用圖像分割及邊緣檢測技術找出該二值圖像中所有的興趣點。
步驟3 根據模式識別匹配算法，將標記圖像與標記庫中的模板標記圖像進行比較匹配來判斷此標記是否為合法標記，如果匹配成功則認為找到了一個興趣區。
步驟 4 模版匹配成功后，確定當前標志物的特定 ID，進行標志識別。
2.3.3 虛實疊加處理
經過跟蹤注冊步驟后，則獲得了攝像機位姿，此時將攝像頭所拍攝的室內環境視頻流圖像與生成的虛擬文物信息進行實時融合，形成增強現實圖像，最終將虛擬的文物信息渲染到屏幕上，使用戶體驗到真實室內場景與虛擬信息相融合的逼真效果。本文增強現實交互模塊開發采用Vuforia SDK實現。Vuforia SDK是一個功能強大的增強現實開發工具包，在 Java、C++和.NET 語言中提供了API接口，并擴展至Unity3D中。
目前國際上比較常用的增強現實開發平臺包括AR ToolKit、Aurasma 及 Vuforia[14] 。但是，AR ToolKit 只能進行單視點的位置和方向追蹤，如果標識物被遮擋或者移動速度過快就無法產生虛實疊加的效果，且只能對特定標識物進行識別，無法對普通圖片或真實場景進行識別，應用范圍有限。Aurasma并不是免費的開發者無法獲得軟件的全部代碼，且需要付費。因此本文通過 Unity3D 集成開發環境搭載 Vuforia SDK 進行 AR-VR 系統的開發。
2.4 顯示技術
隨著計算機軟硬件技術的不斷發展，VR系統顯示設備在不斷進步，頭盔顯示器可以讓用戶感受到空間立體感，增加用戶體驗時沉浸效果，所以本文中VR系統采用Oculus Rift DK2 虛擬顯示設備，如圖5所示。DK2 是 Oculus 公司在 2014 年推出的虛擬現實顯示設備，分辨率達到1 920×1 080，根據體驗者的反饋來看，DK2的顯示效果非常理想。AR系統主要是呈現物體的三維詳細信息，應該以輕巧靈便為系統設計原則，所以本文中 AR系統采用基于Android操作系統的智能手機屏幕作為AR系統顯示設備，簡單便攜，可以不受展覽環境的限制，擁有更加豐富的使用范圍。
2.5 互動體驗
博物館文物展示重在文化傳播，構建一個觀眾與展品間交流互動平臺將大大提升參觀者互動體驗，將增強現實技術與虛擬現實技術結合對系統的界面和行為進行交互設計，讓展品與參觀者建立一種全新的互動體驗關系，使參觀者在參觀過程中與展品交流互動、發現探索，互動體驗主要包括人與空間環境的交互和人與展品的交互兩方面內容[15] 。
2.5.1 人與空間環境的交互
人與空間環境的交互采用虛擬現實技術實現，效果如圖6~9所示。參觀者在參觀博物館時，不僅需要觀察展品，更重要的是了解展品的歷史年代，發展流傳歷史。通過Unity3D平臺構建虛擬三維博物館，參觀者以第一人稱視角，在場景中進行漫游了解展品的詳細信息。當用戶點擊屏幕左側上方的AR按鈕后，VR場景立即切換到AR互動界面。虛擬漫游使參觀者沉浸在博物館營造的空間環境中，周圍的展品烘托出濃厚的文化氛圍，突出表現特定的場景中觀眾與展品的“對話和交流”，使參觀者感受到活動的視覺語境，提升展品的感染力。
2.5.2 人與展品的交互
人與展品的交互采用增強現實技術實現。傳統的櫥窗展示方式不能很好地展現展品的細節特征，增強現實交互技術可以創造豐富的互動方式來增強真實世界的展品。當參觀者想仔細觀察某一個展品時，掃描該展品的人工標記，系統根據掃描的標記立即在真實場景中疊加虛擬三維物體，方便參觀者從各個角度進行仔細觀摩，大大增強參觀者的交互體驗。有別于VR環境，由于 AR環境中的識別圖和展示內容是疊加在真實場景中，如果在一個界面內同時顯示大量信息會導致混亂。因此，AR的交互場景采用簡潔、易懂的設計原則，效果如圖10所示。
3 實驗結果與分析
實驗基于 Unity3D 平臺，集成 Vuforia SDK 進行開發，實驗中所用的移動設備是在內存 Intel CoreTM2 Quad CPU，Q8200@3.22 GHz，4 GB 內 存 ，NVIDIA GT9800顯卡的PC測試通過。
啟動系統后，默認進入VR系統，參觀者可以在博物館中進行個性化的自主參觀，欣賞博物館外風景或是進入博物館內部參觀博物館內藏品，提高了參觀者和展品的交流互動，效果如圖11、12所示。
切換到AR系統后，為驗證系統性能，這里定義跟蹤角度為標志物與攝像頭的夾角[16] ，分別選取跟蹤角度為 0°、30°、45°、60°逐幀圖像進行注冊性能驗證，初始跟蹤矩為0.5 m。當拍攝角初始為0°時，系統采集不到人工標志圖像中所包含的特征信息;當跟蹤角度選取30°到 90°之間時，系統采集到人工標志圖像中的特征信息，實現了實時跟蹤功能;當跟蹤角度小于20°時，加載的三維模型出現了抖動和漂移，超過了系統跟蹤注冊功能模塊的正常工作范圍，測試結果如圖13~16所示。
在實際應用中，標志物遮擋對系統的影響顯得尤為重要。標志物被遮擋后，特征信息受到了破壞，系統的注冊精度和跟蹤性能會受到很大影響。定義標志物的特征信息被破壞的比例為遮擋率，實驗通過不同的遮擋率測試系統性能，隨著遮擋率的增加，實驗系統測試結果如圖 17~20 所示。經過多次測試表明本文方法在遮擋環境中能夠根據殘留的標志物信息來獲得準確的跟蹤注冊數據，具有很好的魯棒性，可以很好地適應遮擋環境。
相關知識推薦：怎么知道論文發表價格
通過上述實驗結果得出，基于 AR-VR 混合技術開發博物館導覽系統具有很好的三維展示和交互功能，參觀者可以虛擬地在博物館中漫游，當對某一個展品感興趣時，立即切換到AR系統觀察展品的細節特征，其標識物不受復雜度影響，對標識物采用特征點檢測方式跟蹤效果好。
4 結束語
本文提出了一種基于虛擬現實技術和增強現實技術結合的展示系統，實驗結果表明該方法能夠在終端連續移動過程中自適應顯示虛實疊加的效果，對遮擋的標志物識別效果較好。比起傳統的交互技術，虛擬現實技術和增強現實技術的結合可以使可視化效果更逼真，在參觀過程中能夠調動參觀者的積極性，動態地展示展品信息，啟發參觀者的觀察與思考，使參觀者在交流互動中加深記憶，實現更深層次的交互體驗。在未來的研究中，可以將增強現實識別能力作為研究重點，實現云服務和移動增強現實技術的結合。——論文作者：李婷婷1 ，王相海2
SCISSCIAHCI
