發布時間：2022-06-11所屬分類：計算機職稱論文瀏覽：1次
摘 要： 摘 要: 增強現實在過去幾年中得到了長足的發展, 尤其是移動智能設備的普及使其有了重大的突破. 增強現實作為一種新的人機交互技術, 可以更直觀地展示現實場景中的物理對象和數據信息, 越來越多的研究者開始探索如何將數據可視化與增強現實結合. 文中將系統地介紹移動增
摘 要: 增強現實在過去幾年中得到了長足的發展, 尤其是移動智能設備的普及使其有了重大的突破. 增強現實作為一種新的人機交互技術, 可以更直觀地展示現實場景中的物理對象和數據信息, 越來越多的研究者開始探索如何將數據可視化與增強現實結合. 文中將系統地介紹移動增強現實技術的發展現狀和目前增強現實在數據可視化中應用所取得的成果. 通過分析不同案例來討論增強現實在數據可視化中應用的可行性; 最后, 總結了目前數據可視化和增強現實結合所面臨的挑戰以及未來的研究方向和機遇.
關鍵詞: 增強現實; 可視化; 移動; 人機交互
當前是數據時代, 更是移動互聯網時代, 移動智能設備在近年來各大廠商的激烈競爭中突飛猛進地發展, 其強大的計算能力、各式各樣的傳感器和穩定的網絡連接, 使其成為移動互聯網時代每個人必不可少的設備. 伴隨用戶的頻繁使用, 移動設備中每日產生和交換的數據呈指數級增長, 使其成為了不折不扣的移動數據終端. 1992 年, 增強現實(augmented reality, AR)由 Caudell 等提出[1], 是一種將虛擬和現實結合的技術, 使得數據信息更直觀地展示在真實的物理環境中. 經過長期的技術積累, AR 已經從實驗室走出, 應用到了工業界[2]. 根據 Google Trends, AR 應用數量在 2012 年達到峰值[3], 又在 2016 年迎來爆發式地增長, 且還在上升期. AR 能給用戶提供一種新的用戶界面和人機交互方式, 不管是數據可視化還是移動設備發展至今, 都急需一種新的交互方式打破局限; 同時再考慮到移動智能設備中不計其數的數據, 越來越多的學者開始探究如何能將移動設備中的數據更為自然和科學地展現在用戶面前.
因此, 移動 AR 可視化作為一個新的研究方向出現, 其致力于研究如何將數據信息或虛擬對象展現在真實的物理場景中. 本文將介紹移動 AR 可視化相關概念和一些關鍵技術, 從其優劣勢 2 個方面闡述其可行性, 并列舉其應用場景, 最后總結與討論該方向未來的挑戰與機遇.
1 移動 AR 可視化相關概念和技術
1.1 移動 AR 的定義
目前被廣泛接受的是 Azuma 等[4]的定義: 滿足結合虛擬和現實、實時交互、注冊于三維中 3 個條件的即算做 AR. 簡單來說, 就是將計算機生成的數字圖像疊加到現實場景中去, 且能實時交互. 實現 AR 所需的主要硬件組件至少需要計算設備、顯示設備、追蹤設備和輸入設備. 計算設備通常是處理器, 而顯示設備可以分為 3 類: (1) 頭戴式顯示(head-mounted display, HMD), 例如, 微軟 (Microsoft)的 HoloLens、谷歌(Google)的 Google Glasses 和 Facebook 的 Oculus Rift; (2) 手持顯示 (handheld display), 例如, 我們日常使用的手機和平板電腦; (3) 空間顯示, 即直接把虛擬影像投影在現實場景中.
移動 AR 不僅要首先滿足 AR 的定義, 還需要滿足以下條件[5]: (1) 可穿戴的輸入和交互技術, Carmigniani 等[6]把能讓用戶移動出室外的無線設備定義為移動設備. (2) 無線網絡, 保證與其他設備的數據交換或讓用戶與其他人協作等. (3) 數據的存儲與讀寫技術, 移動 AR 設備理應做到能提供當前環境中相關的數據. 根據此定義, 顯然上文提到的 AR 中的第 3 種顯示方式——空間顯示, 不屬于移動 AR, 所以它不在本文的討論范圍內.
1.2 AR 可視化的定義
Kosara[7]曾提出什么才算作可視化: 首先，可視化是基于非視覺(non-visual)數據, 即數據是來源于可視化程序之外的抽象數據. 可視化不是圖片處理或攝影, 如果源數據是圖片, 且直接放在了生成的可視化結果中, 則這不算作可視化. 其次要生成一個圖像來展現數據信息. 最后, 可視化結果必須是人們可以認知和理解的. 根據此標準, 我們可以得出 AR 可視化是將非視覺數據經過處理, 生成可供用戶理解的數字圖像后, 將其疊加到現實場景中供用戶實時交互的技術.
1.3 AR 實現的方式和關鍵技術
AR 的主要實現方式有 2 種[2,8]: 光學透視式 (optical see-through)和視頻透視式(video see-through). 目前, 市面上的頭戴式設備通常采用 2 種方式中的 1 種或 2 種都采用, 而采用視頻透視式的設備則是手持設備. 光學透視式是將電腦生成的數字圖像顯示在眼前的一層半透明鏡片上, 這樣就可以使現實場景和虛擬信息同時出現在視網膜上. 而視頻透視式技術是將現實場景首先通過相機錄入電腦, 經過和虛擬對象整合、壓縮, 再統一呈現在用戶眼前. 兩者各有優劣[9]: 光學透視式中的現實場景因為沒有經過電腦處理, 因此顯示得更自然、直接; 雖然它實現簡單, 但是也存在定位精度不高、匹配不準確、顯示有延遲等問題. 而視頻透視式因為經過整合, 所以匹配準確, 最終顯示效果同步程度高, 還能對生成的顯示結果根據用戶需求進行進一步處理; 但是它實現難度較高, 且丟失了一部分真實感.
計算機視覺技術在 AR 中起著至關重要的作用. 要實現 AR 最核心的是識別與追蹤. 首先, 相機要先識別基準標志、關鍵點、光學圖片等; 然后再根據特征檢測、邊緣檢測或其他圖像處理方法來實時追蹤; 最后將虛擬圖像疊加到真實場景中. 根據 2008 年的統計結果顯示, 近十年著名的 AR 會議ISMAR中有關追蹤技術的論文占到了20%以上[8].
1.4 移動 AR 可視化流程
由以上概念, 再結合傳統數據可視化流程, 不難總結出 AR 可視化的流程: 設備(頭戴式或手持式)依靠攝像頭采集現實場景中的圖片, 再通過計算機視覺算法識別和追蹤圖片中的對象; 同時, 設備由各類傳感器、數據庫或網絡收集數據并進行數據處理、分析, 進而生成可視化結果; 最后結合識別出的場景渲染到瀏覽器或相機中. 如果設備自身算力不足, 可以通過網絡連接遠程計算機或云端進行協助計算. 整個流程如圖 1 所示.
2 移動 AR 與可視化結合的優勢
當前數據可視化領域開始探索如何用更新的方法和工具讓用戶更有效和快速地從數據中得到想要的信息. 一種新型的觀察視角或交互模式[10], 往往能啟發用戶或研究者從另一個視角去思考問題、探索數據. 將可視化與 AR 結合起來, 比以往的數據可視化方式有了很多突破.
2.1 AR 與可視化結合的優勢
2.1.1 視野擴大化
首先, 盡管當前 AR 設備的視窗還較小, 但它卻可以把整個現實場景當做數據可視化的背景. 其次, 由于整個現實場景都是呈現在用戶眼前的[11], 所以不會丟失現實場景中的數據信息. 用戶可以結合現實場景與生成的數據圖像進行數據分析. Ren 等[12]設計了一個虛擬現實系統用來模擬當 AR 場景大到足夠環繞全部用戶的情景, 如圖 2[12]所示. 圖 2 背景為盧克索神廟, 以紅藍浮雕模式等角投影到場景中. AR 可視化結果包括圖表、地圖、照片和連接三維雕像的連接線. 該系統將用戶分別置于全環繞型的 AR 場景和小視窗 AR 中, 并給用戶分配了特定的檢索任務; 對比發現, 在全環繞型的 AR 場景中用戶完成任務的效率顯著提升.
2.1.2 現實元素抽象化
現實中的事物都可以抽象成數據. 單純的數據可視化是將數據處理后用恰當、美觀的方式展現在用戶面前. 將抽象、非視覺的數據映射成可視化圖形的過程稱做視覺編碼, 其中的映射方式稱做視覺通道, 不同類型的數據需要不同的視覺通道來編碼; 反過來, 從圖形理解數據的過程稱作解碼. 如果將數據可視化和 AR 結合, 就可以把現實中的物體或元素直接運用在可視化設計中, 視覺編碼的減少自然也就減少了用戶解碼的成本. 實現 AR 需要識別和追蹤, 其中通過特征檢測即可識別出現實場景中的對象, 這樣就可以將其視做一個可視化元素, 即以前用圖標(icon)或標記(marker)來代表的事物, 現在直接用現實元素代替. 視覺通道的減少既能減去用戶解碼的過程, 使用戶更直觀地理解數據的含義, 還能保留數據可視化最終呈現的結構. 不夸張地說, 只要數據可視化結果是呈現在現實場景中的, 那么你可以把場景中的任何一個東西都當做可視化元素.
2.1.3 交互直觀化
傳統意義上的數據可視化通常是在一個屏幕上顯示, 有可能是桌面端、瀏覽器端和移動端. 桌面端和瀏覽器端通常的交互方式都是通過鼠標的點擊、拖拽或刷選等; 而移動端的交互通常是點擊屏幕、旋轉屏幕、長按屏幕, 多指滑動、多指張開閉合等操作. 盡管這些操作已經非常便捷, 但仍有一些學習和理解成本, 對于三維模型來說也不是很恰當[13]. 而 AR 中的交互: 眼動、凝視、輕觸、手勢[13]或語音等更加符合人類直覺.
目前主流的交互方式可分為 3 種: 有形交互、手勢或體感和混合交互. 有形交互是指將一些設備作為虛擬與現實的媒介, 通過操作該設備來達到操控虛擬對象的效果. 得益于各類傳感器和攝像頭, 手勢和體感交互沒有操作設備, 而是通過對自身手勢或體態的識別來進行操作. 前 2 種交互方式的關鍵點都是通過恰當的隱喻把操作與虛擬對象映射起來[14]. 典型的如體感運動游戲的交互, 計算機識別自身做出揮拍、擊球等動作之后, 讓游戲中的角色也做出同樣的動作. 混合交互一般是將前 2 種交互方式和語音、眼動等結合; Irawati 等[15] 發現, 把語音交互整合進系統之后, 用戶完成任務比單純用有形交互快了 35%.
2.1.4 協作便捷化
大多數 AR 都可以做到多人共享同一個場景. 若將數據可視化結果用 AR 疊加到現實場景中, 雖然是同一數據生成的可視化結果, 但不同用戶的視角不同, 得出的結論也會略有不同. Dong 等[16] 實現了這樣的系統, 使用戶能圍坐在桌前分析同樣的可視化結果. 眾所周知, 數據可視化是把人類智慧融入到了數據分析中, 那么 AR 可視化就是將多人的智慧同時融入, 使數據分析不僅非常高效便捷, 而且減少了單用戶的視覺盲點, 避免了單一論斷. 此外, AR 可視化還能讓交互協同, 一個用戶的交互操作另一個用戶一目了然. Fuhrmann 等 [17]設計了一個在 AR 環境中支持多用戶協作的三維科學可視化系統. 其中, 協作交互功能包括社交交互、共享交互和特定用戶交互. 他們發現用戶在使用過程中非常喜歡圍繞三維可視化結果或置身于其中從不同視角觀察, 不同用戶擅長的知識領域不同, 可以通過協作交互來交流自己的認知, 使得研究和分析效率顯著提高.
2.2 移動 AR 設備進行可視化的優勢
移動 AR 設備無論是頭戴式還是手持式, 其作為數據可視化的新型設備, 目前都有了突飛猛進的發展. 首先, 這些設備已經走入人們的生活, 尤其是智能手機和平板電腦, 其普及性和便攜性比頭戴式設備都高, 已經是人們日常生活不可或缺的設備. 其次, 它們的性能有的甚至已經趕超個人電腦, 對于基本的數據處理和渲染任務性能已經綽綽有余. 而且, 通過各式各樣的傳感器和無線網絡, 這些設備無時不刻不在產生、交換、處理數據. 比起傳統的數據可視化數據要從數據中心或數據庫中讀取, 它們自身就是一個龐大的數據倉庫.
此外, 目前的手持設備, 如智能手機和平板電腦已完全符合移動 AR 的硬件要求并有不錯的表現, 而頭戴式設備則有的組件還略有缺陷, 具體而言手持設備在以下 2 個方面比頭戴式設備有優勢.
2.2.1 追 蹤
計算機視覺中的識別和追蹤是實現 AR 至關重要的技術. 相對于頭戴式設備, 目前的智能手持設備具有數碼攝像機或其他光學傳感器、加速器、全球定位系統(global positioning system, GPS)[3]、陀螺儀、電子羅盤、射頻識別(radio frequency identification, RFID)和無線傳感器. 以上這些組件和技術, 使得其追蹤和識別的準確性大幅提高.
2.2.2 網 絡
盡管目前智能設備的計算能力已經今非昔比, 但要面對 AR 計算機視覺中密集的計算還是有所不足, 因此還需要網絡連接遠程計算機或云端[18] 作為算力的后盾[10]. 由于密集和實時性的計算需要大量的數據交換, 因此對網絡帶寬和穩定性有很高的要求. 盡管頭戴式和手持式設備都可以通過無線網絡連接到互聯網, 但智能手持設備如手機, 在移動網絡基礎設施方面已經非常完善, 所以比頭戴式設備更有優勢.
3 移動 AR 可視化的局限和現有的解決方案
3.1 性 能
當前科技發展日新月異, 尤其是 AR 在近幾年中的發展可謂是突飛猛進, 全球各大科技巨頭公司都相繼研發了自己的 AR 設備. 雖然很多設備包括智能手機和平板電腦的性能已經趕超個人電腦, 但相對于大數據分析的體量, 還是不足以勝任. 而另一方面, 實現 AR 和可視化依賴于大量的計算機視覺技術, 如實時的特征檢測、邊緣檢測、追蹤、實時渲染等其對于性能的要求特別高[11,19]. 一般的標記、基準圖識別目前尚且不是很準確, 要做到真正的場景融合就更是困難重重. 而且對于一定體量的數據可視化結果, 渲染到真實場景難免會出現失真卡頓等現象.
相關知識推薦：每個期刊都要查重嗎
目前可以通過連接遠程大型機器或云端來解決上述問題; 于是, 網速就顯得至關重要. 頭戴式和手持式設備都可以通過無線網絡來連接, 而傳統的蜂窩網絡傳輸速率仍較慢[20], 其單位時間傳輸的數據量太小導致無法勝任. Prochazka 等[18]通過用遠程連接云計算的方法, 使用復雜的神經網絡圖像處理方法來提高精確度.
3.2 屏幕、視窗大小
正如前文所述, 目前的 AR 設備的屏幕和視窗都比較小, 分辨率也較低. 這導致目前的 AR 效果像是將一個顯示器窗口疊加在現實場景中, 突兀感很強[21], 這在一定程度上局限了人們數據分析的效率. 由于視窗較小, 只能展示部分甚至局部數據, 無法概覽全局. 經典的解決方式有 2 種, 即概覽加細節和上下文加突出重點, 通常用魚眼(fish-eye) 效果來高亮重點信息. Chittaro[20]也提出了用提示加隱喻, 以及直接導航或映射的解決方式. Yoo 等[22] 為了應對移動設備屏幕大小的問題, 指出要按照數據的類型來設計不同的布局, 其將數據分為隊列型和關系型 2種: 隊列型數據用簡單的列表布局, 關系型數據用雷達放射圖等布局.
3.3 識別、追蹤、定位和自適應
與固定設備不同, 移動設備對目標物的空間特性, 如位置和朝向的定位更加困難[23]. 而且移動 AR 設備對用戶視域內物體可視部分的識別效果不佳[21], 可能造成數據可視化結果的不正確放置. 由于移動設備自身位置不固定, 可視化結果的顯示位置也不固定, 所以每次位置的變化使得無論是識別還是渲染都不得不重新再來[21].
3.4 內容管理
由于 AR 可視化是將虛擬對象放置在現實環境中, 那么現實環境的復雜變化無法使用戶集中注意力[20], 如用戶在駕車或者在擁擠的地鐵站趕路時的專注力肯定不如在安靜穩定的環境中. 而且, 外部環境的變化也容易影響可視化結果, 除非可視化的結果能隨環境的快速變化實時做出調整.
除此之外, 隨著數據量或虛擬對象在視圖中的增加, 視圖也會顯得凌亂, 用戶很難從中有效地獲取信息, 因此信息密度[23]也是 AR 可視化中很值得深思熟慮的. 一般有 2 種方式解決, 減少或過濾冗余數據 ; 以及重新排布數據或虛擬對象 . Tatzgern 等[24]用層次聚類的方式提供了一種自適應的數據呈現方式, 從而保證視圖的信息密度恰到好處. 如圖 3[24]所示, 他們設計了讓用戶從該 AR 可視化系統中找到特定書籍的任務, 用戶明確表示自己更愿意使用他們設計的自適應視圖. 如圖 3a 信息混亂, 給找書造成了困難; 而圖 3b 經過聚合, 可以更好地概覽圖書館書籍信息, 提升找書效率. Madsen 等[25]提出了一種 AR場景中時間一致性的方案, 其評估了 AR 場景中的數據注解的多種顯示方式, 得出結論: 應該用連續型的計算來更新數據注解位置, 而不是用離散型的延遲更新方法.
4 移動 AR 可視化的應用場景
移動 AR 設備的普及和數據量的增多使移動 AR 可視化的應用有了無限可能. 根據應用領域, 現階段移動 AR 可視化大致可以分為以下幾類.
4.1 實地工作
三維立體效果往往比二維平面圖紙更加直觀, AR 可視化可以通過傳感器收集的數據、開發者提供的數據生成各類三維模型顯示到現實場景中. 這對實地工作, 包括建筑業[26]、維護[27]、勘探和裝配[28]等工作者提供了更加直觀的理解. Figueiredo 等[29]將此應用到了工程學中, 將各類工程零件 AR 可視化出來, 幫助學生加深理解. Schall 等[30]就開發了一個手機應用, 可以像 X 光一樣生成建筑或設施內部的框架結構. Schall 等[31]還提供了一個 AR 的測繪工具, 讓有經驗的工程師使用傳統技術和完全沒經驗的工程師使用該系統進行對比, 最后發現其在交互性方面勝過傳統技術. 地面打孔也是常見的實地工作, Lee 等[32]開發了一個能快速搜索鉆井日志并通過 AR 可視化出來的系統, 為此他們還專門設計了一個鉆井日志的數據庫. Kollatsch 等[28]還用 AR 進行了裝配流水線相關的信息可視化.
4.2 地理相關
GPS 目前幾乎每個智能設備都會配備, 這為設備獲取地理信息和定位提供了巨大的便捷. 再加上地理信息系統(geographic information system, GIS) 的迅速發展, 城市數據[33]、交通數據、興趣點(points of interest, POI)等數據都有了一定的規模, 因此很多移動 AR 可視化都是基于地理信息的, 包括城市相關數據、導航和旅游業等. Schubert 等[34]構思了一個城市設計工具, 通過 AR 可視化的方式讓專家進行實時協作設計. Hedley 等[35]設計了一個結合虛擬現實和 AR 的地理探索應用, 用戶需帶上一個輕型 AR 設備, 就能在沉浸式環境中沿地圖和三維模型探索. Schinke 等[36]直接將 POI、迷你地圖、導航箭頭顯示到智能手機的相機中, 用戶通過該應用可以高效地分辨出這個 POI 點的類型. Gerstweiler 等[37]用即時定位與地圖構建(simultaneous localization and mapping, SLAM)技術實現室內場景的識別與追蹤, 結合 POI 數據, 能給用戶提供持續的室內導航. Hervás 等[38]同樣是基于 POI 數據, 提供的是室外導航. 旅游業也從 AR 可視化中受益. Fiore 等[39]開發了一個 Android 應用, 其根據 POI 整合了景點的歷史文化信息, 給旅游者提供 AR 的體驗.
4.3 教育和娛樂
AR 可視化由于它的直觀和強交互性, 使其在教育[40]和娛樂方面大放異彩. 在教育方面, AR 可視化的應用主要分為 3 類: 建模型、探索型和 AR 圖書[41]. 第 1 種大多用在需要立體模型的場景中, 例如, 天文學、化學、生物學、建筑學、工程學[29]、設計[42]和幾何學等. 不難理解, 如果沒有 AR 可視化, 這些學科都需要我們自己去想象其三維結構. Fonseca 等[43]分別用傳統的學習方法和 AR 的學習方法讓學生去學習建筑學知識, 以測試學生的學習效果, 發現學生用后者學習對“空間”的理解更深刻, 甚至直接導致他們的課程評估分數變高. AR 也能促進學生的自主和合作學習, 如 MartínGutiérrez 等[44]設計了 3 種 AR 應用, 分別從理論和實踐兩方面教授學生, 受到了學生一致好評. 第 2 種以 AR可視化在博物館中的應用為例[45]: 參觀者可以通過頭戴式設備仔細端詳工藝品的全貌, 還可以用智能手機掃描二維碼, 從而出現帶有工藝品數據信息和工藝品模型相結合的 AR 展示. 另一個例子是 Fragoso[46]開發的一個 AR 翻譯器, 通過光學字符識別(optical character recognition, OCR) 識別任意場景中的字符, 經翻譯后無縫替換原場景中的文字. 第 3 種 AR 圖書被 Billinghurst 等[41] 稱做“魔法書”, 通過設備掃描圖書即可出現有關圖書當前內容的虛擬模型 , 使圖書更加生動 . Nguyen 等[47]設計了一個用戶可交換、可編輯的說明書, 生動地引導用戶一步步操作. ——論文作者：高 翔1), 安 輝1), 陳 為2), 潘志庚1)*
SCISSCIAHCI
