發布時間：2020-03-12所屬分類：科技論文瀏覽：1次
摘 要： 摘要：針對傳統視覺系統視野有限的問題，提出了一種基于環視系統的車位檢測方法。環視系統由S個魚眼相機構成，對每個相機獲取的圖像進行畸變校正和逆透視變換得到鳥瞰圖(吏用加權平均融合的策略將S幅鳥瞰圖拼接融合為一幅環視圖，該環視圖像能顯示的左右最遠
摘要：針對傳統視覺系統視野有限的問題，提出了一種基于環視系統的車位檢測方法。環視系統由S個魚眼相機構成，對每個相機獲取的圖像進行畸變校正和逆透視變換得到鳥瞰圖(吏用加權平均融合的策略將S幅鳥瞰圖拼接融合為一幅環視圖，該環視圖像能顯示的左右最遠距離能達到7.5m;在環視圖的基礎上，提出了一種新穎的車位檢測算法，該算法利用LSDCLineSegmentDetector)算法檢測環視圖像中的直線#實驗表明，該方法比常用的霍夫變換具有較高的檢測精度和魯棒性，并且能夠達到實時的要求。
關鍵詞：自動泊車環視圖像LSD算法車位檢測
1引言
當前自動駕駛技術飛速發展，已成為人工智能領域的研究熱點，而自動泊車系統(AutomaticParkingSystem簡稱：APS)作為智能駕駛的重要組成部分，已成為國內外各大汽車廠商和高校的研究熱點方向[1]。研究表明，大城市的停車難問題嚴重，給人們的出行帶來非常的不便。國內外對自動泊車系統都有一定的研究，同時停車位的智能識別又成為自動泊車系統中的重要研究方向，其主要通過傳感器檢測停車位：如基于激光雷達傳感器-2]，基于超聲傳感器[3]和基于視覺傳感器[4]等。目前基于視覺的自動泊車系統的研究已經成為主流，而且攝像頭具有成本低、體積小、可視化等優點。雖然目前各大汽車廠商的泊車系統都使用S個魚眼相機，但是環視圖的左右可視距離有限，文章[5]能顯示的左右可視距離僅為2.5m，這給車位檢測帶來了很大的難度。本研究同樣是基于S個魚眼相機獲取環視圖，但是最終生成的環視圖，左右相機可視距離為7.5m，提高了車位檢測的準確率。
由于環視圖的左右可視距離有限，而標準停車位的長度為5m，寬度為2.5m，在垂直泊車[6]的情況下，車位最遠端的一條邊距離車的距離至少為5m。如果在距離車3m!5m處存在障礙物，那么無法在上述環視圖上顯示出來。目前基于視覺的停車位檢測方法核心技術是找出環視圖中的直線，而最常用的方法是Hough變換。然而，實際泊車場景往往存在車位線損壞、有陰影、不平行的情況，如果依然使用Hough變換檢測環視圖中的直線，會出現漏檢以及準確率差的情況。
相關期刊推薦：《分析儀器》是由中國儀器儀表行業協會和北京分析儀器研究所(北京市北分儀器技術有限責任公司)共同主辦的學術刊物(雙月刊)，國內外公開發行。主要刊載：綜述、儀器與裝置、儀器分析、應用技術、討論與研究、知識介紹、經驗交流、信息與簡訊等方面的信息。面向對象是科研單位、石油、化工、冶金、地質、食品、輕工、農業、醫藥衛生、環境保護、儀器制造等部門的科技人員，高等和中等專業學校有關專業的教師與學生。
本研究提出了一種新的基于環視系統的車位檢測方法。(1)超聲波傳感器檢測車位需要車位附近的車輛做輔助，而本研究算法是完全基于視覺的車位檢測，可以在不依賴相鄰車輛的情況下準確識別車位;(2)目前大部分全景環視泊車輔助系統的圖像顯示范圍有限，這給車位檢測帶來了很大的難度，而本研究算法實現的環視系統，左右相機顯示的距離最遠能達到7.5m，提高了車位檢測和車位內障礙物檢測的準確率;(3)Hough變換在檢測車位時的漏檢率很高，本研究在環視圖像上使用基于邊緣信息的LSD(LineSegmentDetector)[7]算法來檢測車位線，具有更高的準確性和魯棒性，本研究算法目前處于研究測試階段。
2環視泊車輔助系統全景環視系統[8]
由S個魚眼相機組成，安裝位置如下圖1所示。
前視相機安裝在進氣格柵的車標之下;后視相機安裝在牌照之上;左右相機安裝在后視鏡下面。
環視圖像的生成主要分為以下三步：魚眼相機標定、逆透視變換和圖像拼接。生成流程如圖2所示。
2.1魚眼相機標疋
魚眼相機標定[]主要是為了確定世界坐標系與相機圖像坐標系之間的轉換關系。實驗使用棋盤格對相機進行標定，首先對每個相機進行單獨標定，求出每個相機的內部參數和畸變系數，之后在整個車輛的四周鋪上標定板，實現S相機的聯合標定，建立以車身為中心的環視圖的車輛坐標系X10:Y1，然后建立該坐標系下其他S路圖像到環視圖的坐標映射關系，使得S幅圖像能夠在同一個平面中處理與顯示。在車身四周鋪上標定板，通過人工測量，提前獲取標定板上角點的位置信息，最終標定可以得到每個相機的圖像坐標系與世界坐標系之間的轉換關系，如圖3所示。
2.2逆透視變換
采用直接線性變換(：91)[10]確定逆透視變換的投影矩陣，使用內參和外參對魚眼圖像進行畸變矯正和逆透視變換，將世界坐標系的點變換到圖像坐標系生成鳥瞰圖。
2.3改進的環視拼接融合算法
傳統的圖像拼接算法比較復雜，在光線較弱的情況下找到的特征點數量有限，拼接效果不是很好，本研究采用了一種更加簡單有效的算法實現環視圖的無縫拼接。原理是在車周圍鋪上標定板，如圖3所示，每個相機的視野中都對應著S幅標定板，這樣就構建了S組相對位置固定的標定板群，可以分別求出每個相機的變換矩陣Hi，只2，，這些矩陣就是每個相機圖像坐標系到鳥瞰圖的映射關系，再將各圖像帶入式(3)，則可以得到鳥瞰圖。根據這個關系，可以生成坐標對應的查找表，只需要標定一次，之后的每次拼接只需要通過查找表填充就可以完成拼接，而不需要每次都進行特征匹配，這大大提升了拼接速度-11]。
圖像拼接中最重要是圖像融合區域的選擇，大多數環視拼接區域都如圖4所示，其中A、B、C、D是4塊重疊區域
由于相機分辨率有限，距離相機越遠的地方，誤差越大，越容易出現重疊區域拼接不上的情況，本研究提出了一種新穎的融合策略，能夠在遠處同樣實現無縫拼接。首先，改變后的融合區域如圖5所示，A、B、C、D4個矩形區域為兩相機之間的重疊區域(比如A為前視相機和左相機的重疊區域)，中間的黑色區域為未融合區域。
對融合區域，采用加權平均融合算法[12]，該算法原理如圖=所示。
圖中黑色矩形框為兩幅圖像的重疊區域。假設重疊區域中，圖一中的像素點為^1，圖二中的像素點為^2，那么重疊區域的像素點為
由圖7可以看出，生成的全景環視圖效果良好，可以將汽車四周的場景以鳥瞰圖的形式再現出來，并且在距離相機較遠的地方，也沒有出現線段拼接不上的情況。
本研究的拼接方法與傳統的基于特征點匹配的拼接方法相比，具有以下優勢：對環境光線的適應能力更強、不需要大面積的重疊區域即可實現環視圖的生成;不需要進行特征點匹配，所以拼接速度更快，易于嵌入式系統的實現。
3停車位的檢測與識別
為了檢測出環視圖中的有效車位，需要對環視圖進行一系列的圖像處理，包括邊緣檢測、直線檢測、過濾干擾線、基于幾何原理的車位擬合等過程。整個車位檢測的算法流程如圖9所示。
為了提高車位線的檢測精度，首先需要對環視拼接圖進行邊緣檢測，本研究使用Canny檢測算子。在獲得邊緣圖像的基礎上，使用LSD方法進行直線檢測，LSD算法主要分為三步[13]:提取直線區域、矩形擬合、線段有效性的驗證。
1)提取直線區域。首先計算圖像中每個像素點Level-Line的角度，形成一個Level-Line區域，然后有相同Level-Line角度的像素點就構成了linesupport區域，而這些區域正是線段的候選區域(圖10)。
2)矩形擬合。在提取出直線區域之后，對區域進行矩形擬合，求出矩形的中心點、方向角以及長和寬，用該矩形代表該線段。結果如圖11所示，其中(a)為待檢測的原圖，(b)為使用步驟1)提取出的直線段候選區域，(c)為最終矩形擬合的結果圖。
3)線段有效性的驗證。該方法是基于亥姆霍茲原理，線段由矩形區域的寬度和端點決定。計算每個矩形框內的像素點個數，以及與該矩形框方向一致的像素點，并且設置能夠計算出NFA[14]的精度值，然后根據NFA進行線段有效性的驗證(圖12)
圖12是使用LSD與Hough變換檢測直線的結果對比，可以明顯看出，使用LSD檢測的直線結果要比Hough變換檢測的直線結果更加準確，干擾直線也少了很多。通過LSD算法檢測到直線之后，需要對直線進行過濾等處理，整個車位檢測[15’16]的算法流程見圖13。
4實驗及結果
實驗采用榮威RX5為樣車，4個魚眼相機的安裝位置如圖1所示，相機分辨率為1280$720,環視圖分辨率為875$775,通過相機獲取的實驗數據運行在NVIDIAJetsonTX2平臺，調用Opencv3.2以及編寫CUDA代碼，處理速度為30幀/s，可以滿足實時的要求。
首先對4相機進行聯合標定，角點檢測結果如圖14所示，可以看出每個魚眼相機視野中的26個角點都被檢測到。
4.1環視拼接實驗
傳統的環視拼接與本研究提出的環視拼接對比效果如圖15所示。圖15(a)為傳統環視拼接方法效果圖，從圖中可以看出，矩形框內出現線段拼接不上的情況，并且距離車越遠的地方，拼接不上的情況越嚴重;圖15(b)為本研究提出的環視拼接效果圖，可以看出在對應的矩形框區域，能夠實現無縫拼接，還可以增大環視圖的左右可視距離，在實際的測試中，經過測量，圖15(b)顯示的左右可視實際距離為7.5m#
4.2車位檢測實驗在本研究提出的環視拼接算法的基礎上進行車位檢測，為了驗證算法的有效性，首先對基于Hough變換的車位檢測與基于LSD的車位檢測進行對比實驗，對比效果如下圖16所示。
圖16(a)為基于Hough變換的車位檢測，左上角矩形框內的數字78(1)表示：該車位ID為78,第1次被檢測到;圖16(b)為基于LSD的車位檢測，對比可以看出，右圖中ID為27的車位，在左圖中并沒有被檢測到，說明基于Hough變換的車位檢測容易發生漏檢。
由于目前完全基于視覺的車位檢測方法比較少，于是本研究使用基于LSD的車位檢測算法分別對地上車位與地下車位檢測效果進行對比，對比效果如圖17所示。
SCISSCIAHCI
