發布時間：2018-09-15所屬分類：科技論文瀏覽：1次
摘 要： 摘要：大規模的模擬和傳感器設備陣列與現今日益龐大的計算資源相結合，產生了海量的復雜高維數據集，這些數據集應用在眾多領域的研究中。與此同時，計算機視覺與模式識別領域的研究者們取得了許多重大突破，尤其是卷積神經網絡近年來在該領域取得的成就尤為
摘要：大規模的模擬和傳感器設備陣列與現今日益龐大的計算資源相結合，產生了海量的復雜高維數據集，這些數據集應用在眾多領域的研究中。與此同時，計算機視覺與模式識別領域的研究者們取得了許多重大突破，尤其是卷積神經網絡近年來在該領域取得的成就尤為突出。文章將高維數據應用于深度卷積神經網絡中，通過實驗與分析比對，證明高維數據應用于卷積神經網絡中的可能性。
關鍵詞：數據可視化,深度學習,卷積神經網絡,計算機視覺
深度學習是機器學習領域中的一個分支，起源于人工智能領域，其起源可以追溯到1980年提出的新認知機[1]概念，而現代深度神經網絡得以發展離不開向后傳播算法[2]的提出，現代深度神經網絡基本上都使用反向傳播(BackPropagation，BP)算法進行訓練。之后很長一段時間內深度神經網絡訓練由于BP神經網絡模型帶來的梯度彌散(GradientDiffusion)，直到Hinton[3]在2006年提出的逐層訓練方法才重新將人們的目光轉向深度神經網絡。
隨著近年傳感器技術發展以及越來越強大越來越容易獲取的計算資源，出現了許多復雜高維數據集。在這一類數據集上使用淺層機器學習模型的表現通常會變差。例如K近鄰(K-NearsertNeighbor，KNN)學習是一種常用的監督學習方法，常用于分類問題，其工作機制非常簡單;給定測試樣本，基于某種距離度量找出訓練集中與其最靠近的K個訓練樣本，然后基于這K個近鄰的信息來進行預測。
在模式識別領域中，最近鄰居法是一種用于分類和回歸的非參數統計學方法。在這兩種情況下，輸入包含特征空間中的K個最接近的訓練樣本。近年來，計算機視覺領域取得許多引人注目的成果，尤其是卷積神經網絡(ConvolutionalNeuralNetworks，CNNs)在分類、目標檢測問題上取得了優異成績。因此，本文通過對比K近鄰模型與卷積神經網絡在高維度數據集上的表現，證明卷積神經網絡處理高維數據集有優異的性能。
1模型選取及構建
在機器學習的模型上，選取了具有代表性的KNN模型作為淺層機器學習模型的代表。卷積神經網絡方面，構建了2個卷積神經網絡的模型作為卷積神經網絡對比項。
1.1ResNet50-mini
使用了基于ResNet50[4]裁剪后的迷你版作為實驗的第一階段的卷積神經網絡模型，在卷積層尺度上進行相應縮小。使用殘差網絡隨著深度增加，準確度也會隨之增加。其中Conv2，Conv3，Conv4，Conv5層均是由殘差塊組成的一系列卷積層池化層。如表1所示，基于RestNet50層模型修改而來的縮小版的架構，我們稱之為ResNet50-mini。1.26層CNN對于實驗第二階段使用了一個6層神經網絡結構。網絡結構如圖1所示，由1層卷積層、1層池化層、4層全連接層組成。
2實驗
實驗主要分為兩個階段：第一階段，對比KNN與ResNet50-mini在同一數據集以及相同劃分下對分類任務的準確度。第二階段，對比KNN與6層卷積神經網絡在統一數據以及同一劃分下對分類任務的準確度，來獲得更具有普遍性的結論。
2.1實驗階段一
2.1.1實驗數據選擇與處理
實驗階段一使用的數據集為加州大學歐文(爾灣)分校(UniversityofCaliforniaIrvine，UCI)的可穿戴計算體態運動分類數據集[5]。此數據集一共有18列，165632條數據，使用4個三軸加速傳感器記錄了8h的活動數據，將活動分為5類(坐，坐下，站立，站起，行走)。將數據集按1∶4比例隨機劃分訓練集以及測試集，訓練集為124224條數據測試集有41409條數據。選取年齡、身高、體重、BMI指數、4個三軸傳感器數據，一共16列作為特征值�？纱┐饔嬎泱w態分類數據集各列數據類型如表2所示。
如圖2所示，這兩張的4×4大小的灰階圖片都包含著可以用來判斷體態行為的所有數據。雖然通過肉眼看上去，這兩張圖片好像有著很大的差異，但是事實上，這兩張圖片所表示的數據都屬于同一類體態。KNN算法在此數據集上的表現為99.54%的準確率。
2.1.2訓練ResNet50-mini模型
使用ResNet50-mini模型，模型使用的優化算法為Adam算法[6]，損失函數為多類交叉熵(categoricalcrossentropy)函數。如圖3所示，ResNet50-mini經過10個Epoch的訓練損失和準確率的變化情況。可以直觀地看到，損失下降得很快，隨著損失的快速下降，訓練集的準確率也在不斷提升。經過1000個Epoch的訓練，ResNet50-mini在測試集上的分類精度達到了99.56%。
2.2實驗階段二
2.2.1實驗數據選擇與處理
實驗階段二使用的數據維數較實驗階段一使用的數據更為龐大。選用的數據集為NIPS2003特征選取挑戰賽中5個數據集之一的Arcene數據集[7]。Arcene數據集的任務是使用大量的質譜數據分辨目標是否患有癌癥。Arcene數據集一共包含有900條數據訓練集、驗證集、測試集分別來自3個不同的來源。其中訓練集、驗證集各100條數據，測試集700條數據，但未給出標注。選取ml-benchmarks中的已標注的100條數據作為測試集。其中，每條數據有10000個特征。
如圖4所示，這是Arcene數據集中一條數據展開成100×100大小矩陣所轉化成的灰度圖片。與實驗階段一不同的是，通過肉眼已經無法看出其中存在的模式。2.2.2訓練卷積神經網絡將數據集中的測試集、驗證集與驗證集合并，并隨機劃分為270條數據為訓練集，30條數據為測試集。本階段實驗選取的模型為4層卷積神經網絡，結構如圖1所示，訓練中使用的優化算法為Adam算法，損失函數為多類交叉熵(categoricalcrossentropy)函數。
如圖5所示，ARCENE數據集在6層卷積神經網絡上的訓練情況可以看出，雖然一開始損失很大，但是隨著訓練的時間開始快速下降，100個Epoch訓練后分類準確度達到69.99%。
2.3實驗結果
在實驗階段一中，KNN在UCI可穿戴體態分類數據集上進行多分類任務準確度可以達到99.54%，而卷積神經網絡ResNet50-mini在這一任務上的表現則為99.56%。階段二中，KNN在ARCENE數據集上的表現為53.33%，而6層卷積神經網絡在這一任務上可以達到69.99%的準確度。實驗結果如表3所示，無論在ResNet50-mini這樣深度較大的神經網絡或是一個6層卷積神經網絡，對高維數據集的分類任務都有著優異的表現。
3結語
經過兩個階段的實驗，可以直觀地看出深度卷積神經網絡在提取高維數據集特征以及處理分類任務上有著優異的表現，取得了普通淺層機器學習模型難以達到的成績。通過淺層機器學習模型來處理這一類高維數據集的分類問題是有一定難度的，通常需要消耗大量的時間來預處理數據或使用一些方法來降低維度。而卷積神經網絡在關于圖片視頻的計算機視覺問題上擁有的優勢可以運用在傳統的高維數據集中[8]。實驗表明，對于高維數據集，深度卷積神經網絡往往有著比KNN更優異的性能。通過較短時間的訓練，對于高維數據集的分類問題上能夠達到較KNN更高的準確度。
[參考文獻]
[1]FUKUSHIMAK.Neocognitron:aself-organizingneuralnetworkmodelforamechanismofpatternrecognitionunaffectedbyshiftinposition[J].BiologicalCybernetics，1980(4)：193-202.
[2]WERBOSP.Beyondregression:newtoolsforpredictionandanalysisinthebehavioralscience[D].Massachusetts：HarvardUniversity，1974.
[3]HINTONGE，SALAKHUTDINOVRR.Reducingthedimensionalityofdatawithneuralnetworks[J].Science，2006(5786)：504-507.
SCISSCIAHCI
