發布時間：2022-04-21所屬分類：電工職稱論文瀏覽：1次
摘 要： 摘 要：目前微型扁平電機制造廠仍采用人工觀察法對電機 FPC 板焊點的焊接質量進行檢測，其檢測準確率低、速度慢。針對這一問題，提出了一種基于改進 Faster R-CNN 的缺陷分類檢測方法。首先通過多尺度特征融合網絡對 VGG16 的最后兩層網絡進行融合后，代替原 Faster R-
摘 要：目前微型扁平電機制造廠仍采用人工觀察法對電機 FPC 板焊點的焊接質量進行檢測，其檢測準確率低、速度慢。針對這一問題，提出了一種基于改進 Faster R-CNN 的缺陷分類檢測方法。首先通過多尺度特征融合網絡對 VGG16 的最后兩層網絡進行融合后，代替原 Faster R-CNN 中區域候選網絡的輸入特征圖，然后從三個不同深度的多尺度特征融合算法比較改進后網絡的準確率、召回率和分數。試驗結果表明：改進后的兩層多尺度融合特征圖代入模型，其缺陷分類檢測準確率均值為 91.89%，比傳統模型增加了 7.72%;與其他二種模型相比，改進后的模型分類檢測準確率和精度是最高的。
關鍵詞：扁平電機;缺陷分類檢測;Faster R-CNN;深度學習;多尺度特征融合
0 引 言
微型扁平電機主要由電刷組件、轉子和上下機殼組件構成，是一種常用于電子設備中提供振動和觸覺反饋的微型零件[1-2]。在電機生產過程中，扁平電機內置的軟性線路(Flexible printed circuit，FPC)板上焊有電刷組件，而焊點表面質量直接影響著整個電機的性能。目前，電機廠家仍采用人工觀察法來把控焊點品質，費時耗力，檢測手段也會由于光線質量、人眼疲勞等因素而產生檢測誤差，從而導致檢測準確率和有效性的下降。因此，開發一種識別和定位 FPC 表面焊點缺陷的檢測系統及高效的檢測方法對制造微型扁平電機是非常有意義的。
近年來，隨著深度學習技術的發展，基于卷積神經網絡(Convolutional neural network，CNN)的目標檢測算法被廣泛應用于很多領域[3-5]，如鋁型材表面檢測、農產品識別、儲糧害蟲檢測等。深度學習模型通過自主提取圖中的高維信息，避免了傳統方法中繁瑣的圖像處理步驟，所以不少學者試圖將深度學習應用于不規則表面缺陷檢測中。例如，Maestro 等[6]提出了一種基于 U-Net 的全卷積神經網絡，用于對反射表面缺陷的語義分割，該網絡利用局部曲率和數據調制進行像素級別分類，以確定缺陷的位置和邊界，并在工業環境中取得了出色的識別效果。Park 等[7]通過構建具有不同深度和層結點的網絡來檢測產品表面的污垢和劃痕，取得了令人滿意的效果。Zhao 等[8]通過提取目標物的區域特征來訓練反向傳播網絡和支撐向量機(Support vector machine， SVM)分類器，有效了分割了缺陷區域。Xu 等 [9]人提出了一種 Faster R-CNN 模型，結合不同層的特征和 Soft-NMS 算法來檢測隧道中的缺陷。雖然這些基于深度學習的缺陷檢測方法具有先進的識別性能，但對于不同輪廓的微小缺陷，它們的定位精度表現得很差。
根據以上研究，針對微型扁平電機 FPC 板焊點的多種缺陷檢測，目前沒有高效、精確的檢測算法。因此本文提出一種融合多尺度特征圖作為 Faster R-CNN 模 型 中 的 區 域 候 選 網 絡(Regional proposal network，RPN)的輸入特征圖，同時實現微型扁平電機 FPC 板焊點缺陷區域的提取和分類。
1 數據采集和預處理
本文采用的圖像采集設備為大恒水晶 MER-500 系列數字相機，配有日本 CCTV 高精度 25mm 焦距光學鏡頭，光源選用 OPT 公司的 40×40 的同軸光源。其中，鏡頭到扁平電機的高度為 150mm，可以達到的視場寬度為 25mm，被檢 測 樣 品 的 直 徑 為 10mm 。 試 驗 中 ， 選 擇 TensorFlow 作為深度學習的框架，檢測模型在 Intel Core I7-8700 CPU, NVIDIA GTX-1070 GPU, 16G 內存的 PC 機上運行，圖 1 為 FPC 焊點圖像采集系統。
2 FPC 表面焊點缺陷檢測算法
2.1 Faster R-CNN 網絡
經典的 Faster R-CNN 網絡模型包含四個模塊，即特征提取(Feature extraction)、區域候選網絡(Regional proposal network，RPN)、感興趣區域池化(ROI pooling)、分類和回歸(Target classification and positioning)[12-13]，如圖 3 所示。第一模塊為網絡提供特征圖，第二模塊 RPN 層網用于生成區域候選框，第三個模塊得到固定大小的候選特征圖，為后面的全連接操作做準備。最后一個模塊進行缺陷類別的分類和定位。
相關知識推薦：焊接工藝方面論文發哪些期刊
在 Faster R-CNN 網絡中，RPN 網絡首先要先計算出一系列大小各異的候選區域，同時要對候選區域進行精確分類及其位置坐標判斷[14]。由于候選區域大小各異，需要歸一化處理，才能輸入下一層的卷積神經網絡。為了提高缺陷的識別精度，區域候選網絡模型(RPN)直接利用全網絡的卷積特征圖識別 FPC 焊點圖像。這種特征提取網絡是 16 倍下采樣處理，利用最近鄰插值法產生了大小不等的像素位置偏移，導致網絡模型處理產生了偏差，偏差將會影響缺陷位置分割的準確度。
2.2 改進的特征圖算法設計
Faster-RCNN 網絡的特征圖提取網絡有兩種形式：ZF 網絡和 VGG 網絡[15]。實際操作中，需充分考慮工業相機拍攝圖像的全局特征和局部特征來提取 FPC 表面焊點的特征值，故本文選擇具有深度網絡層和較大修改空間的 VGG16 網絡作為特征提取網絡，其網絡結構如圖 4 所示。
在 Faster R-CNN 中，RPN 層收到的特征圖是 Conv5_3 的輸出矩陣。這種特征可以更好地表示缺陷的輪廓信息，獲得更準確的定位結果，但對于類間差異較小的微細差別樣本，如圖 1 所示的 4 種樣本分類，該特征的檢測效果并不理想，其原因是對于微細缺陷來說，抽象度高的特征表達能力太低。因此，本文通過 VGG16 網絡最后兩層的特征進行融合再檢測，使新生成的特征圖包含缺陷的全局和局部特征，來解決特征表達能力低的問題。
文獻[16]指出更深的網絡可以實現更高的召回率，但定位精度不是最優的，淺層網絡雖可以獲得更詳細的特征和較高的定位精度，但召回率更低。由于 FPC 表面焊點的夾渣、脫落、堆積、虛焊等缺陷尺寸小且形狀不規則，如果直接使用常規的 RPN 網絡，可能會出現缺陷位置的錯位和漏檢。神經元的感受野越大，可以獲取的原始圖像的范圍就越大，即神經元中包含的特征越抽象，語義水平就越高;感受野越小，感受野中的特征就越傾向于局部和細節[17-18]。
為了比較 Faster R-CNN 與改進后模型的收斂性，選用前 10000 次迭代訓練中的識別準確率進行比較。兩次試驗具有相同的超參數，學習率為 3 10 ，權重衰減率為 4 5 10。每隔 100 代采用隨機梯度下降算法進行優化處理，兩種模型的檢測性能曲線如圖 7 所示。從圖中可以看出，改進的 Faster R-CNN 模型率先獲得 90%以上的識別準確率，這是由于在訓練初期由于新生成的錨箱符合被檢測對象的形態特征，故缺陷的定位精度較高，算法的收斂速度較快。進入穩定階段后，改進后的 Faster R-CNN 模型的識別效果優于原模型，且精度保持在 90%以上，這說明改進后的模型對具有相似輪廓的微小缺陷的感知能力相對較強，從而提高了模型的識別精度。進一步地，改進后的模型的識別準確率均值為 91.89%，比原模型增加了 7.72%。
最后，將改進的 Faster R-CNN 與 SVM[20]、 YOLO-V3[21]以及經典的 Faster R-CNN 進行比較。表 3 至表 6 分別給出了四種模型對微型扁平電機焊點夾渣、焊點脫落、焊料堆積和虛焊四種缺陷的檢測結果。從表中可以看出，本文所提的模型具有最好的檢測性能;由于只提取了圖像的淺層特征，故 SVM 對微小缺陷的檢測性能最差;從檢測時間上看，YOLO-V3 的檢測速度最快，但檢測精度和召回率都太低，實用性不理想。然而，由于扁平電機生產線的運行速度較低，故綜合考慮檢測精度和檢測時間，本文所提改進的 Faster R-CNN 是最佳的缺陷分類方案。
此外，為了讓微型扁平電機 FPC 表面焊點缺陷的檢測結果更直觀地展示出來，圖 8 給出了其他三種模型與改進的 Faster R-CN 模型對于不同焊點缺陷的檢測結果比較。從結果可以看出，改進的 Faster R-CN 模型具有較高的準確性和精度。
4 結束語
本文提出了一種基于改進的 Faster R-CNN 模型的微型扁平電機 FPC 表面焊點質量的檢測方法。為了克服傳統 Faster R-CNN 模型檢測微小焊點存在的錯位和漏檢現象，采用一種多尺度特征融合的檢測模型，將不同感受野的特征圖組合作為 RPN 層的輸入，充分考慮缺陷的全局和局部特征，提高模型的檢測性能。試驗結果表明，改進后的 Faster R-CNN 模型的檢測精度優于原模型，其識別準確率均值可達 91.89%，比原模型增加了 7.72%。另外，改進后的 Faster R-CNN 模型的檢測精度也優于 SVM 和 YOLO-V3，且能夠滿足微型扁平電機 FPC 表面焊點質量檢測的工程需求。——論文作者：郁巖 1，齊繼陽 2
參考文獻
[1] Wang B, Hu S J, Sun L, et al. Intelligent welding system technologies: State-of-the-art review and perspectives[J]. Journal of Manufacturing Systems, 2020, 56: 373-391.
[2] Wang Q, Jiao W, Wang P, et al. A tutorial on deep learning-based data analytics in manufacturing through a welding case study[J]. Journal of Manufacturing Processes, 2021, 63: 2-13.
[3] 牟欣穎, 何赟澤, 王洪金, 等. 基于一維卷積神經網絡的聯動掃描熱成像缺陷自動識別與深度回歸[J]. 電子測量與儀器學報, 2021, 35(04): 211-217.
[4] 曹紅燕, 沈小林, 劉長明,等. 改進的 YOLOv3 的紅外目標檢測算法[J]. 電子測量與儀器學報, 2020, 32(8):7.
[5] Tabernik D, Šela S, Skvarč J, et al. Segmentation-based deep-learning approach for surface-defect detection[J]. Journal of Intelligent Manufacturing, 2020, 31(3): 759-776.
[6] Maestro-Watson D, Balzategui J, Eciolaza L, et al. Deflectometric data segmentation based on fully convolutional neural networks[C]//Fourteenth International Conference on Quality Control by Artificial Vision. International Society for Optics and Photonics, 2019, 11(7): 20-29.
[7] Park J K, Kwon B K, Park J H, et al. Machine learning-based imagingsystem for surface defect inspection[J]. International Journal of Precision Engineering and Manufacturing-Green Technology, 2016, 3(3): 303-310.
[8] ZHAO T, GUAN S, WANG P. A steel defect image segmentation method based on target’s area characteristic analysis[J]. Journal of Xi'an Polytechnic University, 2015, 29: 477-481.
[9] Xu X, Lei Y, Yang F. Railway subgrade defect automatic recognition method based on improved faster R-CNN[J]. Scientific Programming, 2018: 1-12.
[10] Ren S, He K, Girshick R, et al. Faster r-cnn: Towards real-time object detection with region proposal networks[J]. Advances in neural information processing systems, 2015, 28: 91-99.
[11] Baumgartl H, Tomas J, Buettner R, et al. A deep learning-based model for defect detection in laser-powder bed fusion using in-situ thermographic monitoring[J]. Progress in Additive Manufacturing, 2020: 1-9.
[12] Minaee S, Kafieh R, Sonka M, et al. Deep-covid: Predicting covid-19 from chest x-ray images using deep transfer learning[J]. Medical image analysis, 2020, 65: 101-116.
SCISSCIAHCI
