如何在檢測系統中有效的結合傳統演算法和深度學習?

幾十年來,機器視覺技術一直在工業環境中執行自動化檢測任務,包括缺陷檢測、缺陷分析、裝配驗證、分類和計數。最近的計算機視覺軟體進步和處理技術進一步增強了這些成像系統在新的和不斷擴大的用途中的能力。成像系統本身仍然是一個至關重要的視覺元件,但它的作用和執行可能會被低估或誤解。

如何在檢測系統中有效的結合傳統演算法和深度學習?

圖 1:左邊的影象顯示了一個完美的齒輪,右邊的影象清楚地顯示了一個缺陷。

如果沒有精心設計和正確安裝的成像系統,軟體將難以可靠地檢測缺陷。例如,儘管圖 1(左)中的成像設定顯示了一個吸引人的齒輪影象,但只有右側的影象清楚地顯示了凹痕。當遵循最佳實踐時,機器視覺和基於深度學習的成像系統能夠進行有效的視覺檢查,並將提高效率、增加吞吐量並增加收入。本文深入探討了迭代設計的最佳實踐,並提供了成功設計每種型別系統的路線圖。

一、您的成像系統是否足夠好?

照明、光學元件和相機組成一個成像系統,必須仔細指定和實施這些元件,以確保獲得高質量的零件影象。在這種情況下,“高質量”是指影象與具有正常或預期外觀的影象相比,具有足夠的對比度以突出顯示不可接受的特徵(例如凹痕)。影象還必須具有足夠的解析度以顯示特徵之間的差異。

如果檢查系統生成的影象的人工檢查員不能自信地識別缺陷,則軟體也不太可能能夠識別。相反,在人工檢查員可以識別影象中的缺陷的情況下,無法保證成像技術將在操作期間對類似的目標缺陷進行可靠且可重複的檢測。表明成像系統(而非軟體)需要工作的情況包括:

檢視物理部件的檢查員可以可靠地判斷某物是否有缺陷,但僅檢視捕獲的影象時是無法確定的。

兩個檢視物理部件的檢查員通常會在他們的評估中達成一致,但檢視物理部件的檢查員通常不同意只檢視影象的不同檢查員。

一個常見的誤解是,如果人類檢查員可以用肉眼看到一個特徵,則可以設計成像系統來生成成功捕獲相同特徵的影象。但是,人類檢查員可以從多個方向和不同的照明條件下檢視零件以進行質量判斷,而靜態成像系統不一定能捕捉到類似的大範圍方向和照明變化。因此,它可能無法突出顯示持有相同物件的人類檢查員會突出顯示的特徵。而且,在檢測透明部件中的劃痕等情況下,成像系統面臨的挑戰可能會變得更加複雜。

幾千年來,人類視覺系統在處理影象資料方面已經變得非常高效和準確。構建一個能夠在處理影象方面擊敗人的軟體系統是一項極其艱鉅的任務,就像構建一個可以檢測檢查員無法檢測到的缺陷的軟體系統一樣。即使是最先進的視覺系統也不是魔法。如果給出的是模糊的影象,則沒有任何視覺系統能夠可靠地做出缺陷判斷。

二、傳統成像系統設計

系統整合商和原始裝置製造商在設計有效的成像系統時必須考慮幾個因素。這些因素包括:

對比度:

創新性的使用專門為應用程式選擇的專用照明和光學器件以及產生需要對比度是機器視覺中的一個重要元素。

空間解析度:

成像系統中的空間解析度是指跨越特徵(例如缺陷)的畫素數。如果畫素太少,就不可能可靠地檢測相對於零件表面的特徵。假設影象聚焦良好,我們建議系統預期檢測到的最小缺陷的寬度至少為 5 畫素。

影象光照一致性:

在自動化過程中,許多因素會導致影象發生變化,包括零件位置變化和零件本身的變化。在某些情況下,這些變化可能會導致照明源的眩光或失落,從而掩蓋了特徵。在其他情況下,零件變化可能會導致反射,這些反射可能會被誤認為是缺陷或缺陷。例如,如果機器視覺系統檢查透明汽車前燈是否存在缺陷,則不同的照明條件會產生不同程度的眩光。系統越能從相同的角度、相同的照明和相同的背景捕獲影象,就越容易構建軟體來檢測缺陷。

曝光:

曝光過度或曝光不足的影象會丟失很多細節。適當的曝光水平應允許系統捕獲清晰的缺陷影象。

三、設計成像系統的迭代過程

為機器視覺系統指定成像架構只是整個整合過程中的一個關鍵步驟。成功的自動化視覺系統整合需要在元件設計和規範之前進行全面而有效的分析和規劃,然後是高效的安裝、配置和系統啟動。

如何在檢測系統中有效的結合傳統演算法和深度學習?

圖 2:與中間的影象相比,左側的影象說明了一個具有挑戰性的檢測問題,而右側的影象則更清楚地顯示了缺陷。

在成像系統設計期間也必須考慮軟體。在某些情況下,用於傳統基於規則的機器視覺演算法的影象可能與適用於使用深度學習演算法的系統的影象不同。圖 2 (左)顯示了比圖 2 (中)中更好的照明和照明影象更具挑戰性的檢測問題。圖 2 (右)中較暗的背景更能說明缺陷。在這種情況下,更好的影象設計將使任一檢測系統的實施更加可靠。

設計成像系統是一個高度迭代的過程;最好的機器視覺解決方案會隨著時間的推移不斷髮展並變得更加可靠和強大。圍繞“完美”的照明和相機設計一個系統,然後提前構建它可能是不可能的。但是透過對應用程式需求的徹底分析——以及一些成像元件和技術的知識——開發人員可以產生一個好的初始設計。

在開發軟體系統時,整合商或 OEM 應該收集樣本影象——即使在最初幾天使用智慧手機攝像頭——以獲得初始資料以驗證軟體的可行性。無論這種概念驗證產生正面還是負面的結果,請記住,必須設計一個單獨的、可用於生產的成像系統。智慧手機相機的功能,例如快速移動到多個角度,在生產系統中可能不可行。使用靜態成像設定處理具有代表性缺陷的樣品部件可能可行,但仍必須考慮最終成像系統配置。

具有“完美”影象的測試軟體可能無法真正代表生產環境中的實際能力。在設計可用於生產的成像系統時,周到的設計將產生更長期的成功。在一個典型的過程中,人們應該:

1。 考慮到零件的自動化和處理限制,為要成像的特徵/物件/缺陷型別制定規範。考慮因素可能涉及快速移動的部件、根據檢視方向改變外觀的部件以及顯示眩光的部件。

2。 收集有缺陷和可接受的零件樣品。

3。 設計一個初始成像系統,以滿足被檢測零件的需求以及生產環境的物理約束和規範。

4。 透過系統執行零件樣本並檢查所有缺陷是否以適合目標軟體解決方案的方式清晰成像。

5。 迭代第 3 步和第 4 步,直到效能令人滿意。

在開發基於深度學習的成像系統或在現有機器視覺系統中實施深度學習功能時,必須採取類似的步驟,但一些關鍵考慮因素除外。下一部分提供了在成像系統中開始深度學習的計劃。

四、深度學習開發

在多種情況下,基於離散分析的機器視覺演算法可能不夠用。其中包括半導體和電子產品檢驗、鋼材檢驗、焊接檢驗以及任何其他難以發現缺陷或“好”零件或物品外觀不同的檢驗任務。除了一些關鍵考慮因素外,開發深度學習軟體解決方案可能類似於構建傳統的基於規則的系統。這些包括:

部署乾淨的資料:

俗話說“垃圾進,垃圾出”。資料代表了滋養人工智慧 (AI) 系統的食物,因此必須使用高質量的資料來訓練深度學習模型。在使用不準確或不完整的資訊時,即使是構思最完善的模型也會產生低於標準的結果。優質的深度學習軟體解決方案應持續收集資料,同時允許使用幫助開發人員訪問和控制 AI 模型演化的工具系統地開發、部署、跟蹤、維護和監控資料和每個軟體元件。資料應包括有關產品、缺陷、標籤或標籤、資料一致性和相關模型的資訊。

定義缺陷:

在許多工業環境中,依賴人工檢查員的公司通常會保留一份已定義零件缺陷的書面日誌。在訓練深度學習系統時,還必須預先定義這些缺陷,以便軟體能夠識別出有缺陷的部件。

標記

:希望部署深度學習的公司必須準確標記和標記資料。如果執行不一致,此步驟可能會導致 AI 模型不準確。透過對代表性資料集的清晰缺陷定義和清晰、明確的標籤,公司可以繼續使用少量資料進行視覺化專案。內部專家必須協作分配、管理、執行和審查任務,以確保快速準確地標記以生成更準確的模型。

迭代改進

:在部署到生產線之前,最好的 AI 模型應該與專家人工檢查員進行評估,以證明其價值,尤其是當該生產線用作全球部署的測試時。深度學習軟體應該具有用於評估模型效能、識別可能導致模型準確性損失的資料以及評估新資料集以改進和擴充套件現有模型以達到成功指標的工具。該軟體還應具有防止過度擬合和評估訓練模型效能的工具。

五、常見的陷阱和挑戰

成像帶來了許多挑戰,因此係統整合商和 OEM 應該考慮一些最基本和最基本的陷阱,並在系統設計中預先解決這些問題。這些包括:

環境光

:來自為成像系統設計的專用照明元件以外的光源的照明被視為環境光,可能會導致系統出現不一致和故障。在可能的情況下,必須透過遮蔽或光學過濾來控制陽光甚至頭頂照明。在一個示例中,靠近檢查系統的製造人員制服顏色的變化會引起額外的反射光,從而影響檢查結果。在大多數情況下,在成像系統設計中減輕環境光的影響是相對簡單的。

機械穩定性

:工廠振動會使成像系統中的光學元件鬆動,相機位置、照明元件甚至鏡頭設定的變化都會導致成像不可靠。

不同的外觀

:被檢查部件的材料、設計和整體外觀可能會發生變化,而視覺系統所有者卻沒有意識到這些變化。例如,製造工程團隊決定更換螺釘上的金屬合金,因為它更便宜。在功能上,該部件的工作原理相同,但外觀可能會有所不同。這種外部影響可能會導致系統性能下降,有時會悄無聲息地下降。檢查這種漂移的軟體可以通知運營團隊何時及時進行視覺系統維護。

六、機器視覺和深度學習的發展

視覺檢測系統,無論是傳統的還是基於深度學習的,都可以幫助各類行業和公司滿足客戶需求,同時確保產品質量、提高生產力和降低成本。無論您是希望自動化更多流程的公司,還是面臨下一個系統的規範、設計和安裝的整合商或 OEM,請考慮這樣一個事實:所有視覺檢測系統都需要測試、迭代和持續改進。

遵循最佳實踐並考慮對比度、空間解析度、影象一致性和曝光將有助於設計有效的成像系統。在深度學習方面,考慮對乾淨資料的需求、基於協議的標記、標記和標記以及迭代模型改進將有助於產生高質量的 AI 視覺檢測系統。隨著不斷改進,您的視覺檢測系統將繼續增加價值,並使您的業務在未來發展。

End

宣告:部分內容來源於網路,僅供讀者學術交流之目的。文章版權歸原作者所有。如有不妥,請聯絡刪除。

TAG: 成像系統影象缺陷視覺