我國工業(yè)制造在表面缺陷檢測與分類智能化領(lǐng)域，長期高度依賴美、歐、日、韓等國外廠商提供的工業(yè)智能軟件。其導(dǎo)入門檻高、自主可控性低，且存在被限制禁用的風(fēng)險。國內(nèi)多家科研院所和大型企業(yè)均在大力投入研發(fā)該領(lǐng)域的自有產(chǎn)品，但受限于工業(yè)制造場景的表面缺陷檢測與分類中背景干擾強、關(guān)鍵樣本少、判級難度大、時延高的現(xiàn)實情況，在實際生產(chǎn)線上一直無法突破精度和效率指標(biāo)要求。

該項目圍繞表面缺陷智能檢測、分類、判級等方面開展了深入研究，在復(fù)雜背景條件下缺陷檢測、小樣本條件下缺陷分類、缺陷嚴重性智能判定、模型輕量化等方面取得了創(chuàng)新性成果，突破了現(xiàn)有技術(shù)瓶頸，在多家制造業(yè)龍頭、標(biāo)桿企業(yè)落地示范應(yīng)用。

技術(shù)說明

產(chǎn)品表面缺陷檢測與分類的智能化是實現(xiàn)“智能制造”的重要組成部分，尤其是面板等泛半導(dǎo)體行業(yè)的產(chǎn)品制造工藝復(fù)雜繁瑣，快速準確地定位缺陷、判定缺陷嚴重性等級并進行高效處置是提高產(chǎn)品國際競爭力的必要條件。近年來，隨著智能制造理論與技術(shù)的不斷發(fā)展，基于深度學(xué)習(xí)的機器視覺技術(shù)越來越多地應(yīng)用到面板、集成電路等制造行業(yè)，用于替代人工進行表面缺陷檢測與分類，但由于工業(yè)生產(chǎn)場景的復(fù)雜性和特殊性，基于深度學(xué)習(xí)的表面缺陷檢測與分類技術(shù)在實際的工業(yè)生產(chǎn)場景中面臨著不同于其它人工智能應(yīng)用領(lǐng)域的問題和挑戰(zhàn)：

1、復(fù)雜缺陷難檢出：工業(yè)產(chǎn)品缺陷檢測對象種類繁多且差異性大，被檢測對象通常具有復(fù)雜的紋理和背景，導(dǎo)致細微缺陷難以檢測、不同缺陷混淆和相互干擾等問題，極大影響缺陷的檢測效果。

2、關(guān)鍵缺陷難識別：訓(xùn)練缺陷智能檢測模型需要大量標(biāo)注數(shù)據(jù)，但實際生產(chǎn)中關(guān)鍵的嚴重缺陷往往發(fā)生率較低、關(guān)鍵樣本量少，導(dǎo)致模型難以準確識別這類關(guān)鍵缺陷。

3、缺陷嚴重程度難判定：同一類型的缺陷發(fā)生在關(guān)鍵區(qū)域和非關(guān)鍵區(qū)域?qū)Ξa(chǎn)品質(zhì)量影響程度不同，不同產(chǎn)品設(shè)計的關(guān)鍵區(qū)域布局差異巨大，目前還沒有識別關(guān)鍵區(qū)域的有效方法，缺陷嚴重程度難判定。

4、智能模型時延高：智能模型的參數(shù)量大、計算復(fù)雜度高，導(dǎo)致模型實際運行所需時間和計算資源無法滿足生產(chǎn)線實時性和經(jīng)濟性要求。為解決上述問題，數(shù)之聯(lián)牽頭組成科技攻關(guān)團隊，開展了一系列技術(shù)攻關(guān)，相關(guān)成果目前在面板等制造企業(yè)已實現(xiàn)規(guī)模化落地應(yīng)用，國內(nèi)市場占有率排名第一。

其主要關(guān)鍵核心技術(shù)：

針對基于深度學(xué)習(xí)的表面缺陷檢測與分類技術(shù)在實際的工業(yè)生產(chǎn)場景中面臨的問題和挑戰(zhàn)，項目團隊在復(fù)雜背景條件下缺陷智能檢測、小樣本條件下表面缺陷智能分類、缺陷嚴重性等級判定、表面缺陷檢測模型輕量化等方面開展了深入研究并取得了創(chuàng)新性成果，突破了現(xiàn)有技術(shù)瓶頸。

1、提出了一種復(fù)雜背景條件下缺陷智能檢測技術(shù)，將對稱注意力機制引入檢測網(wǎng)絡(luò)，并采用對稱數(shù)據(jù)增強方法，解決了細微、遮擋、易混淆表面缺陷的漏檢和誤檢難題，提升了整體檢測準確性。

2、提出了一種圖像小樣本智能分類建模方法，基于多尺度特征構(gòu)造多級標(biāo)簽傳播網(wǎng)絡(luò)，并基于信息擴散理論，解決訓(xùn)練樣本不足情況下的模型構(gòu)建難題，有效提升了不均衡樣本的分類準確性。

3、提出了一種缺陷嚴重性智能判級技術(shù)，將缺陷嚴重性的空間分布特性與注意力分布相融合，并采用自適應(yīng)層次聚類思想，解決缺陷等級智能化判定難題，極大提升了缺陷處置效率。

4、提出了一種針對工業(yè)制造中表面缺陷檢測模型的輕量化技術(shù)，結(jié)合知識蒸餾和通道剪枝，采用知識與模型聯(lián)合驅(qū)動的方式，解決缺陷檢測時延高的難題，在保障準確性的前提下，有效提升了檢測實時性，同時降低了資源消耗。

該項目成果已成功應(yīng)用于京東方、天馬微電子、華星光電、惠科、奧特斯等龍頭企業(yè)，能有效提升缺陷檢測效率和準確率、節(jié)約檢測人力成本，經(jīng)濟社會效益顯著。該項目成果已累計實現(xiàn)銷售收入1.5億元，成功導(dǎo)入25家大型工廠，國內(nèi)市場占有率排名第一，已在新型顯示領(lǐng)域建立了競爭優(yōu)勢，預(yù)計未來3-5年將為客戶節(jié)約成本約25億元。將來在芯片、新能源等行業(yè)也有巨大的市場空間。

依托該項目技術(shù)成功研發(fā)的缺陷智能檢測與分類云邊端一體化平臺，突破了國外廠商的技術(shù)壟斷，實現(xiàn)了缺陷檢測工業(yè)軟件的自主可控和規(guī)?；瘧?yīng)用。同時，極大推動了國內(nèi)制造企業(yè)智能化進程，有效提升了其國際競爭力，為制造強國戰(zhàn)略、安可工程實施做出了重大貢獻。

★專利申請?zhí)?公開號：CN113920117B

開發(fā)團隊

·帶隊負責(zé)人姓名：孫崇敬

孫崇敬，資深算法專家，電子科技大學(xué)博士。負責(zé)系統(tǒng)產(chǎn)品的開發(fā)和應(yīng)用落地實施，在復(fù)雜背景條件下缺陷智能檢測、表面缺陷小樣本智能分類、缺陷嚴重性等級判定三個方向上都有重要貢獻。

團隊其他重要成員姓名：彭向楠， 方育柯。

·隸屬機構(gòu)：數(shù)之聯(lián)

成都數(shù)之聯(lián)科技股份有限公司是一家以計算機視覺技術(shù)、多維數(shù)據(jù)分析挖掘技術(shù)和自然語言處理技術(shù)為核心的大數(shù)據(jù)與人工智能產(chǎn)品及解決方案服務(wù)商。公司聚焦“智能制造、智慧城市”兩大領(lǐng)域，依托“一體化云原生數(shù)智服務(wù)平臺”，為政府、企業(yè)和國防單位提供數(shù)據(jù)治理、數(shù)據(jù)可視化分析、數(shù)據(jù)挖掘等面向平臺和場景的數(shù)智化技術(shù)服務(wù)，助力客戶實現(xiàn)降本、增效、提質(zhì)。

相關(guān)評價

“武漢天馬自動識別分類系統(tǒng)（ADC）項目，已完成多個站點模型的上線運行。”

——武漢天馬微電子有限公司

廈門天馬微電子有限公司用戶評價：“該項目通過算法模型，實現(xiàn)覆蓋四個廠97個站點的AOI設(shè)備拍照機檢出圖片的自動缺陷定位，缺陷分類，缺陷等級判定及其他功能。通過系統(tǒng)在企業(yè)的應(yīng)用，提升了缺陷覆蓋率，折合人員替代率 80%以上，即節(jié)約人力成本80%；正式生產(chǎn)環(huán)境的生產(chǎn)站點中，保證了工廠產(chǎn)能滿產(chǎn)的需求。”

——廈門天馬微電子有限公司

來源：數(shù)據(jù)猿