由于面板制程工序多且復(fù)雜，其制程工序的智能化發(fā)展是突破“智能制造”的重要環(huán)節(jié)。而質(zhì)量檢測(cè)貫穿電子制造全程，對(duì)于控制產(chǎn)品質(zhì)量起到?jīng)Q定性作用。在生產(chǎn)過(guò)程中檢測(cè)和修復(fù)各類(lèi)缺陷也能夠使制造商改進(jìn)其生產(chǎn)過(guò)程，避免成本進(jìn)一步提高。

FPD領(lǐng)域龍頭企業(yè)某T社，其Array/OLED工藝會(huì)帶來(lái)種類(lèi)繁多的缺陷，缺陷由AOI（自動(dòng)光學(xué)檢測(cè)設(shè)備）檢出后會(huì)有數(shù)十位OP進(jìn)行分類(lèi)，且每日判圖量達(dá)到數(shù)十萬(wàn)。目前AOI、點(diǎn)燈機(jī)等機(jī)臺(tái)檢測(cè)大多只拍攝照片，不能判別缺陷類(lèi)別，需要產(chǎn)線作業(yè)員依據(jù)經(jīng)驗(yàn)在人工判圖系統(tǒng)或以查看本地圖片的形式判別缺陷類(lèi)型，人工判圖效率低下，工廠也面臨著大量的人力投入、人力流失帶來(lái)檢測(cè)準(zhǔn)確率下降的問(wèn)題從而影響良率。

實(shí)施時(shí)間：自動(dòng)缺陷檢測(cè)分類(lèi)系統(tǒng)（ADC）在集團(tuán)下屬的武漢工廠試點(diǎn)，于2020年10月啟動(dòng)，逐步根據(jù)站點(diǎn)上線，2021年10月實(shí)現(xiàn)全面的上線運(yùn)行。

應(yīng)用場(chǎng)景

面板產(chǎn)業(yè)主要是指用于電視、臺(tái)式電腦、筆記本和手機(jī)等電子設(shè)備的觸控顯示面板產(chǎn)業(yè)。當(dāng)今時(shí)代已經(jīng)是信息的時(shí)代，信息顯示技術(shù)在人們社會(huì)活動(dòng)和日常生活中的作用日益劇增，人類(lèi)信息的獲取80%來(lái)自視覺(jué)，各種信息系統(tǒng)終端設(shè)備與人之間的交互都需要通過(guò)信息顯示來(lái)實(shí)現(xiàn)。面板產(chǎn)業(yè)已經(jīng)成為了光電產(chǎn)業(yè)的龍頭，在信息產(chǎn)業(yè)中僅次于微電子行業(yè)，成為了最重要的產(chǎn)業(yè)之一。

從產(chǎn)業(yè)鏈來(lái)看，面板產(chǎn)業(yè)可以分為上游基礎(chǔ)材料、中游面板制造以及下游終端產(chǎn)品。其中，上游基礎(chǔ)材料包括：玻璃基板、彩膜、偏振片、液晶、靶材等;中游面板制造包括：列陣(Array)、成盒(Cell)、模組(Module);下游終端產(chǎn)品包括：電視、電腦、手機(jī)和其他消費(fèi)類(lèi)電子。

近年來(lái)，隨著消費(fèi)升級(jí)以及5G技術(shù)的發(fā)展，消費(fèi)者對(duì)顯示終端需求提出了更高的要求，對(duì)面板生產(chǎn)廠家也有了更高的要求。盡管制造過(guò)程自動(dòng)化程度已經(jīng)非常高，但是生產(chǎn)出來(lái)后一定要做產(chǎn)品的質(zhì)量檢測(cè)，這是必不可少的環(huán)節(jié)。

面臨挑戰(zhàn)

該企業(yè)Array/OLED工藝會(huì)帶來(lái)種類(lèi)繁多的缺陷，缺陷由AOI檢出后會(huì)有數(shù)十位OP進(jìn)行分類(lèi)，每日判圖量數(shù)十萬(wàn)。按照傳統(tǒng)人力檢測(cè)方式，會(huì)有人眼疲勞、效率低、主觀性大、誤檢、漏檢率高等問(wèn)題。

相比于人工檢測(cè)，AOI機(jī)器視覺(jué)檢測(cè)可靠性和效率都更高。但AOI 檢測(cè)常遭詬病的問(wèn)題是：誤報(bào)率（False Alarm）過(guò)高。AOI拍攝的缺陷照片中不是背景復(fù)雜缺陷極小，就是缺陷間形態(tài)特征差異小，混淆程度高，給分類(lèi)造成極大困擾。

整個(gè)判片過(guò)程會(huì)消耗大量人力，給工廠運(yùn)營(yíng)帶來(lái)巨大壓力；同時(shí)人工判定缺陷類(lèi)別效率低，異常無(wú)法及時(shí)反饋，可修復(fù)產(chǎn)品無(wú)法及時(shí)得到修復(fù)，從而導(dǎo)致良率損失及維修機(jī)臺(tái)產(chǎn)能損失；并且人員間差異、狀態(tài)、熟練程度不同，易造成誤檢和漏檢，影響生產(chǎn)效益。

目前在自動(dòng)缺陷檢測(cè)與分類(lèi)系統(tǒng)方面，解決的就是先進(jìn)制造企業(yè)產(chǎn)線上AOI拍攝的缺陷圖像的缺陷檢出與分類(lèi)問(wèn)題、判定結(jié)果的應(yīng)用問(wèn)題。

技術(shù)應(yīng)用與實(shí)施過(guò)程

數(shù)之聯(lián)圖像自動(dòng)缺陷檢測(cè)與分類(lèi)系統(tǒng)（ADC）為企業(yè)提供高精準(zhǔn)的缺陷分類(lèi)結(jié)果，該系統(tǒng)方案設(shè)計(jì)思路是通過(guò)實(shí)時(shí)監(jiān)測(cè)客戶DFS中的圖片和圖片信息文件動(dòng)態(tài)增量情況，以實(shí)時(shí)或者批量采集方式將圖片同步到自動(dòng)缺陷檢測(cè)分類(lèi)系統(tǒng)（ADC）圖片存儲(chǔ)中，并解析信息文件以及圖片存儲(chǔ)地址寫(xiě)入消息隊(duì)列，系統(tǒng)會(huì)讀取待判圖片進(jìn)行預(yù)測(cè)，并將結(jié)果寫(xiě)入對(duì)應(yīng)的存儲(chǔ)。其中，預(yù)測(cè)是調(diào)用在線的算法預(yù)測(cè)服務(wù)。通過(guò)融合深度學(xué)習(xí)算法服務(wù)的系統(tǒng)功能實(shí)現(xiàn)代替了部分原有的OP人工判圖工作。

系統(tǒng)模塊如下：

系統(tǒng)架構(gòu)如下：

核心功能如下：

1）缺陷檢出：系統(tǒng)自動(dòng)對(duì)AOI、點(diǎn)燈機(jī)、mask等圖像進(jìn)行缺陷檢測(cè)，對(duì)缺陷類(lèi)型CODE進(jìn)行判決，并標(biāo)注缺陷的位置、大小等信息，輔助人工復(fù)判。

2）缺陷分類(lèi)：基于深度視覺(jué)處理引擎iDeepViewer，突破傳統(tǒng)圖像處理技術(shù)的瓶頸，提供高精準(zhǔn)的缺陷分類(lèi)結(jié)果。

3）缺陷判定：系統(tǒng)依據(jù)客戶業(yè)務(wù)規(guī)則，對(duì)缺陷后道規(guī)則處理并進(jìn)行最終類(lèi)型判定。

4）數(shù)據(jù)交互：以直連、dblink、tibco等通信連接方式與DFS、EDA、MES等系統(tǒng)對(duì)接，獲取數(shù)據(jù)源及回傳判圖結(jié)果。

針對(duì)該項(xiàng)目的創(chuàng)新性如下：

（1）技術(shù)創(chuàng)新性：

① 深度學(xué)習(xí)技術(shù)。利用深度學(xué)習(xí)技術(shù)構(gòu)建深度卷積神經(jīng)網(wǎng)絡(luò)模型，通過(guò)end2end方式讓機(jī)器學(xué)習(xí)到面板不良圖像中缺陷因素之間的深層邏輯關(guān)系。

② 缺陷自動(dòng)檢測(cè)技術(shù)?；谏疃葘W(xué)習(xí)算法Mask-RCNN實(shí)現(xiàn)，采用softmax分類(lèi)器，使用交叉熵?fù)p失函數(shù)，預(yù)測(cè)不良圖像類(lèi)別。

③ 缺陷智能定位技術(shù)。基于面板不良圖像的周期性特征，提出一種采用模板匹配的方法進(jìn)行缺陷定位。

④ 缺陷關(guān)聯(lián)分析技術(shù)。采用機(jī)器學(xué)習(xí)分類(lèi)模型或回歸模型實(shí)現(xiàn)生產(chǎn)過(guò)程影響要素和缺陷之間的多因素相關(guān)模型，并通過(guò)各種模型實(shí)現(xiàn)生產(chǎn)要素的影響程度排序。

⑤ 模型管理：綜合管理深度學(xué)習(xí)模型和機(jī)器學(xué)習(xí)模型，集成管理多個(gè)深度學(xué)習(xí)框架和機(jī)器學(xué)習(xí)框架。

⑥ 服務(wù)管理：采用訓(xùn)練好的模型，映射站點(diǎn)、業(yè)務(wù)場(chǎng)景等情況并發(fā)提供在線預(yù)測(cè)服務(wù)。

（2）模式創(chuàng)新性：

① 基于深度學(xué)習(xí)目標(biāo)檢測(cè)算法的智能缺陷識(shí)別。

② 通過(guò)一種服務(wù)的動(dòng)態(tài)感知以及權(quán)重策略，實(shí)現(xiàn)預(yù)測(cè)服務(wù)負(fù)載以及高可用。

③ 采用虛擬化技術(shù)，綜合管理容器中深度學(xué)習(xí)模型和機(jī)器學(xué)習(xí)模型。

④ 實(shí)現(xiàn)GPU動(dòng)態(tài)分配以及服務(wù)動(dòng)態(tài)分布方法。

（3）應(yīng)用創(chuàng)新：

① 本項(xiàng)目構(gòu)建的基于深度學(xué)習(xí)的產(chǎn)品缺陷自動(dòng)檢測(cè)與分類(lèi)系統(tǒng)，實(shí)現(xiàn)缺陷位置的自動(dòng)定位及缺陷Code 的分類(lèi)，實(shí)現(xiàn)缺陷問(wèn)題的匯總分析。系統(tǒng)將利用人工智能自動(dòng)判定產(chǎn)品缺陷代替?zhèn)鹘y(tǒng)人工判定方式，節(jié)省人力成本并實(shí)現(xiàn)產(chǎn)品質(zhì)量的有效監(jiān)控。

② 本項(xiàng)目構(gòu)建的基于電子信息制造大數(shù)據(jù)的缺陷關(guān)聯(lián)分析優(yōu)化系統(tǒng)，能夠自動(dòng)清洗、整合和分析電子信息制造的各種類(lèi)型數(shù)據(jù)，分析缺陷和各生產(chǎn)要素的相關(guān)性，實(shí)現(xiàn)設(shè)備路徑分析及多因素組合性分析，幫助企業(yè)更好定位問(wèn)題，縮短缺陷定位時(shí)間，提升產(chǎn)品良率。

商業(yè)變化

通過(guò)采用圖像自動(dòng)缺陷檢測(cè)與分類(lèi)系統(tǒng)（ADC），該企業(yè)核心業(yè)務(wù)指標(biāo)得到大幅提升：

（1）每秒約判2張?zhí)嵝У矫棵爰s判10張并減少風(fēng)險(xiǎn)批數(shù)量，ADC檢測(cè)為毫秒級(jí)；

（2）提高準(zhǔn)確率：人眼識(shí)別準(zhǔn)確度在90%，機(jī)器準(zhǔn)確率基本能超過(guò)95%。

在精密制造領(lǐng)域，每一個(gè)千分位的變化都是巨大的成本節(jié)約，也是非常重要的技術(shù)表現(xiàn)。同時(shí)切實(shí)為企業(yè)節(jié)約30%-80%質(zhì)檢人力，降低成本上百萬(wàn)，極大縮減檢測(cè)時(shí)間，提升生產(chǎn)效率。

數(shù)之聯(lián)，成立于2012年，堅(jiān)持“數(shù)據(jù)價(jià)值發(fā)現(xiàn)專(zhuān)家”定位，以“讓制造更智能、城市更智慧”為使命，始終致力于成為數(shù)據(jù)智能行業(yè)引領(lǐng)者。

相關(guān)企業(yè)介紹

·數(shù)之聯(lián)

數(shù)之聯(lián)以積累多年的數(shù)據(jù)治理、數(shù)據(jù)分析可視化、數(shù)據(jù)挖掘經(jīng)驗(yàn)，構(gòu)建了一套自主可控的技術(shù)體系，具備強(qiáng)大的科技創(chuàng)新能力，擁有多項(xiàng)自主知識(shí)產(chǎn)權(quán)的核心技術(shù)，深耕智能制造與智慧城市兩大領(lǐng)域，具備咨詢規(guī)劃、解決方案、產(chǎn)品服務(wù)三大能力，助力客戶實(shí)現(xiàn)運(yùn)營(yíng)優(yōu)化、服務(wù)創(chuàng)新、業(yè)態(tài)重構(gòu)，快速完成數(shù)智化轉(zhuǎn)型發(fā)展，贏得市場(chǎng)先機(jī)。

·某T社

半導(dǎo)體顯示行業(yè)龍頭企業(yè)，成立于1983年，1995年在深圳證券交易所上市，是一家在全球范圍內(nèi)提供全方位的客制化顯示解決方案和快速服務(wù)支持創(chuàng)新的創(chuàng)新型科技企業(yè)。數(shù)之聯(lián)服務(wù)的項(xiàng)目有G5.5/6代LTPS-LCD生產(chǎn)線及G6 OLED柔性生產(chǎn)線，其產(chǎn)品主要應(yīng)用于高端智能手機(jī)和差異化平板電腦。

來(lái)源：數(shù)據(jù)猿