本案例由商湯科技投遞并參與評(píng)選，數(shù)據(jù)猿獨(dú)家全網(wǎng)首發(fā)。

承載著數(shù)百年歷史的故宮在時(shí)代演進(jìn)中不斷更新著自身定位和社會(huì)責(zé)任。擁有跨越600年的歷史建筑，凝聚了中華上下幾千年的文化精髓，故宮博物院始終肩負(fù)著教育責(zé)任，希望將厚重的歷史和文化基因傳遞給年輕一代。與此同時(shí)，互聯(lián)網(wǎng)技術(shù)的蓬勃發(fā)展所帶來(lái)的豐碩成果正逐漸改變著人們社交，閱讀和生活方式。如何讓互聯(lián)網(wǎng)時(shí)代下成長(zhǎng)起來(lái)的新一代年輕人通過(guò)故宮博物院更了解中國(guó)的歷史和傳統(tǒng)文化，是值得思考的問(wèn)題。值得一提的是，故宮博物院與時(shí)俱進(jìn)，近年來(lái)不僅上線(xiàn) “故宮文創(chuàng)” 系列文創(chuàng)商品，也推出了一系列主題性綜合文化創(chuàng)意項(xiàng)目。

其中 “金榜題名” 是故宮三大主題性綜合文創(chuàng)項(xiàng)目之一，是故宮在培育新型文化業(yè)態(tài)道路上的全新嘗試。它將歷史文化與科技、藝術(shù)相結(jié)合，以沉浸式、互動(dòng)式的方式向人們展示古今修身文化，讓人們了解求學(xué)奮進(jìn)創(chuàng)新的核心意義。通過(guò)“金榜題名” 展，希望讓更多中國(guó)文化走進(jìn)大眾，讓“知識(shí)改變命運(yùn)” 、“行行出狀元”、“教育公平性”這些具有正能量及積極引導(dǎo)作用的教育理念思想得以弘揚(yáng)。

此次與故宮文化的合作，商湯科技創(chuàng)造性地將SenseAR平臺(tái)的核心AI+AR技術(shù)和SenseMoji表情模擬技術(shù)與“金榜題名”文化創(chuàng)意和展覽場(chǎng)景結(jié)合，用沉浸式的互動(dòng)游戲體驗(yàn)讓參觀者可以貼身感受歷史氣韻，了解中國(guó)傳統(tǒng)教育考試制度。

實(shí)施時(shí)間：

“金榜題名”互動(dòng)式展覽在2019年12月6號(hào)的北京王府中環(huán)正式首展。商湯科技提供技術(shù)支持的互動(dòng)項(xiàng)目“孔廟祭孔”與“號(hào)舍考生相”在展覽中亮相。而在9月上海舉辦的2019世界人工智能大會(huì)（WAIC）上，在商湯科技的AI+文化藝術(shù)展示區(qū)，這兩個(gè)展項(xiàng)也已亮相，面向全球參會(huì)人員互動(dòng)展示。

“孔廟祭孔”與“號(hào)舍考生相”兩個(gè)展項(xiàng)從2019年7月開(kāi)始正式開(kāi)發(fā)，于2019年8月開(kāi)發(fā)完畢。

WAIC現(xiàn)場(chǎng)體驗(yàn)圖

WAIC現(xiàn)場(chǎng)體驗(yàn)圖

應(yīng)用場(chǎng)景

商湯科技此次將SenseAR平臺(tái)的AI+AR核心技術(shù)和SenseMoji應(yīng)用到故宮 “金榜題名”展覽的兩個(gè)展項(xiàng)中，分別是“孔廟祭孔”和“號(hào)舍考生相”。用AI和AR技術(shù)讓參觀者可以沉浸式體驗(yàn)古代教育禮儀，了解古代科舉制度與文化。

孔廟祭孔-AR合影：明清時(shí)期，新科進(jìn)士在傳臚大典后會(huì)參與一系列儀式和活動(dòng)，如赴恩榮宴、上表謝恩、赴孔廟行禮，并刻進(jìn)士題名碑等。商湯科技用SenseAR平臺(tái)的核心AI技術(shù)對(duì)其中新科進(jìn)士謁先圣先師這一環(huán)節(jié)進(jìn)行了還原和演繹。展項(xiàng)還原孔廟大成殿的祭孔案臺(tái)，當(dāng)觀眾走到展區(qū)時(shí)，孔子的AI虛擬人像將出現(xiàn)。當(dāng)觀眾模仿孔子的動(dòng)作，擺出標(biāo)準(zhǔn)的 “拜禮” 手勢(shì)回禮時(shí)，商湯科技的手勢(shì)識(shí)別技術(shù)將捕捉到此特定手勢(shì)，并觸發(fā)拍照合影，觀眾能拿到與孔夫子合影的珍貴照片，感受一次穿越古今的祭孔之旅。

史書(shū)記載: 孔子長(zhǎng)九尺有六寸,人皆謂之“長(zhǎng)人”而異之。根據(jù)不同時(shí)代的度量衡計(jì)算，孔子的身高約是196.8cm或221.7cm，絕對(duì)稱(chēng)得上巨人。

號(hào)舍考生相-人臉互動(dòng)：“號(hào)舍”即古代科舉考試時(shí)考生的考位，每個(gè)考生都能分到一個(gè)獨(dú)立隔間，條件惡劣且空間狹小。在前后三場(chǎng)，共九天六夜的考試中，考生的“考睡吃喝”盡在于此。商湯運(yùn)用SenseMoji表情模擬技術(shù)將現(xiàn)場(chǎng)觀眾與古代寒窗苦讀進(jìn)京趕考的秀才形象連接在一起, 還原考生在號(hào)舍中的考試生活，讓游客體驗(yàn)到古代考生艱苦的學(xué)習(xí)環(huán)境。SenseMoji可以捕捉觀眾的表情信息，將其表情轉(zhuǎn)移到號(hào)舍考生的形象上，模仿觀眾張嘴閉眼等動(dòng)作，做出各類(lèi)面部表情，具有極強(qiáng)的趣味性。

展項(xiàng)實(shí)景圖

面臨挑戰(zhàn)

商湯科技與故宮文化“金榜題名”展覽的合作面臨的挑戰(zhàn)可以說(shuō)是雙重的。首先技術(shù)上，如何將商湯科技的AI和AR技術(shù)與展覽內(nèi)容緊密結(jié)合，不是單純的技術(shù)支持，而要考慮互動(dòng)形式與內(nèi)容，要嚴(yán)謹(jǐn)考證相關(guān)史實(shí)，要形成真實(shí)的感染力，有效傳播文化內(nèi)涵。此外，故宮文化展覽期間人流量大，如何保證互動(dòng)及時(shí)順暢以及觀眾的良好參觀體驗(yàn)，這對(duì)技術(shù)和設(shè)備的穩(wěn)定性提出了嚴(yán)格要求。

另外，已經(jīng)成為超級(jí)IP的故宮文化承載著很多人的期待和關(guān)注，對(duì)于其中各類(lèi)展覽的質(zhì)量要求非常高。因此商湯科技在實(shí)施和落實(shí)技術(shù)的過(guò)程中需要極大的耐心和細(xì)心，保證萬(wàn)無(wú)一失的完成預(yù)期目標(biāo)。

數(shù)據(jù)支持

孔廟祭孔-AR合影展項(xiàng)包含人像照片、手勢(shì)、姿體感知、場(chǎng)景三維信息的多維數(shù)據(jù)。

號(hào)舍考生相人臉互動(dòng)展項(xiàng)包含人臉表情數(shù)據(jù)，包括為多達(dá)52種基表情，如眼睛相關(guān)的表情共14個(gè)，嘴唇相關(guān)的表情共23個(gè)；SenseMoji支持106或240個(gè)人臉關(guān)鍵點(diǎn)，在主流手機(jī)上數(shù)毫秒/10ms處理速度。

應(yīng)用技術(shù)／實(shí)施過(guò)程

商湯科技與故宮文化的合作運(yùn)用了商湯科技SenseAR平臺(tái)的核心AI+AR技術(shù)，包括人臉和手勢(shì)識(shí)別感知技術(shù)以及表情模擬技術(shù)。人臉識(shí)別，手勢(shì)互動(dòng)和姿體感知AI技術(shù)主要運(yùn)作在孔廟祭孔-AR合影展項(xiàng)。SenseMoji表情模擬技術(shù)則運(yùn)用在“金榜題名”展中的號(hào)舍考生相展項(xiàng)。

孔廟祭孔AR合影體驗(yàn)展項(xiàng)通過(guò)人臉識(shí)別、手勢(shì)互動(dòng)和姿體感知等 AI 技術(shù)，讓觀眾可以和孔子虛擬人像進(jìn)行合影，提升用戶(hù)與虛擬內(nèi)容的互動(dòng)體驗(yàn)，兼具趣味性和科創(chuàng)體驗(yàn)。號(hào)舍考生相人臉互動(dòng)展項(xiàng)通過(guò)應(yīng)用商湯科技提供的SenseMoji技術(shù)，用視頻捕捉人物表情信息將其表情變化轉(zhuǎn)移到3D 虛擬形象上。

孔廟祭孔屬于AR合影互動(dòng)游戲。利用AI/AR技術(shù)，商湯科技首先對(duì)祭孔案臺(tái)和孔子形象進(jìn)行了高度的歷史還原，使其和周?chē)恼桂^、文物進(jìn)行虛實(shí)融合，增強(qiáng)觀眾感官體驗(yàn)的真實(shí)感。其次，商湯科技增加人臉和手勢(shì)識(shí)別感知技術(shù)，使觀眾可以進(jìn)入到此3D虛實(shí)融合的場(chǎng)景中，一旦觀眾進(jìn)入場(chǎng)景，觸發(fā)“拜禮”動(dòng)作，就會(huì)產(chǎn)生和孔子AI人像的合影，給觀眾驚喜，增加展覽現(xiàn)場(chǎng)的互動(dòng)性和趣味感。

號(hào)舍考生相所采用的商湯科技SenseMoji表情模擬解決方案，是商湯科技智能手機(jī)產(chǎn)品服務(wù)模塊下的主要解決方案。SenseMoji解決方案基于深度學(xué)習(xí)算法與大量的數(shù)據(jù)積累，為智能終端實(shí)現(xiàn)人臉解鎖、人臉支付、AR 特效、雙攝虛化、智能相冊(cè)、人像光效、手勢(shì)識(shí)別等功能。號(hào)舍考生相主要基于商湯人臉圖像的應(yīng)用技術(shù)，包括人臉檢測(cè)、關(guān)鍵點(diǎn)定位、表情識(shí)別等功能，借由多模塊結(jié)合，通過(guò)視頻捕捉人物表情信息，將其表情變化轉(zhuǎn)移到號(hào)舍考生形象上，驅(qū)動(dòng)該形象完成相應(yīng)的表情動(dòng)畫(huà)，支持106或240個(gè)人臉關(guān)鍵點(diǎn)，多達(dá)52多種運(yùn)動(dòng)表情，讓觀眾感受一次在號(hào)舍中參與古代科舉考試的體驗(yàn)。

人臉檢測(cè)跟蹤、人臉關(guān)鍵點(diǎn)定位和表情識(shí)別統(tǒng)屬于商湯人臉與人體識(shí)別技術(shù)。人臉監(jiān)測(cè)跟蹤適用于任意常見(jiàn)場(chǎng)景，可以在嵌入式設(shè)備、移動(dòng)設(shè)備和個(gè)人電腦上實(shí)現(xiàn)毫秒級(jí)的人臉檢測(cè)。該技術(shù)可適應(yīng)側(cè)臉、遮擋、模糊、暗光、逆光、表情變化、平面內(nèi) 360° 旋轉(zhuǎn)等各種實(shí)際環(huán)境，支持彩色、灰度、近紅外等各種圖像視頻類(lèi)型。人臉關(guān)鍵點(diǎn)定位可滿(mǎn)足毫秒級(jí)別眼、口、鼻輪廓等人臉 21、106、240 個(gè)關(guān)鍵點(diǎn)定位，支持不同精度的人臉關(guān)鍵點(diǎn)定位，該技術(shù)可適應(yīng)大角度側(cè)臉、大表情變化、遮擋、模糊、明暗變化等各種實(shí)際環(huán)境。同時(shí)商湯科技的表情識(shí)別技術(shù)可支持多達(dá)52種基表情，如眼睛相關(guān)的表情共14個(gè)，嘴唇相關(guān)的表情共23個(gè)，可較穩(wěn)定捕捉的表情包括：張閉嘴、微笑、左右咧嘴、睜閉眼，瞇眼、眼球跟蹤、挑眉、皺眉、搖頭、點(diǎn)頭等運(yùn)動(dòng)表情，以及以上混合表情。這樣的技術(shù)完全可以滿(mǎn)足參展觀眾沉浸式體驗(yàn)需求。此外，SenseMoji解決方案可以對(duì)表情效果優(yōu)化，擁有穩(wěn)定的微表情表現(xiàn)力。

在項(xiàng)目執(zhí)行過(guò)程中，在不到一個(gè)月的有限時(shí)間內(nèi)完成了軟件開(kāi)發(fā)和測(cè)試工作。期間，故宮文化給了很多專(zhuān)業(yè)化的建議和指導(dǎo)，包括兩個(gè)展項(xiàng)中孔子、考生的形象和動(dòng)作等細(xì)節(jié)方面，如衣服樣式是否符合古代的制式、孔子行禮的手勢(shì)是否標(biāo)準(zhǔn)等，要求細(xì)節(jié)和考究上嚴(yán)謹(jǐn)還原中國(guó)傳統(tǒng)文化。因此，團(tuán)隊(duì)不斷的調(diào)整和優(yōu)化模型，在細(xì)節(jié)上摳到了極致。技術(shù)方面，商湯科技也陸續(xù)克服和解決了手勢(shì)識(shí)別距離、識(shí)別精度、算法與Android開(kāi)發(fā)板兼容性，AR合影虛擬內(nèi)容與環(huán)境融合等多項(xiàng)問(wèn)題。

故宮文化在展項(xiàng)內(nèi)容IP、文化表現(xiàn)細(xì)節(jié)、應(yīng)用場(chǎng)景融合等方面，均提供了細(xì)致而專(zhuān)業(yè)的指導(dǎo)。

商業(yè)變化

本次商湯科技與故宮文化的聯(lián)合，通過(guò)互動(dòng)式展覽體驗(yàn)，用年輕人喜聞樂(lè)見(jiàn)的形式讓參展觀眾親身感受一次中國(guó)傳統(tǒng)文化的洗禮。這是AI和傳統(tǒng)文化展覽結(jié)合的成功嘗試。本展覽不僅在藝術(shù)展現(xiàn)形式上更加豐富，也用AI技術(shù)吸引了年輕人群，使讓傳統(tǒng)文化煥發(fā)新的生機(jī)活力。未來(lái)，商湯科技與故宮文化還將有更深更廣泛的合作，共同創(chuàng)造出更為多樣更具特色的文化項(xiàng)目。

商湯科技與故宮文化的合作是對(duì)商湯科技AI技術(shù)的肯定。商湯科技專(zhuān)為文旅行業(yè)設(shè)計(jì)的一套智慧文旅解決方案通過(guò)這個(gè)項(xiàng)目得到實(shí)操。作為計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)原創(chuàng)技術(shù)的領(lǐng)導(dǎo)企業(yè)，商湯科技一直在探索AI與人類(lèi)生活、社會(huì)文化、城市建設(shè)結(jié)合的方式，希望用AI讓生活、社會(huì)、文化更加美好。

案例提交企業(yè)·商湯科技：

作為全球領(lǐng)先的人工智能平臺(tái)公司，商湯科技SenseTime是中國(guó)科技部指定的第一個(gè)“智能視覺(jué)”國(guó)家新一代人工智能開(kāi)放創(chuàng)新平臺(tái)。同時(shí)，商湯科技也是全球總?cè)谫Y額及估值最高的人工智能創(chuàng)新企業(yè)。

商湯科技以“堅(jiān)持原創(chuàng)，讓AI引領(lǐng)人類(lèi)進(jìn)步”為使命和愿景。公司自主研發(fā)并建立了全球頂級(jí)的深度學(xué)習(xí)平臺(tái)和超算中心，推出了一系列領(lǐng)先的人工智能技術(shù)，包括：人臉識(shí)別、圖像識(shí)別、文本識(shí)別、醫(yī)療影像識(shí)別、視頻分析、無(wú)人駕駛和遙感等。商湯科技已成為亞洲最大的AI算法提供商。

商湯科技在多個(gè)垂直領(lǐng)域的市場(chǎng)占有率位居首位，業(yè)務(wù)涵蓋智能手機(jī)、互聯(lián)網(wǎng)娛樂(lè)、汽車(chē)、智慧城市、以及教育、醫(yī)療、零售、廣告、金融、地產(chǎn)等多個(gè)行業(yè)。目前，商湯科技已與國(guó)內(nèi)外700多家世界知名的企業(yè)和機(jī)構(gòu)建立合作，包括本田、SNOW、阿里巴巴、蘇寧、中國(guó)移動(dòng)、OPPO、vivo、小米、微博、萬(wàn)科、融創(chuàng)等。

商湯科技現(xiàn)已在香港、上海、北京、深圳、成都、杭州、京都、東京、新加坡設(shè)立辦公室。

來(lái)源：數(shù)據(jù)猿