【金猿技術(shù)展】視頻矯正技術(shù)——基于參數(shù)估計(jì)的自由幾何變換算法

金猿技術(shù)展視頻矯正算法

原創(chuàng) 拍樂(lè)云 | 2020-12-25 21:36

【數(shù)據(jù)猿導(dǎo)讀】該技術(shù)由拍樂(lè)云申報(bào)并參與“數(shù)據(jù)猿年度金猿策劃活動(dòng)——2020大數(shù)據(jù)產(chǎn)業(yè)創(chuàng)新技術(shù)突破榜榜單及獎(jiǎng)項(xiàng)”評(píng)選。

【金猿技術(shù)展】視頻矯正技術(shù)——基于參數(shù)估計(jì)的自由幾何變換算法

“基于參數(shù)估計(jì)的自由幾何變換算法”的視頻矯正技術(shù)，是基于實(shí)時(shí)音視頻之上的技術(shù)優(yōu)化，通過(guò)拍樂(lè)云獨(dú)有的圖像處理算法，對(duì)視頻畫面進(jìn)行矯正的技術(shù)。舉個(gè)例子，美術(shù)線上課堂中，學(xué)生遠(yuǎn)程在畫紙上繪畫，攝像頭對(duì)著畫紙。通常難以保證攝像頭可以正對(duì)畫紙中心進(jìn)行拍攝，一旦偏離畫紙中心，拍攝出的視頻中，畫紙會(huì)變形，本技術(shù)可以使老師將學(xué)生的視頻進(jìn)行失真矯正，也可以在視頻上標(biāo)注，實(shí)時(shí)指出繪畫重點(diǎn)。一般拍攝出來(lái)的效果是梯形的，就需要去調(diào)整成為長(zhǎng)方形。

技術(shù)說(shuō)明

用手機(jī)等設(shè)備拍攝圖像時(shí)，如果攝像頭無(wú)法正對(duì)被拍攝像對(duì)象（如畫板），會(huì)產(chǎn)生一系列的幾何失真，這是由于攝像頭在拍攝時(shí)，真實(shí)世界是三維空間，展示在手機(jī)上時(shí)，已經(jīng)變成了二維平面。物體與攝像頭的真實(shí)空間關(guān)系，可以由被拍攝對(duì)象在空間內(nèi)的幾何位置關(guān)系，估算得到被拍攝對(duì)象的幾何失真參數(shù)，然后重新計(jì)算擬進(jìn)行矯正區(qū)域與真失被拍攝對(duì)象的映射關(guān)系。將得到的映射關(guān)系利用低復(fù)雜度高效的處理算法，對(duì)原始視頻進(jìn)行處理，得到矯正后的視頻。

其中，關(guān)鍵的技術(shù)點(diǎn)包括：

1. 獨(dú)創(chuàng)的幾何失真參數(shù)估計(jì)；

a. 將拍攝的物體，例如畫板，在拍攝空間進(jìn)行數(shù)學(xué)建模，建立空間坐標(biāo)系；

b. 根據(jù)物體在空間內(nèi)的位置關(guān)系，估算攝像頭的采集參數(shù)，特別是平移、旋轉(zhuǎn)、縮放和投影參數(shù)。

金猿技術(shù)展_視頻矯正_算法-1

2. 獨(dú)創(chuàng)的映射關(guān)系計(jì)算，將攝像頭的采集參數(shù)與假設(shè)的鳥瞰攝像采集參數(shù)進(jìn)行映射，得到真實(shí)的視頻渲染參數(shù)矩陣

金猿技術(shù)展_視頻矯正_算法-2

3. 高效快速的視頻處理算法，在實(shí)時(shí)視頻通信中，視頻數(shù)據(jù)量巨大，該技術(shù)需要對(duì)視頻中每個(gè)像素進(jìn)行映射變換，運(yùn)算量隨像素點(diǎn)數(shù)的增加，急劇增加，為此，我們?cè)O(shè)計(jì)了高度并行的處理算法，使得每個(gè)像素點(diǎn)都可獨(dú)立進(jìn)行運(yùn)算，從面可以利用GPU進(jìn)行加速處理，即使超高清視頻都可以在毫秒級(jí)別進(jìn)行處理。

開發(fā)團(tuán)隊(duì)

●帶隊(duì)負(fù)責(zé)人：章琦首席科學(xué)家

浙大數(shù)學(xué)系碩士畢業(yè)，8年WebEx音視頻引擎架構(gòu)師工作經(jīng)驗(yàn)，OpenH264作者，歷任虹軟、WebEx、網(wǎng)易等公司視頻專家，精通視頻算法，也精通音視頻工程，主導(dǎo)了多家公司的音視頻引擎架構(gòu)設(shè)計(jì)，深入理解人工智能技術(shù)以及其在實(shí)時(shí)通信領(lǐng)域的應(yīng)用。

●隸屬機(jī)構(gòu)：拍樂(lè)云Pano

拍樂(lè)云Pano，專業(yè)的實(shí)時(shí)通信云服務(wù)，由一群專注于音視頻的技術(shù)極客傾力打造，獲得紅杉資本中國(guó)基金投資。拍樂(lè)云成立于2019年8月，目前團(tuán)隊(duì)60多人，核心團(tuán)隊(duì)來(lái)自思科WebEx，與視頻會(huì)議領(lǐng)導(dǎo)者Zoom的團(tuán)隊(duì)基因完全相同，致力于幫助用戶實(shí)現(xiàn)高清、穩(wěn)定、易用、低時(shí)延的實(shí)時(shí)通信能力，客戶通過(guò)集成Pano SDK即可輕松地在應(yīng)用里實(shí)現(xiàn)實(shí)時(shí)音視頻、互動(dòng)白板、互動(dòng)直播等能力。拍樂(lè)云擁有完全自主研發(fā)的音視頻引擎，在音視頻編解碼、網(wǎng)絡(luò)傳輸、弱網(wǎng)對(duì)抗、回聲消除、高并發(fā)的流媒體分發(fā)等方面達(dá)到了國(guó)際頂尖水平。

相關(guān)評(píng)價(jià)

●某在線教育公司

拍樂(lè)云的音視頻團(tuán)隊(duì)非常專業(yè)，且產(chǎn)品功能也非常強(qiáng)大，為我們公司業(yè)務(wù)提供了非常好的底層保障。我們美術(shù)陪練的新項(xiàng)目，還用了拍樂(lè)云視頻矯正功能。我們和拍樂(lè)云技術(shù)經(jīng)常一起共創(chuàng)，提出的各種需求都得到了專業(yè)的支持和貼心的服務(wù)，幫助我們的業(yè)務(wù)創(chuàng)造更多的可能性和更好的用戶體驗(yàn)。

●某一對(duì)一視頻社交APP

拍樂(lè)云在音視頻上的積累非常深厚，團(tuán)隊(duì)的技術(shù)人員都非?？孔V和資深，在項(xiàng)目對(duì)接中，為我們提供各種專業(yè)的技術(shù)咨詢和產(chǎn)品服務(wù)。另外，拍樂(lè)云的音視頻質(zhì)量也是數(shù)一數(shù)二的，高清穩(wěn)定低時(shí)延，是這個(gè)賽道PaaS云服務(wù)里最好的選擇。

●某出海語(yǔ)音聊天室APP

對(duì)接速度很快，接口設(shè)計(jì)得比較好；音頻的音質(zhì)很好，能滿足我們的需求，伴音混響美聲各種功能很強(qiáng)大；另外，技術(shù)支持和商務(wù)支持的服務(wù)響應(yīng)速度都很快，為拍樂(lè)云點(diǎn)個(gè)贊。

來(lái)源：數(shù)據(jù)猿

收藏分享

聲明：數(shù)據(jù)猿尊重媒體行業(yè)規(guī)范，相關(guān)內(nèi)容都會(huì)注明來(lái)源與作者；轉(zhuǎn)載我們?cè)瓌?chuàng)內(nèi)容時(shí)，也請(qǐng)務(wù)必注明“來(lái)源：數(shù)據(jù)猿”與作者名稱，否則將會(huì)受到數(shù)據(jù)猿追責(zé)。