導(dǎo)語：

1.介紹MASA的各種特點(diǎn)

2.通過論文，以技術(shù)的角度解釋MASA的實(shí)現(xiàn)原理

3.對比其他方法和MASA的區(qū)別

4.MASA目前的問題所在

在計(jì)算機(jī)視覺領(lǐng)域，想要識(shí)別和追蹤某一個(gè)物體，就必須要對其進(jìn)行標(biāo)注。而在2024年6月，一項(xiàng)名為MASA的技術(shù)點(diǎn)燃了整個(gè)計(jì)算機(jī)視覺圈子，它無需依賴特定領(lǐng)域的標(biāo)注數(shù)據(jù)，能夠在多樣化的領(lǐng)域中實(shí)現(xiàn)對任何物體的匹配。

MASA的全稱叫做Matching Anything by Segmenting Anything，翻譯過來是通過切割萬物來追蹤萬物。在多個(gè)具有挑戰(zhàn)性的多目標(biāo)跟蹤（MOT）和視頻目標(biāo)分割（MOTS）基準(zhǔn)測試的廣泛測試表明，MASA僅使用未標(biāo)記的靜態(tài)圖像，其性能就可以超越使用完全注釋的領(lǐng)域內(nèi)視頻序列訓(xùn)練的最先進(jìn)方法，實(shí)現(xiàn)了零樣本關(guān)聯(lián)。在這個(gè)基礎(chǔ)上，MASA還能通過聯(lián)合訓(xùn)練策略，不僅學(xué)習(xí)了對象的先驗(yàn)知識(shí)，還提高了跟蹤特征的泛化能力。

MASA在視頻中追蹤多個(gè)目標(biāo)

MASA在視頻中追蹤多個(gè)目通俗來說，MASA就好像是班里的天才學(xué)生，它學(xué)習(xí)的時(shí)間比其他同學(xué)要少，也不需要任何課外補(bǔ)習(xí)班，考試成績卻永遠(yuǎn)是第一名，哪怕是沒有見過的題目，依然能夠給出正確的答案。

MASA是怎么來的？

在理解MASA之前，需要先理解什么是“切割萬物”。這是一個(gè)用來進(jìn)行圖像分割的模型，叫做SAM（Segment Anything Model，切割萬物模型）。它能夠?qū)D像中的各種物體進(jìn)行精細(xì)的檢測和分割。這個(gè)模型由三個(gè)主要模塊組成：首先是圖像編碼器，它使用基于ViT（Vision Transformer）的重型骨干網(wǎng)絡(luò)來提取圖像特征；其次是提示編碼器，用于處理來自交互式點(diǎn)、框或掩碼提示的位置信息；最后是掩碼解碼器，這是一個(gè)基于Transformer的解碼器，它接收圖像嵌入和提示令牌，以生成最終的掩碼預(yù)測。

MASA的整體運(yùn)行流程

SAM采用密集采樣的規(guī)則網(wǎng)格作為點(diǎn)錨，并為每個(gè)點(diǎn)提示生成掩碼預(yù)測。整個(gè)流程包括使用貪婪的基于框的非極大值抑制（NMS）、三步過濾和對掩碼的重度后處理。整個(gè)過程在論文中被稱作是“SAM的萬物模式”（SAM's everything mode）。這種模式使得SAM能夠?qū)斎雸D像中的所有潛在對象進(jìn)行詳盡的探索和分割，從而輸出大量的掩碼提案。

將SAM的輸出視為密集的對象區(qū)域提案，并學(xué)習(xí)從龐大的圖像集合中匹配這些區(qū)域。接著，對這些對象區(qū)域提案應(yīng)用不同的幾何變換，如旋轉(zhuǎn)、縮放、翻轉(zhuǎn)等，以模擬視頻中對象的外觀變化。這樣做可以自動(dòng)獲得像素級別的對應(yīng)關(guān)系，為后續(xù)的實(shí)例級對應(yīng)關(guān)系學(xué)習(xí)提供數(shù)據(jù)支持。通過對比學(xué)習(xí)公式，學(xué)習(xí)區(qū)分相同實(shí)例和不同實(shí)例的判別性嵌入空間。這一步驟是通過最大化正樣本的相似度和最小化負(fù)樣本的相似度來實(shí)現(xiàn)的。

接下來輪到MASA適配器（MASA Adapter）登場了，在計(jì)算機(jī)視覺和深度學(xué)習(xí)領(lǐng)域，適配器可能被用來將一個(gè)預(yù)訓(xùn)練的模型適配到特定的任務(wù)或數(shù)據(jù)集上。而MASA適配器，它被設(shè)計(jì)為一種通用組件，可以與現(xiàn)有的開放世界分割和檢測基礎(chǔ)模型（如SAM、Detic、Grounding-DINO等）結(jié)合使用。MASA適配器的作用是提升這些模型的跟蹤能力，使它們能夠跟蹤檢測到的任何對象。它通過轉(zhuǎn)換這些模型凍結(jié)的特征來實(shí)現(xiàn)這一點(diǎn)，以便學(xué)習(xí)更具判別性的實(shí)例外觀表示。

在訓(xùn)練過程中，MASA方法還包括一個(gè)多任務(wù)訓(xùn)練管道，該管道同時(shí)執(zhí)行SAM檢測知識(shí)的蒸餾和實(shí)例相似性學(xué)習(xí)，以提高跟蹤特征的泛化能力，進(jìn)而顯著提升SAM的“萬物模式”的效率。在推理階段，MASA適配器與對象檢測器結(jié)合使用，檢測器負(fù)責(zé)預(yù)測邊界框，而MASA適配器則利用這些邊界框作為提示，提取相應(yīng)的跟蹤特征，以實(shí)現(xiàn)實(shí)例匹配。

MASA完整的訓(xùn)練過程

綜上，MASA的原理是就像是一位經(jīng)驗(yàn)豐富的偵探，它利用SAM這副“放大鏡”來仔細(xì)查看圖像中的每一個(gè)角落，找出所有的線索（即對象區(qū)域）。然后，這位偵探通過不斷學(xué)習(xí)和比較這些線索的特點(diǎn)，鍛煉出了敏銳的洞察力，即使在沒有任何預(yù)先標(biāo)記的案件檔案（視頻數(shù)據(jù)）的情況下，也能夠追蹤到罪犯（跟蹤物體）。這樣，無論是在熟悉的街道還是陌生的城市，MASA都能夠憑借它的這項(xiàng)技能，成功地追蹤到目標(biāo)。

MASA到底好在哪了？

如果MASA能被應(yīng)用到當(dāng)下視頻軟件中，那么很有可能改寫如今的局面。目前來看，企業(yè)做目標(biāo)檢測、追蹤，主要是利用深度神經(jīng)網(wǎng)絡(luò)對圖像進(jìn)行編碼和分析，以實(shí)現(xiàn)目標(biāo)的檢測和跟蹤。常見的深度學(xué)習(xí)方法包括卷積神經(jīng)網(wǎng)絡(luò)（CNN）和生成對抗網(wǎng)絡(luò)（GAN）。這些方法具有強(qiáng)大的特征學(xué)習(xí)和分類能力，但需要大量的標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練，并且計(jì)算復(fù)雜度高。

除此之外，還有OpenTrack和Unicorn這兩個(gè)方法。OpenTrack則以其在開放詞匯MOT任務(wù)上的適應(yīng)性而聞名，它能夠使用來自LVIS的頻繁和常見類別注釋進(jìn)行訓(xùn)練，并將罕見類別視為新類。Unicorn的方法在處理遮擋問題時(shí)表現(xiàn)出色，它通過圖層次結(jié)構(gòu)統(tǒng)一短期和長期跟蹤，這在有遮擋的場景中尤其有用。

但是從推理、訓(xùn)練和性能上來看，MASA甩開其他方法一大截。而且MASA還有一個(gè)非常重要的特點(diǎn)，便于部署。

首先，作為一個(gè)不依賴于特定領(lǐng)域標(biāo)注數(shù)據(jù)的解決方案，MASA可以在沒有詳盡標(biāo)注的情況下跨不同領(lǐng)域進(jìn)行對象跟蹤，這大大減少了部署前所需的準(zhǔn)備工作。其次，MASA適配器的設(shè)計(jì)允許它與現(xiàn)有的檢測或分割模型結(jié)合使用，這意味著可以輕松地將MASA集成到現(xiàn)有的系統(tǒng)中。

可想而知，MASA不像其他的技術(shù)那樣，只能活在實(shí)驗(yàn)室或者論文里，它從出生開始就是為了商業(yè)落地而準(zhǔn)備的。

其實(shí)MASA還存在一些問題

MASA很好，不過它還可以更好。任何技術(shù)在落地的時(shí)候都需要考慮其商業(yè)價(jià)值，因此改進(jìn)模型的魯棒性和準(zhǔn)確性，特別是在處理復(fù)雜場景和動(dòng)態(tài)環(huán)境中的跟蹤問題時(shí)，就是MASA在商業(yè)應(yīng)用階段最需要考慮的問題。多目標(biāo)檢測在實(shí)戰(zhàn)中總能碰到諸如陰陽臉、遮擋、低分辨率、數(shù)據(jù)不平衡等等問題，MASA需要做出一些改進(jìn)，以應(yīng)對這些可能發(fā)生的問題。

同時(shí)，因?yàn)镸ASA是一個(gè)大模型，如果打算將MASA與一些實(shí)時(shí)應(yīng)用進(jìn)行結(jié)合，那就需要進(jìn)一步優(yōu)化計(jì)算效率，減少資源消耗。再加上模型端側(cè)化的趨勢，MASA可能需要考慮怎樣部署在資源受限的環(huán)境中。在論文中，MASA僅支持一些生活中常見的事物。然而考慮到實(shí)際使用場景，比如生物識(shí)別、機(jī)器人導(dǎo)航、自動(dòng)駕駛等，那還需要擴(kuò)展模型的能力，以處理更多類型的對象。

還有一點(diǎn)，MASA應(yīng)該加強(qiáng)與其他計(jì)算機(jī)視覺任務(wù)的融合，如目標(biāo)檢測、分割、姿態(tài)估計(jì)等，提供更全面的視覺理解和分析。以姿態(tài)估計(jì)為例，這是指識(shí)別圖像中人體的各個(gè)部位及其位置，MASA目前并不具備這個(gè)能力。但是MASA可以通過提供有關(guān)物體形狀和位置的詳細(xì)信息，輔助姿態(tài)估計(jì)任務(wù)。

此外，如果想把MASA應(yīng)用在醫(yī)學(xué)、金融、法律、安全這些領(lǐng)域，那么還得探索模型的可解釋性和透明度，增強(qiáng)客戶對模型決策過程的信任。不過這點(diǎn)對于大模型來說，反而是最難的。

來源：數(shù)據(jù)猿