在RPA的流程設(shè)計界面，以拖拉拽方式來構(gòu)建業(yè)務(wù)流程，是比較常見的RPA流程設(shè)計方式。相對于以往需要編程的代碼方式，拖拉拽式的流程搭建方式更進了一步，但依然存在不小的使用門檻，主要表現(xiàn)在：業(yè)務(wù)人員需要在RPA產(chǎn)品界面搭建業(yè)務(wù)流程，而RPA作為軟件產(chǎn)品是IT視角，業(yè)務(wù)人員需要從其原來的業(yè)務(wù)視角轉(zhuǎn)換為IT視角，將業(yè)務(wù)邏輯“翻譯”成各種RPA功能模塊，這對于大部分一線業(yè)務(wù)人員而言，會帶來不小的學(xué)習(xí)成本。

此外，還有一種通過錄屏的方式，將業(yè)務(wù)人員的操作過程錄制下來，然后通過分析視頻來簡單記錄和復(fù)制鼠標鍵盤的動作，形成RPA流程。然而，以目前的視頻分析技術(shù)和系統(tǒng)“學(xué)習(xí)”能力，還不足以支撐上述理想化的RPA流程搭建方式。因而，錄屏方式并沒有很好的應(yīng)用起來。

那么，該以什么樣的方式來實質(zhì)性降低業(yè)務(wù)人員的學(xué)習(xí)和使用門檻呢？這是業(yè)界亟需解答的問題。

基于屏幕理解顛覆RPA流程搭建模式

業(yè)務(wù)人員熟悉業(yè)務(wù)流程，但不熟悉各種IT系統(tǒng)。要降低使用門檻，核心就是要讓業(yè)務(wù)人員無需將業(yè)務(wù)視角轉(zhuǎn)化為IT視角，讓其在自身熟悉的業(yè)務(wù)環(huán)境中就能完成RPA自動化流程的設(shè)計和搭建。

圍繞這個思路，實在智能探索出了一種基于屏幕理解的流程搭建方式，其核心流程如下：

用戶在進行流程設(shè)計和搭建時，不需要切換到RPA的流程開發(fā)畫布界面，還是在以往的業(yè)務(wù)操作界面。所不同的是，RPA系統(tǒng)隱入后臺，用戶在屏幕上的所有操作都被系統(tǒng)“捕獲”。比如，用戶的鼠標停留在企業(yè)微信上，系統(tǒng)就可以通過屏幕識別技術(shù)，識別出對應(yīng)的圖標。實在智能的屏幕理解技術(shù)，不僅能夠識別出屏幕上的圖標，還能夠“理解”每個圖標的含義。用戶鼠標滑過的每?塊屏幕區(qū)域，背后的AI算法都即刻完成?次模型計算，最終分析并給出每?個區(qū)塊和元素的含義。

在識別出對應(yīng)圖標之后，實在智能的RPA產(chǎn)品還能依據(jù)圖標特性，針對性的推薦相應(yīng)的RPA流程組件。例如，針對瀏覽器圖標自動推薦網(wǎng)頁、搜索、新聞等功能組件，針對?件夾圖標自動推薦打開?件夾、查找?件、遍歷?件夾等功能組件。用戶可以根據(jù)其以往的業(yè)務(wù)操作流程，每一步操作之后系統(tǒng)都會根據(jù)該業(yè)務(wù)的屬性和用戶的操作習(xí)慣自動推薦相應(yīng)的RPA流程組件，用戶只需要根據(jù)系統(tǒng)的推薦和引導(dǎo)一步步點擊鼠標，就可以搭建自動化流程，完成業(yè)務(wù)閉環(huán)。

要想基于屏幕理解重構(gòu)RPA流程設(shè)計與搭建方式，需要具備兩方面的能力：

1、精準的屏幕理解能力。

首先，需要能夠精準的識別出屏幕上的各種圖標和文字等內(nèi)容，并能夠理解他們的含義，這需要一系列的AI技術(shù)。以實在智能為例，其之所以能夠用屏幕理解顛覆流程搭建方式，是建立在融合拾取技術(shù)、動態(tài)元素匹配技術(shù)和頁面結(jié)構(gòu)分析技術(shù)等大量的技術(shù)積累基礎(chǔ)上的。

融合拾取技術(shù)，基于計算機視覺技術(shù)，準確識別出屏幕上的圖標、文字等“元素”。經(jīng)過長時間打磨和迭代，該算法模型在準確率、召回率和性能指標上都有了?幅提升；動態(tài)元素匹配技術(shù)，賦予“元素”以變量，這樣系統(tǒng)就可以“錨定”某個特定的元素，該元素即使發(fā)生一定的改變，系統(tǒng)依然可以進行配準。比如，當系統(tǒng)識別出企業(yè)微信的聊天對話框，即使聊天內(nèi)容不斷改變或聊天窗口發(fā)生各種位移和形變，系統(tǒng)依然能夠進行精準適配；頁面結(jié)構(gòu)分析技術(shù)，借助頁面圖神經(jīng)網(wǎng)絡(luò)分析、動態(tài)縮放?適應(yīng)和區(qū)域內(nèi)容填充識別三項技術(shù)，實在智能的產(chǎn)品不僅能夠“拾取”屏幕上的單個元素，還能檢測到整個軟件的不同功能區(qū)域，并對多個元素進行組合“拾取”。基于頁面結(jié)構(gòu)分析技術(shù)，實在智能的RPA產(chǎn)品在進行屏幕理解時，更具“宏觀”視角，而不局限于單個元素。

實在智能各項核心技術(shù)的性能參數(shù)

2、復(fù)雜業(yè)務(wù)場景的RPA流程搭建能力。

屏幕理解技術(shù)并不是為了炫技，而是為了幫助用戶更便捷的搭建業(yè)務(wù)自動化流程。如果基于屏幕理解的方式，在復(fù)雜業(yè)務(wù)場景中也能很方便的搭建出自動化流程，構(gòu)建業(yè)務(wù)閉環(huán)，這種新的自動化流程構(gòu)建方式才算比較成熟。

要實現(xiàn)復(fù)雜業(yè)務(wù)場景的突破，需要在三個方面發(fā)力：

提升可支撐的業(yè)務(wù)深度。簡單業(yè)務(wù)場景往往只需要幾步操作即可完成業(yè)務(wù)閉環(huán)，與之相比，復(fù)雜業(yè)務(wù)場景可能需要十幾步甚至幾十步操作，而且這些流程環(huán)環(huán)相扣，有復(fù)雜的業(yè)務(wù)邏輯。RPA產(chǎn)品在用戶進行復(fù)雜業(yè)務(wù)操作時，要依然有足夠的支撐能力，能夠“拾取”各種圖標，理解其背后的業(yè)務(wù)含義。

構(gòu)建豐富的業(yè)務(wù)組件庫。識別出屏幕上的各種圖標之后，接下來需要依據(jù)該圖標的業(yè)務(wù)含義，推薦對應(yīng)的RPA功能組件。針對復(fù)雜業(yè)務(wù)場景，僅僅是通用組件是遠遠不夠的，還要有大量具有業(yè)務(wù)背景的組件，推薦的組件要跟該業(yè)務(wù)場景高度契合。為了滿足這個需求，需要建立一個豐富的組件庫，甚至需要構(gòu)建一個組件市場和應(yīng)用生態(tài)，來覆蓋大部分的業(yè)務(wù)場景，讓用戶在構(gòu)建復(fù)雜業(yè)務(wù)流程時，即使進行了十幾步操作之后，每一步操作依然可以匹配到滿足其業(yè)務(wù)需求的功能組件，來幫助其完成整個業(yè)務(wù)自動化流程閉環(huán)的搭建。

提升自動推薦組件的準確率。越是深入的應(yīng)用場景，其業(yè)務(wù)邏輯越復(fù)雜，要從成千上萬個組件當中推薦符合業(yè)務(wù)需求的RPA組件的難度就越高。一方面，系統(tǒng)需要理解特定場景的業(yè)務(wù)邏輯；另一方面，系統(tǒng)需要了解特定用戶的操作習(xí)慣，預(yù)測其下一步操作意圖。為此，實在智能不斷優(yōu)化多模態(tài)操作意圖預(yù)測技術(shù)、業(yè)務(wù)場景感知推薦技術(shù)和在線學(xué)習(xí)技術(shù)：系統(tǒng)不斷學(xué)習(xí)用戶的行為數(shù)據(jù)，了解用戶的操作習(xí)慣，在此基礎(chǔ)上預(yù)測該用戶的操作意圖，讓推薦的組件更符合用戶“心意”；在操作意圖預(yù)測基礎(chǔ)上，融入行業(yè)知識，通過業(yè)務(wù)場景感知推薦技術(shù)，實現(xiàn)對業(yè)務(wù)級的操作意圖預(yù)測并推薦對應(yīng)的業(yè)務(wù)組件；實在智能在操作意圖預(yù)測模型中加入主動學(xué)習(xí)和在線學(xué)習(xí)技術(shù)，用戶每次采用或者不采用系統(tǒng)推薦的組件，都會作為用戶反饋更新到本地的模型數(shù)據(jù)庫，通過數(shù)據(jù)訓(xùn)練來不斷迭代優(yōu)化預(yù)測模型，提升模型準確率。

業(yè)務(wù)場景與RPA流程組件的智能匹配示意圖

IPA，而不是RPA+AI

實在智能基于屏幕理解技術(shù)，將元素、拾取和變量等都封裝在后臺的AI模型中，用戶需要關(guān)注的僅僅是電腦屏幕，而不再需要費心思去將業(yè)務(wù)流程與功能組件一一對應(yīng)。因此，屏幕理解的技術(shù)核心，是AI能力。需要指出的是，實在智能是將RPA與AI深度融合之后形成IPA，這跟RPA+AI的方式存在根本的不同。

如果將RPA比作一個章魚，那RPA+AI的方式，是在這條“章魚”的“觸角”上外接一些AI技術(shù)產(chǎn)品，來拓展RPA產(chǎn)品的應(yīng)用范圍。例如，在RPA平臺上接入語音識別、圖像識別、OCR等產(chǎn)品，讓平臺能夠處理語音和圖像數(shù)據(jù)；接入NLP產(chǎn)品，提升平臺的文本理解與處理能力；接入智能對話、虛擬數(shù)字人產(chǎn)品，讓RPA可以更自然的實現(xiàn)人機交互等。章魚多長一個觸角并不會提升它的智力水平，同樣的，RPA平臺外接AI產(chǎn)品并不會提升平臺本身的智能化水平。

與RPA+AI不同，實在智能的IPA是將AI與RPA進行深度融合，以AI技術(shù)重構(gòu)原有的RPA核心功能。IPA是改造“章魚”大腦，而不是觸角。以實在智能此次推出的智能屏幕語義理解技術(shù)（Intelligent Screen Semantic Understanding Technology, ISSUT）為例，該功能建立在計算機視覺技術(shù)、融合拾取技術(shù)、動態(tài)元素匹配技術(shù)、頁面結(jié)構(gòu)分析技術(shù)、多模態(tài)操作意圖預(yù)測技術(shù)、業(yè)務(wù)場景感知推薦技術(shù)、在線學(xué)習(xí)技術(shù)等AI技術(shù)簇基礎(chǔ)上，借助一系列AI技術(shù)來重構(gòu)流程發(fā)現(xiàn)和流程設(shè)計方式。對于RPA平臺而言，流程發(fā)現(xiàn)、流程設(shè)計、流程運行、流程管理是四項核心功能，并且流程發(fā)現(xiàn)和流程設(shè)計是整個業(yè)務(wù)流程自動化的基礎(chǔ)，也是降低用戶學(xué)習(xí)門檻的關(guān)鍵。實在智能以AI技術(shù)重構(gòu)RPA的核心環(huán)節(jié)，相當于將AI內(nèi)嵌到“章魚”的大腦，提升了“章魚”的智力水平，其價值要高于幫助章魚長出一條新的觸角。

降低使用門檻，是一項新技術(shù)實現(xiàn)普惠化的關(guān)鍵前提

實在智能基于屏幕理解顛覆以往拖拉拽的流程構(gòu)建方式，核心目的就是為了降低業(yè)務(wù)人員的學(xué)習(xí)和使用門檻。需要指出的是，降低使用門檻看似一件小事，但卻很可能是推動RPA普惠化的關(guān)鍵一步。

以史為鏡，可以明得失?？v觀近代科技發(fā)展史，有多次創(chuàng)新技術(shù)產(chǎn)品的普及，都與降低用戶使用門檻休戚相關(guān)：

以鼠標為核心的人機交互方式，推動了電腦的普及。電腦最開始的人機交互方式是程序，只有懂得編程的技術(shù)人員才能用電腦。后來，出現(xiàn)了以鼠標點擊為核心的人際交互方式，配套“視窗”操作系統(tǒng)，不懂編程的普通人也可以使用電腦，這推動了家用電腦的普及，讓電腦從高大上的專用設(shè)備飛入尋常百姓家。

以觸屏為核心的人機交互方式，推動了智能手機的普及。喬布斯作為蘋果公司的靈魂人物，在推動智能手機創(chuàng)新方面具有關(guān)鍵作用。在蘋果手機的諸多創(chuàng)新中，其用觸屏重構(gòu)人機交互方式，在推動智能手機普及方面具有特殊的價值。目前，智能手機的普及率要遠高于電腦，很多老年人、小孩不會使用電腦，但卻可以熟練的使用智能手機，一個重要原因就是觸屏交互方式的學(xué)習(xí)和使用門檻比電腦更低。

蘋果——變革了手機

此外，在消費電子的發(fā)展歷史中，各種“傻瓜式”電子設(shè)備也大大推動了行業(yè)的發(fā)展。以相機為例，單反等專業(yè)相機只局限于少數(shù)專業(yè)人士，但是各類“傻瓜式”相機的出現(xiàn)，大大提升了相機的普及率。對于科技產(chǎn)品而言，學(xué)習(xí)和使用門檻越低，越“傻瓜化”，人機交互方式越自然、符合人類行為習(xí)慣，該類產(chǎn)品往往會更加普及。

同樣的道理，以屏幕理解為核心的人機交互方式，可能會推動RPA產(chǎn)品的普及。業(yè)務(wù)人員的規(guī)模是IT人員的10倍以上，要普及RPA產(chǎn)品，關(guān)鍵在于各行各業(yè)的銷售人員、營銷人員、運營人員、行政人員等一線業(yè)務(wù)人員，可以快速上手，學(xué)習(xí)和使用門檻低，可以將RPA工具很方便的應(yīng)用于其日常工作中。實在智能的此次技術(shù)和應(yīng)用創(chuàng)新，是一個有益的嘗試，期待該技術(shù)能夠得到更廣泛的應(yīng)用，切實推動RPA的普惠化。

實在智能IPA——將變革RPA

文：月滿西樓 / 數(shù)據(jù)猿

來源：數(shù)據(jù)猿