戰(zhàn)略發(fā)布|君同 AI 治理全棧能力圖譜 守護 AI 可信落地
數(shù)據(jù)猿 | 2025-04-01 18:11
【數(shù)據(jù)猿導(dǎo)讀】 君同團隊成員積累近 10 載,從科研到產(chǎn)業(yè),始終不偏左右地行進在"看見 AI——理解AI——讓 AI 更可信可用”的 AI 治理之路,既是守護 AI 的先行者,也是人工智能治理技術(shù)突破與創(chuàng)新的引領(lǐng)者。

君同團隊成員積累近10載,從科研到產(chǎn)業(yè),始終不偏左右地行進在"看見AI——理解AI——讓AI更可信可用”的AI治理之路,既是守護AI的先行者,也是人工智能治理技術(shù)突破與創(chuàng)新的引領(lǐng)者。
Since 2016,看見AI,深入模型研究,關(guān)注模型可信
Since 2021,理解AI,推進AI治理的學(xué)術(shù)成果產(chǎn)業(yè)化
Since 2022,守護AI,歷經(jīng)豐富場景驗證,推出4款技術(shù)產(chǎn)品
2024年,讓AI更可信可用,提出“人工智能生態(tài)治理”理念,累積服務(wù)數(shù)十個行業(yè)數(shù)百家客戶
2025年,發(fā)布AI治理全棧能力圖譜,8款產(chǎn)品全面覆蓋AI全場景治理需求
一、看見AI
1、看見其改變世界
AI正在驅(qū)動產(chǎn)業(yè)革命,引領(lǐng)生產(chǎn)力變革,重構(gòu)人類文明進程。
- 金融風(fēng)控:螞蟻集團的 AI 風(fēng)險大腦實時處理 4 億筆交易/天,通過圖神經(jīng)網(wǎng)絡(luò)識別欺詐模式,資損率低至百萬分之零點五
- 醫(yī)療健康:DeepMind 的 AlphaFold2 解析98.5%人類蛋白質(zhì)結(jié)構(gòu),藥物研發(fā)的臨床前階段從5年縮至2-3年
- 能源革命:南方電網(wǎng)的新能源調(diào)度運行管理平臺,收集海量電源數(shù)據(jù),預(yù)測準確率風(fēng)電85%、光伏91.1%
- 政務(wù)服務(wù):德生科技構(gòu)建的智能客服系統(tǒng)已實現(xiàn)對社保咨詢業(yè)務(wù)的“秒級”響應(yīng)能力,累計服務(wù)超過350萬人次,系統(tǒng)答復(fù)準確率99%以上
- 司法領(lǐng)域:英國謝菲爾德大學(xué)發(fā)布的新型人工智能系統(tǒng)可幫助處理法律案件,其結(jié)果預(yù)測準確率接近80%
- 城市規(guī)劃:美國洛杉磯實施了人工智能驅(qū)動的預(yù)測交通管理系統(tǒng),實現(xiàn)瓶頸預(yù)測及路線重新規(guī)劃,該系統(tǒng)估計將旅行時間縮短12%,減少3% 擁堵排放量
- 教育體系重構(gòu):新加坡 Noodle Factory 公司利用人工智能教學(xué)助理平臺——“Walter”為學(xué)生提供個性化學(xué)習(xí)體驗,自動考評功能每年為每位講師節(jié)省了100個小時
- 文化認同:微軟投資的工業(yè)元宇宙打造出 AI 虛擬人模擬公司—小冰,以數(shù)字化的虛擬人和新型社區(qū)模式入駐元宇宙生態(tài),瞄準用戶和AI間的社交關(guān)系
- 平臺型組織崛起:Hugging Face 平臺供開發(fā)者利用開源資源構(gòu)建、訓(xùn)練和部署AI 模型。目前超過 15,000 家企業(yè)機構(gòu)使用它共享了超過25萬個模型和5萬個數(shù)據(jù)集
- 零工經(jīng)濟智能化:UpworkAI招聘可訪問Upwork上數(shù)百萬來自世界各地的自由職業(yè)者,通過智能匹配和競爭性的定價機制,幫助雇主以較低的成本聘請到高質(zhì)量的自由職業(yè)者
2、也看見其不確定性
AI 可能是人類文明史上首次誕生的,一項可以實現(xiàn)人類通用腦力勞動替代的技術(shù),作為一場生產(chǎn)力革命,關(guān)乎新技術(shù)的迭代,更考驗著人類社會的智慧。唯有在創(chuàng)新與安全間找到平衡點,方能讓 AI 真正成為驅(qū)動產(chǎn)業(yè)升級、增進人類福祉的核心動力。
(1)AI治理是AI發(fā)展的基石
繁榮背后有隱憂:DeepSeek掀起AI大模型熱潮,推動大模型技術(shù)廣泛應(yīng)用的同時,數(shù)據(jù)泄露、偏見、幻覺、注入攻擊、越獄攻擊、不可解釋等問題帶來的人工智能自身風(fēng)險也引發(fā)擔憂。
AI進入 “治理優(yōu)先” 新階段:Gartner 2025年十大技術(shù)戰(zhàn)略趨勢稱,企業(yè)需要借助AI治理平臺來確保AI技術(shù)的可控性和安全性,AI治理平臺將成為企業(yè)標配,與網(wǎng)絡(luò)安全一樣重要。
(2)加快構(gòu)建AI治理體系
我國人工智能發(fā)展處于全球第一梯隊,人工智能風(fēng)險治理同步積累和創(chuàng)新,政府和社會各界正在行動起來,加快構(gòu)建AI治理體系和開展治理實踐。
- 中、美、歐盟等國家地區(qū),各行業(yè)、各領(lǐng)域正積極建立 AI 合規(guī)應(yīng)用、安全治理政策監(jiān)管標準和落地指南。
- 《生成式人工智能服務(wù)安全基本要求》、《網(wǎng)絡(luò)安全技術(shù) 人工智能生成合成內(nèi)容標識方法》、《人工智能安全治理框架》等人工智能安全治理領(lǐng)域系列標準和體系的發(fā)布,為AI可信發(fā)展提供規(guī)范指引。
- AI 治理面臨的社會認知與行業(yè)需求,正經(jīng)歷三重躍遷:
- 監(jiān)管邏輯:從 “事后追責” 轉(zhuǎn)向 “事前預(yù)防 + 持續(xù)監(jiān)測”
- 治理主體:從 “政府主導(dǎo)” 轉(zhuǎn)向業(yè)務(wù)驅(qū)動的“多元共治”
- 技術(shù)路徑:從 “單一合規(guī)” 轉(zhuǎn)向 “技術(shù)賦能治理”
二、理解AI
1、理解其發(fā)展
自1956年 AI(Artificial Intelligence)被定義出來,數(shù)十年間經(jīng)歷了多次波峰波谷,除當前被廣泛應(yīng)用的連接主義學(xué)派,還有符號主義學(xué)派、行為主義學(xué)派、統(tǒng)計學(xué)習(xí)學(xué)派等,雖然在泛化性表現(xiàn)上連接主義學(xué)派已具備絕對優(yōu)勢,也最為廣泛地應(yīng)用于各類AI場景中,但其他學(xué)派中的很多方法和計算機理論研究中的諸多成果在AI治理領(lǐng)域也不可或缺。例如,君同就首創(chuàng)了采用大量符號主義學(xué)派在邏輯驗證方面的方法,應(yīng)用于生成式大模型的數(shù)理推理和邏輯推理驗證過程。
君同追蹤AI發(fā)展的歷史沿革,深入研究AI的底層基理,掌握了AI技術(shù)的底層算法原理,知道它如何被應(yīng)用以改變世界,也洞察它在應(yīng)用中可能存在的風(fēng)險,君同對AI的這些理解來自團隊集“學(xué)術(shù)、科研、應(yīng)用”為一體的實踐積累:
- 了解模型底層技術(shù)原理,攻防算法融合模型符號學(xué)派技術(shù),全球獨家
- 500+ 自有模型攻防算法/方法實踐驗證,千萬級題庫類庫寶貴積累
- 模型攻防領(lǐng)域數(shù)十個科研項目、數(shù)百篇頂會成果及百余項發(fā)明專利
- 模型治理領(lǐng)域強大先發(fā)優(yōu)勢,多個垂直行業(yè)know-how沉淀積累
- 長期支撐監(jiān)管機構(gòu)開展評測稽查,深刻理解監(jiān)管邏輯及合規(guī)需求
2、也理解其瓶頸
AI 的廣泛應(yīng)用也伴隨多重風(fēng)險隱患,數(shù)據(jù)過度采集引發(fā)隱私泄露風(fēng)險,算法偏見導(dǎo)致決策不公,深度偽造技術(shù)威脅信息真實性等,挑戰(zhàn)著 AI 的可信根基,是制約其長遠發(fā)展的關(guān)鍵瓶頸。君同在學(xué)術(shù)科研、技術(shù)路線、產(chǎn)品落地中不斷深化對AI發(fā)展瓶頸的理解:
(1)在學(xué)術(shù)科研中理解
君同專注大模型安全與智能演化方向,圍繞模型編輯、越獄防護、指紋溯源、強化學(xué)習(xí)、后門檢測、具身智能安全及對抗魯棒等關(guān)鍵技術(shù)領(lǐng)域,構(gòu)建起一套系統(tǒng)化、前瞻性的科研創(chuàng)新體系。通過聚焦模型行為機制、跨模態(tài)協(xié)同與可控性增強等核心問題,突破技術(shù)瓶頸,推動大模型邁向“可信”、“可靠”、“可控”新階段。
依托理論研究與工程實踐,君同與多所海外頂尖科研機構(gòu)及浙大、上交、復(fù)旦、哈工大等國內(nèi)學(xué)術(shù)合作伙伴共創(chuàng)了豐碩的學(xué)術(shù)成果,發(fā)表高水平論文數(shù)百篇、學(xué)術(shù)引用數(shù)萬次,持續(xù)為產(chǎn)業(yè)智能化與AI安全發(fā)展注入創(chuàng)新動能。
君同基于學(xué)術(shù)科研積累屢獲國家重點研發(fā)計劃項目、國家自然科學(xué)基金、教育部、工信部等多個部委重大科研項目的支持。近期在幾個方面取得突破性進展:
- 大模型編輯:探索模型知識更新與行為調(diào)控技術(shù),構(gòu)建多元編輯機制助力組織實現(xiàn)智能進化靈活可控
- 大模型越獄攻擊與防護:攻關(guān)指令對齊、上下文解析與風(fēng)險響應(yīng)等關(guān)鍵技術(shù)瓶頸,構(gòu)建系統(tǒng)化越獄檢測與防護框架,提升開放交互場景下模型的邊界控制與防御能力
- 大模型強化學(xué)習(xí):針對復(fù)雜任務(wù)中的稀疏獎勵與決策延遲問題,構(gòu)建了具備認知引導(dǎo)能力的訓(xùn)練機制,顯著提升了智能體在跨模態(tài)、多步驟任務(wù)中的表現(xiàn)
- 模型后門檢測:構(gòu)建了多模態(tài)協(xié)同防御體系,融合神經(jīng)元敏感性映射與語義一致性校驗,引入激活路徑擾動分析與語義嵌入對齊機制,實現(xiàn)了對跨模態(tài)聯(lián)動觸發(fā)與多跳推理型后門的動態(tài)剖析與定向清除
- 具身智能安全:熟稔具身智能風(fēng)險類型與攻擊策略,聚焦VLM與LVLM的魯棒性挑戰(zhàn),構(gòu)建多維評估基準,提出從多模態(tài)集成到安全關(guān)鍵機制的改進路徑
- 對抗性魯棒評測:構(gòu)建了從攻擊生成到防御優(yōu)化的一體化技術(shù)體系,提出多通道對抗擾動模擬與動態(tài)防護策略聯(lián)動機制,實現(xiàn)了對抗樣本的可控生成與防御路徑的精細調(diào)優(yōu),保障計算機視覺模型安全部署
- 大模型水印:構(gòu)建了從嵌入、鑒權(quán)到去水印的全鏈路技術(shù)體系,通過多元水印策略與私有知識特征提取技術(shù),實現(xiàn)了對模型所有權(quán)的精準認證與版權(quán)追
- AI生成內(nèi)容檢測:聚焦AI生成內(nèi)容識別和溯源,構(gòu)建了融合統(tǒng)計特征分析、事實性校驗與對抗訓(xùn)練機制的檢測體系,引入生成概率建模、可解釋分析與多模態(tài)對比方法,實現(xiàn)高精度識別與溯源
(2)在技術(shù)路線中理解
- 可信驗證:創(chuàng)新發(fā)明了“多維度模型安全風(fēng)險成因及作用機制理論驗證技術(shù)”,構(gòu)建多任務(wù)透明博弈分析框架,以應(yīng)對模型訓(xùn)練語料生成質(zhì)量推理不足及安全風(fēng)險成因難以分析的風(fēng)險
- 漏洞發(fā)現(xiàn):創(chuàng)新積累了“基于幾何框架的偽現(xiàn)實樣本生成技術(shù)”,構(gòu)建全域樣本一站式漏洞挖掘體系,以應(yīng)對模型漏洞評測機制泛化能力不足的風(fēng)險
- 主動防御:創(chuàng)新積累了“基于意圖識別的主動檢測防御技術(shù)”,構(gòu)建“數(shù)據(jù)-算法-模型”一體化主動檢控框架,以應(yīng)對模型防控技術(shù)依賴經(jīng)驗啟發(fā)、被動防御的風(fēng)險。
(3)在產(chǎn)品落地中理解
- 技術(shù)能力進化為防護管控類產(chǎn)品,解決跨模態(tài)模型防護成本高、主動防護機制缺失等一系列風(fēng)險
- 技術(shù)能力進化為評測驗證類產(chǎn)品,解決跨模態(tài)模型數(shù)據(jù)偏差、邏輯缺陷及倫理失范所引發(fā)的問題
- 技術(shù)能力進化為評測增強類產(chǎn)品,解決模型可解釋性差、魯棒性差、隱私泄露、算法偏見等問題
- 技術(shù)能力進化為AIGC標識溯源類產(chǎn)品,解決非法內(nèi)容生成、誤導(dǎo)性信息傳播、證據(jù)篡改濫用風(fēng)險
- 技術(shù)能力進化為教研實訓(xùn)類產(chǎn)品,解決知識更新滯后、教學(xué)場景脫離實際及理論實踐脫節(jié)等問題
三、守護AI
「君同未來」率先提出“人工智能生態(tài)治理”理念,以治理實踐視角出發(fā),從數(shù)據(jù)算法訓(xùn)練成模型,業(yè)務(wù)模型落地為產(chǎn)品,多元產(chǎn)品構(gòu)建成場景,再到多場景協(xié)同形成產(chǎn)業(yè),最終實現(xiàn)全鏈條人工智能生態(tài)治理,實現(xiàn)全面能力覆蓋,助力人工智能生態(tài)健康發(fā)展。
1、AI風(fēng)險治理全棧能力框架
圖注:君同AI風(fēng)險治理全棧能力框架
2、全線產(chǎn)品與場景方案
君同通過產(chǎn)品創(chuàng)新推動安全治理落地,實現(xiàn)了 AI 應(yīng)用的全流程合規(guī)管理,技術(shù)類產(chǎn)品能力明確了數(shù)據(jù)管理與算法透明的標準,而場景化的解決方案則結(jié)合風(fēng)險評測與安全服務(wù),形成了 “防護 + 檢測 + 響應(yīng)” 的閉環(huán)。
君同完成8款A(yù)I治理系列產(chǎn)品的發(fā)布,4款技術(shù)類成熟產(chǎn)品煥新登場、4類場景類方案全網(wǎng)首發(fā)亮相,構(gòu)成君同AI風(fēng)險治理全棧能力方案,覆蓋人工智能全模態(tài)、全場景、全生命周期治理需求,提供全面的驗證、增強、管控與防護、鑒識能力。產(chǎn)品矩陣不僅涵蓋技術(shù)工具,更融入了政策合規(guī)與倫理治理,推動 AI 生態(tài)向安全、透明的方向發(fā)展。
四、讓AI可信可用
君同未來目前在國內(nèi)AI治理領(lǐng)域經(jīng)過了百余個業(yè)務(wù)場景實地驗證,憑借技術(shù)專、產(chǎn)線全、案例多、應(yīng)用廣,完成多個行業(yè)上百家客戶積累,賦能AI普惠時代。
1、行業(yè)實踐與價值驗證
面向金融、互聯(lián)網(wǎng)、能源、企業(yè)服務(wù)、醫(yī)療等行業(yè),結(jié)合智慧醫(yī)療、智能交通、智能安防、監(jiān)管合規(guī)、端側(cè)模型、具身智能、智慧辦公、智能駕駛等多領(lǐng)域典型案例,深入剖析模型、產(chǎn)品、場景、產(chǎn)業(yè)四大生態(tài)域的治理思路:從應(yīng)用角度討論如何保障大模型可靠性與安全性;從合規(guī)角度關(guān)注如何確保模型合規(guī)及滿足監(jiān)管要求;從效率協(xié)同角度探討模型或模型應(yīng)用間如何可靠穩(wěn)定地高效協(xié)同;從制度設(shè)計角度探索如何利用生態(tài)治理思路進行頂層設(shè)計,確保人工智能可信發(fā)展。
(1)生成式人工智能防護管控產(chǎn)品服務(wù)于頭部互聯(lián)網(wǎng)金融廠商,構(gòu)建針對其金融場景風(fēng)險防護策略,包括越獄攻擊風(fēng)險、機密數(shù)據(jù)泄露風(fēng)險等,日均處理流量達百億級別。
(2)生成式人工智能評測驗證產(chǎn)品服務(wù)于頭部云服務(wù)廠商,構(gòu)建針對其大模型服務(wù)平臺的全棧風(fēng)險監(jiān)測策略,日均評測題量達百萬級別,生成評測報告協(xié)助其備案。
(3)決策式人工智能評測增強產(chǎn)品服務(wù)于大型客機企業(yè),利用構(gòu)建針對人臉安防場景(如門禁閘機、智能門鎖設(shè)備)的數(shù)智化評測體系,針對超千萬臺設(shè)備的人臉識別模型進行評測,模型檢驗速度提升了3倍。
(4)AIGC檢測標識溯源平臺方案服務(wù)于多家運營商 ,構(gòu)建針對視頻會議、語音通話場景的多模態(tài)合成生成樣本檢測流程,日均處理流量達億級,精準攔截數(shù)十萬次電詐風(fēng)險。
(5)人工智能教研實訓(xùn)靶場競賽平臺服務(wù)于多所高等院校,通過助力構(gòu)建一體化人工智能治理教研體系,預(yù)計每年可為大模型企業(yè)及其他相關(guān)單位培養(yǎng)數(shù)十萬名專業(yè)的AI領(lǐng)域人才。
2、君同客戶伙伴List
君同累計服務(wù)政府機構(gòu)、國央企、互聯(lián)網(wǎng)、科技、金融、教育、醫(yī)療等百余家客戶,包括中央網(wǎng)信辦、公安部、工信部、人民銀行等多個部委下屬相關(guān)評測及標準建設(shè)機構(gòu)以及??低?、字節(jié)跳動、螞蟻集團、涂鴉智能等。
五、助力人類基礎(chǔ)腦力勞動可信替代
君同未來以“助力人類基礎(chǔ)腦力勞動可信替代”為企業(yè)使命,通過構(gòu)建可信、可靠、可控、可用的 AI 生態(tài)治理體系,使其成為基礎(chǔ)腦力勞動的可信替代。未來,AI 將在更多領(lǐng)域承擔復(fù)雜任務(wù),而不斷演進的風(fēng)險治理體系,將確保其始終服務(wù)于人類社會的福祉,成為推動文明進步的核心動力。
來源:數(shù)據(jù)猿