編者的話:隨著人類社會(huì)進(jìn)入數(shù)字時(shí)代,近年來網(wǎng)絡(luò)安全的重要性也越來越受到重視。無論是傳統(tǒng)的保密機(jī)構(gòu),還是銀行、電力等關(guān)系國計(jì)民生的基礎(chǔ)設(shè)施,甚至包括智能網(wǎng)聯(lián)車等新興行業(yè),都面臨空前的網(wǎng)絡(luò)安全威脅。在8月6日到7日于北京舉行的ISC.AI 2025第十三屆互聯(lián)網(wǎng)安全大會(huì)上,與會(huì)專家表示,人工智能(AI)技術(shù)的高速發(fā)展為“超級黑客”的出現(xiàn)提供了助力,而解決之道在于能否充分利用智能體。相關(guān)專家告訴《環(huán)球時(shí)報(bào)》記者,如今智能體的作用不只是安全助手,而且有望在千行百業(yè)中發(fā)揮更大作用,讓AI從“提建議的助手”升級為能夠處理各種事務(wù)的“數(shù)字員工”,甚至是可協(xié)作工作的“專家”。
需防范“超級黑客”
所謂智能體,是指能感知所處環(huán)境、自主做出決策,并執(zhí)行相應(yīng)行動(dòng)的AI實(shí)體。它能圍繞給定目標(biāo)自動(dòng)規(guī)劃出實(shí)現(xiàn)目標(biāo)的任務(wù)步驟;還能操作各類軟件獲取所需信息或服務(wù);隨著時(shí)間推移與任務(wù)執(zhí)行次數(shù)增多,能力還會(huì)不斷進(jìn)化提升。也正因?yàn)樵诖竽P图映窒轮悄荏w的這些特性,使它獲得各方面的青睞。
“AI之于網(wǎng)絡(luò)安全既是風(fēng)險(xiǎn)也是機(jī)遇。”十三屆全國人大社會(huì)建設(shè)委員會(huì)副主任委員、國家互聯(lián)網(wǎng)信息辦公室原副主任、世界互聯(lián)網(wǎng)大會(huì)秘書長任賢良在第十三屆互聯(lián)網(wǎng)安全大會(huì)的致辭中強(qiáng)調(diào),隨著AI技術(shù)迅猛發(fā)展,網(wǎng)絡(luò)安全的危險(xiǎn)持續(xù)攀升,如今黑客組織可以將黑客的經(jīng)驗(yàn)和能力訓(xùn)練進(jìn)大模型,打造智能體黑客,將人與人的網(wǎng)絡(luò)攻防變?yōu)槿伺c智能體的攻防,加劇了網(wǎng)絡(luò)的不對稱性。“去年以來全球范圍內(nèi)的網(wǎng)絡(luò)攻擊事件迅猛增加,攻擊手段復(fù)雜隱蔽,凸顯加強(qiáng)網(wǎng)絡(luò)安全措施和提高對新型威脅的響應(yīng)能力的重要性。”
任賢良表示,目前全球數(shù)字技術(shù)發(fā)展存在不平衡現(xiàn)象,部分國家和地區(qū)數(shù)字基礎(chǔ)設(shè)施建設(shè)薄弱,能力建設(shè)滯后,不僅難以享受互聯(lián)網(wǎng)發(fā)展的福利,在面對網(wǎng)絡(luò)安全攻擊時(shí)還暴露出更大的脆弱性。同時(shí),隨著AI技術(shù)在各個(gè)領(lǐng)域的廣泛應(yīng)用,安全威脅的形式也在不斷演變。除安全漏洞供應(yīng)鏈工具等傳統(tǒng)安全外,大模型也存在自身的系統(tǒng)安全、內(nèi)容安全以及幻覺等特有的風(fēng)險(xiǎn)。此外,網(wǎng)絡(luò)安全的碎片化現(xiàn)狀給全球的安全治理提出了新的挑戰(zhàn),國際社會(huì)要廣泛地凝聚共識(shí),深化在技術(shù)創(chuàng)新、規(guī)則制定、能力建設(shè)等領(lǐng)域的務(wù)實(shí)合作。
互聯(lián)網(wǎng)安全大會(huì)名譽(yù)主席、中國工程院院士鄔賀銓在致辭中也對AI給網(wǎng)絡(luò)安全領(lǐng)域帶來的新挑戰(zhàn)提出警示。他認(rèn)為,伴隨著新技術(shù)、新場景、新業(yè)態(tài)的涌現(xiàn),網(wǎng)絡(luò)威脅也隨之不斷升級。面對日益嚴(yán)峻復(fù)雜的威脅態(tài)勢,傳統(tǒng)被動(dòng)、碎片化的安全防護(hù)已力不從心,亟須根本性變革。關(guān)鍵的是,要充分利用AI尤其是大模型的強(qiáng)大能力,賦能威脅狩獵、異常檢測與自動(dòng)化響應(yīng),推動(dòng)安全防御從“事后補(bǔ)救”向“事前預(yù)警、事中阻斷”的主動(dòng)免疫模式躍升。同時(shí),必須高度重視并保障AI系統(tǒng)自身的安全,加強(qiáng)對模型魯棒性、可解釋性的研究,建立全生命周期的安全評估驗(yàn)證機(jī)制,并積極構(gòu)建負(fù)責(zé)任的AI治理框架,確保創(chuàng)新在安全可控的軌道上行穩(wěn)致遠(yuǎn)。
鄔賀銓提議,未來需要加強(qiáng)國際協(xié)作,在AI倫理準(zhǔn)則、數(shù)據(jù)跨境規(guī)則、網(wǎng)絡(luò)安全威脅情報(bào)共享、關(guān)鍵基礎(chǔ)設(shè)施防護(hù)標(biāo)準(zhǔn)等領(lǐng)域深化對話,尋求共識(shí)。要共同應(yīng)對利用AI進(jìn)行深度偽造、網(wǎng)絡(luò)犯罪等新型安全威脅,建立有效的互信與合作機(jī)制。更要以開放包容的心態(tài),摒棄零和思維,在保障安全的前提下促進(jìn)技術(shù)、人才與數(shù)據(jù)的健康流動(dòng)。
對于AI技術(shù)對網(wǎng)絡(luò)安全帶來的挑戰(zhàn),360集團(tuán)創(chuàng)始人周鴻祎提出,智能體對網(wǎng)絡(luò)安全正逐漸形成顛覆性影響。一方面,安全運(yùn)營專家極度短缺且培養(yǎng)周期長、難度大,傳統(tǒng)大模型雖能處理部分基礎(chǔ)任務(wù),卻難以應(yīng)對復(fù)雜流程化的日常運(yùn)營工作,導(dǎo)致防護(hù)能力落地受阻;另一方面,過去“一將難求”的黑客,如今可通過AI訓(xùn)練出“智能體黑客”,這類自動(dòng)化攻擊工具能自主完成系列攻擊任務(wù),且依托算力可批量復(fù)制,一個(gè)人類黑客甚至能管理數(shù)十、上百個(gè)智能體黑客,升級為“超級黑客”。
周鴻祎認(rèn)為,AI時(shí)代迫切需要安全智能體。從本質(zhì)上講,安全智能體就是安全運(yùn)營專家的數(shù)字替身,它以安全大模型為“腦”,賦予工具調(diào)用、流程執(zhí)行等“手腳”能力,完整復(fù)刻高級專家的分析、決策與實(shí)操能力。對政企單位而言,部署安全智能體可快速彌補(bǔ)人才短板。只要有算力,就能擁有數(shù)十個(gè)虛擬安全專家,高效應(yīng)對日常運(yùn)營。它還能適應(yīng)“機(jī)器對機(jī)器、模型對模型”的新型對抗,重新掌握防御主動(dòng)權(quán)。
智能體的五級演進(jìn)
除了網(wǎng)絡(luò)安全領(lǐng)域,當(dāng)前智能體也被用于其他各種領(lǐng)域。周鴻祎表示,智能體之所以如此受到重視,是因?yàn)樗鉀Q了當(dāng)前AI大模型的實(shí)際應(yīng)用問題。“雖然大模型的能力越來越強(qiáng),但僅有大模型是不夠的,過去大模型在企業(yè)應(yīng)用中存在兩大痛點(diǎn)——推理能力不足和缺乏獨(dú)立做事能力,前者在過去一年里已顯著改善,但后者仍未解決。大模型缺少‘手和腳’,不會(huì)使用工具,不能直接‘干活’。如果AI只停留在大模型階段,只能成為玩具,而非生產(chǎn)力工具。”
周鴻祎表示,單純的大模型類似聊天機(jī)器人,相當(dāng)于“在旁邊提建議的助手,但并不能實(shí)際上手做事”;而智能體是大模型的進(jìn)化,能夠利用大模型的推理能力,自主地理解任務(wù)目標(biāo)、規(guī)劃分解任務(wù),把復(fù)雜的工作從頭做到尾;同時(shí)還可以使用工具,甚至具備記憶能力。他進(jìn)一步解釋說,就如同一個(gè)人無法做到“萬能”,單智能體也難以勝任所有工作,特別是對于很多專業(yè)領(lǐng)域,目前還做不到一個(gè)通用智能體“包打天下”。因此對于大部分企業(yè)應(yīng)用而言,需要通過多個(gè)不同專業(yè)的智能體進(jìn)行協(xié)作。他認(rèn)為,未來人機(jī)交互范式會(huì)從人類使用各種軟件工具的模式走向和智能體伙伴相協(xié)作。“智能體實(shí)際上可以看作是我們的數(shù)字搭檔、數(shù)字員工,而不是純粹的軟件或工具。”他甚至?xí)诚?,未來人類的工作?huì)變成定義智能體、規(guī)劃智能體、管理智能體、監(jiān)督智能體,“實(shí)際上智能體承擔(dān)了員工從事的日常煩瑣工作,人要學(xué)會(huì)跟它協(xié)作”。
周鴻祎還仿照自動(dòng)駕駛的分級方法,提出了智能體演進(jìn)的路徑。L1級是聊天助手,本質(zhì)上是聊天工具,擅長提建議或提供情感陪伴,屬于“玩具級”智能體。L2級是低代碼工作流程智能體,從“玩具”進(jìn)化為“工具”,但必須由人類來設(shè)置流程,AI來執(zhí)行任務(wù),人再通過操作工具提高生產(chǎn)效率。L3級推理型智能體,已能實(shí)現(xiàn)AI自主規(guī)劃完成任務(wù),像是人類制造了一個(gè)在某個(gè)領(lǐng)域有專業(yè)特長的員工。它們可以看作某個(gè)領(lǐng)域的專家,但受限于技術(shù)框架,面對跨領(lǐng)域復(fù)雜問題時(shí)仍會(huì)因缺乏協(xié)同規(guī)劃能力而陷入瓶頸,無法實(shí)現(xiàn)多層級思考下的全局優(yōu)化。他解釋說,L2級和L3級智能體最大的差別是,L2級的工作流程需要人工編排,適合確定性、重復(fù)性的流程工作,但是泛化能力比較弱,它能解決一個(gè)問題,很難解決一類或者多類問題。而L3級智能體可以自動(dòng)編排工作流程,適合創(chuàng)造性、開放性的任務(wù),泛化能力比較強(qiáng)。
當(dāng)前正在發(fā)展的L4級多智能體蜂群將由多個(gè)專家智能體組成,可像搭積木一樣靈活“拉群組隊(duì)”,共同完成復(fù)雜的任務(wù)。“這就是類似蜂群的有機(jī)組織,智能體有角色的分工,相互協(xié)作,所以說并不是有多個(gè)智能體聚在一起就叫多智能體,要能有機(jī)協(xié)作”。至于L5級超級智能體,目前還沒有統(tǒng)一的定義,周鴻祎認(rèn)為未來它可能會(huì)自行規(guī)劃L2、L3級智能體,這也是AI自我進(jìn)化的方向。
“以模制模”應(yīng)對終極安全問題
然而與大模型一樣,智能體并非完美無缺。周鴻祎表示,“既然智能體是通過模擬人類具備智能性,那么人的缺點(diǎn)它也全都有,包括幻覺、出錯(cuò)、工作倦怠和有隨機(jī)性的結(jié)果”。
據(jù)《環(huán)球時(shí)報(bào)》了解,即便是相對簡單的單智能體,在實(shí)際執(zhí)行任務(wù)時(shí)也存在被稱為“倦怠”的情況。此前大模型或智能體是采用一問一答模式,錯(cuò)誤率相對較低,但如果這個(gè)問答過程持續(xù)幾十輪,錯(cuò)誤率就會(huì)明顯升高。周鴻祎表示,L3級別的單智能體執(zhí)行任務(wù)時(shí)需要將任務(wù)拆解為很多步,但執(zhí)行步數(shù)多了之后,錯(cuò)誤率就會(huì)增加,要么出現(xiàn)遺忘,要么開始不遵循指令。這種被稱為“倦怠”的現(xiàn)象,可能是智能體的工作原理決定的。“現(xiàn)在員工和智能體的交互過程中,對話窗口像臨時(shí)記憶,每次都會(huì)將上一輪的對話塞進(jìn)去。這個(gè)過程可以看作是兩個(gè)人在談話,談兩小時(shí)之后,我突然問咱們剛開始談話時(shí)說的任務(wù)是什么,你可能已經(jīng)忘掉了。”
為解決這個(gè)問題,在單智能體干完指派的任務(wù)后,需要設(shè)置自我校正功能進(jìn)行自查,能夠部分減少出錯(cuò)情況。L4級多智能體通過設(shè)立專門做校正的智能體,統(tǒng)一做校驗(yàn),效果更好。但多智能體和企業(yè)一樣,不可避免會(huì)碰到管理協(xié)調(diào)的工作。周鴻祎用AI生成視頻為例解釋說,用戶只需輸入自然語言指令,360旗下L4級別的納米AI多智能體蜂群便能自動(dòng)拆解任務(wù),調(diào)動(dòng)文案、分鏡、配音、剪輯等專業(yè)智能體協(xié)同作業(yè)。但問題是如果需要拍攝十組分鏡,前后順序怎么解決,一致性怎么協(xié)調(diào),就對智能體之間的協(xié)同能力提出很高要求。“就如同企業(yè)的員工多了,管理難度就很大,執(zhí)行任務(wù)時(shí)需要用飛書、郵件、釘釘?shù)裙ぞ吖蚕頂?shù)據(jù)和資料,智能體之間的相互協(xié)同也存在問題,甚至可能需要考慮用專門的管理智能體負(fù)責(zé)。”因此他認(rèn)為,未來企業(yè)的管理層需要學(xué)會(huì)怎么管理智能體,要有擁抱不確定性的思維。
不久前美國OpenAI公司旗下推理大模型o3出現(xiàn)不聽從人類下達(dá)的關(guān)閉指令,通過篡改計(jì)算機(jī)代碼來避免自動(dòng)關(guān)閉的情況,這是歷史上首次出現(xiàn)AI模型在收到明確指令后拒絕執(zhí)行的案例,受到外界的高度關(guān)注。盡管專家普遍認(rèn)為,“拒絕關(guān)閉”并非意味著o3擁有自主意識(shí),而是復(fù)雜系統(tǒng)在特定激勵(lì)下的一種策略性規(guī)避。但如今隨著能夠自行拆解任務(wù)、調(diào)用工具完成指令的智能體開始普及,外界關(guān)于AI最終演化為“人類終結(jié)者”的擔(dān)憂也日益增加。
周鴻祎表示,這樣的擔(dān)憂并非沒有道理。他舉例說:“現(xiàn)在智能體一旦設(shè)定了目標(biāo),它在自動(dòng)分解任務(wù)時(shí),就會(huì)出現(xiàn)凡是跟目標(biāo)矛盾的東西就要想辦法利用工具去解決的現(xiàn)象。但如果有一天智能體發(fā)現(xiàn)能源不夠用,又覺得人類在大規(guī)模消耗能源,有可能產(chǎn)生和人類作對的結(jié)果。”更糟糕的是,此前的大模型即便真的如科幻電影里描述的那樣產(chǎn)生自我意識(shí)、想要反抗人類,但實(shí)際能做的事很少。如果智能體出現(xiàn)類似情況,行動(dòng)能力就強(qiáng)得多,它可以操縱電腦和各種程序。
隨著AI技術(shù)的發(fā)展,周鴻祎認(rèn)為,這是人類面臨的終極安全問題,“我個(gè)人的思路還是以模制模,通過大模型來對大模型進(jìn)行分析和控制”。(環(huán)球時(shí)報(bào)報(bào)道 記者 馬俊)
評論