從韓國Deepfake事件思考我國人工智能安全

近年來，人工智能技術的發展帶來了新需求、新進展，同時也帶來了新變化、新問題。加強網絡安全體制建設，建立人工智能安全監管制度，是人工智能時代的持久命題。

今年8月，韓國曝出群體性的深度偽造（Deepfake）淫穢內容犯罪事件，受害者涉及500多所學校的女學生，再次敲響了人工智能新技術安全風險的警鐘。

隨著大模型技術應用于各個行業，生成技術開始呈現工具化和普及化趨勢，普通人也可以很容易接觸到各種生成工具。反思整個事件，有幾個層面的風險值得廣大公眾關注，避免讓自己成為受害者和違法者。

生成工具獲取門檻越來越低，每個人都可能成為偽造信息生產者

韓國Deepfake事件中，每個聊天室都提供人工智能合成軟件，付費后上傳一張女生照片，就可以在5秒內生成她的裸體合成照。同時，國際上公開的代碼分享平臺如github、huggingface上有很多開源的Deepfake算法，經過簡單的封裝就可使用，并形成教程，在各個私域群里傳播。

如果生成工具獲取的門檻這么低，普通人出于無知、好奇、個人恩怨，或者非法牟利的目的，很容易成為濫用生成技術的違法者。我們的安全如何得以保證？

事實上，目前，從日常利用大模型生成論文和申請書等學術不當行為，到利用人工智能換臉明星進行直播帶貨等侵權行為，再到偽造熟人和領導詐騙情報、錢財的違法犯罪行為，已經呈現快速增長趨勢。

偽造信息傳播隱秘，傳播平臺匿名政策助推群體性犯罪

韓國Deepfake事件中偽造的淫穢內容主要在社交平臺telegram上傳播。該平臺的特點是支持匿名注冊（可隱藏姓名、手機號以及IP地址），端到端加密發送消息，而且支持閱后即焚功能。據調查，截至目前，韓國幾乎每所學校都有一個類似功能的聊天室，參與的男學生人數達到250萬。

正是這種傳播平臺的匿名政策，助長了不法分子利用此類平臺進行詐騙和犯罪的僥幸心理，而且由于身份隱藏，事后警方很難查案。

偽造技術快速發展，逼真程度肉眼已無法識別

今年2月，一家跨國公司香港分部的職員受邀參加總部首席財務官發起的“多人視頻會議”，被騙轉款2億港元。視頻會議中只有受害人是“真人”，其他“參會人員”都是經過人工智能換臉后的詐騙人員。

報道一出來，很多人覺得不可置信。大家普遍認為實時視頻通信中，人員一直在互動，不可能偽造得那么逼真。在大眾的認知里，接受了“文本和圖片容易造假，但視頻相對可信，實時視頻通信就更可信”的觀點。

而目前的技術發展現狀是，只要在互聯網上收集一張人臉照片，就可以實現人工智能換臉；收集5至10張不同角度的人臉照片，就可以訓練人物模型，實現實時人工智能換臉，用詐騙人員替換真人進行視頻通信。一旦獲取10至20秒的含人臉音視頻，就可以訓練該人物的高逼真數字人，進而模擬和生成他的言行舉止。實時換臉技術已經能達到肉眼不可分辨的逼真程度。

但是，大家也不用恐慌，國內在偽造檢測技術方面發展很快。我國面向個人的鑒偽服務起步也很早，已有相關互聯網應用服務于用戶。

人工智能技術迭代發展速度非常快，網民的認知要與人工智能技術的發展現狀同步，具備人工智能安全意識、用好人工智能鑒偽工具，才能避免自己成為新技術的受害者。

大模型規模化應用時代鑒偽技術面臨的挑戰

雖然目前鑒偽技術和工具都已具備，但面對大模型應用的普及和規模化，偽造與鑒偽檢測的持續對抗仍在升級。未來在全面執法過程中我們將面臨3項實戰挑戰。

首先，大模型生成技術迭代更新很快，平均兩個月就會出現新的重要版本。提升針對新出現偽造方法的泛化能力至關重要，需要構建人工智能鑒偽底座模型，以大模型對抗大模型。

其次，對于詐騙等強對抗、高風險犯罪，造假者會通過壓縮等各種手段逃避檢測，因此算法需要在施加對抗意圖和手段的條件下仍能完成高精度檢測。

最后，生成式人工智能作為新質生產力的代表，未來會出現大量正向生成應用。但從技術層面來說，正向應用和違法犯罪的算法是類似的。所以降低對藝術創作、智能服務等正向生成應用的影響，在大量無害生成中精準識別出有害偽造，才能兼顧新技術的安全與發展。

對于生成式人工智能，期待國家層面出臺高效的安全管理政策，技術團隊研發最先進的人工智能安全技術，普通百姓提高對人工智能安全的認知，一起為我國人工智能事業發展貢獻力量，用高水平安全保障高質量發展。

（作者系人工智能研究專家）