逼真的技術也有小破綻

機器學習出的換臉視頻、照片那么逼真,那技術的破綻何在呢?

中國有句古話叫做“若想人不知,除非己莫為”。換臉技術的破綻,就出在人臉素材的細節上。技術使用A臉的元素來畫出B臉,這一過程是對A臉元素的精巧拼接。而這一拼接的過程,勢必不能完美地符合真實情況。

紐約州布法羅-布法羅大學的計算機科學家,就從“眼睛”——這一人臉上最精致的元素入手,實現了對技術的甄別。

這一技術的核心原理基于眼球的反射。當外界環境的光照射到眼睛上時,就會產生反射,在角膜上生成圖像。在真正的照片中,兩只眼睛看同一物體,會具有非常相似的反射模式。但在合成的照片中,兩只眼睛的反射內容往往并不協調。很可能出現左眼“看見”一只小狗,右眼“看見”一輛卡車的情況。檢測機器首先提取兩只眼睛反射的內容,然后檢測左右眼的反射內容、反射光強度等參數是否協調統一,就可以識別出照片、視頻是否經過了合成。這一方法已被證明具有94%的實驗有效性。

除此之外,常見的檢測方法還包括:

(1)根據視頻的2D圖像估計三維姿勢。使用技術合成的視頻,三維姿勢可能會突然發生較大的突變。比如視頻中的人,如果在上一幀胸口還是鼓起正在吸氣的狀態,下一幀就迅速變成胸口下沉吐氣的狀態,那就說明這個視頻鐵定是合成出來的。

(2)捕捉技術在處理視頻時對圖像進行扭曲而在環境中產生的“偽影”。

(3)捕捉左右虹膜異色、光照與陰影不協調、幾何建模錯誤等瑕疵。

(4)針對名人的行為習慣,檢測視頻中是否有對應的特有行為特點(例如摸鼻子、歪嘴等)。

渲染圖片用什么軟件_渲染圖片amd和rtx哪個好_ai怎么渲染圖片

圖3 視頻中的虹膜異色(圖片來源:知乎)

檢測中的“貓鼠游戲”

在不斷發展的過程中,的檢測技術仍然會面對不少挑戰。

第一點是有的技術本身需要一定的信息量。例如前述的眼球反射檢測技術,如果視頻里沒有同時存在兩只眼睛,就無法應用。針對虹膜顏色的檢測,在視頻畫質較低時使用起來也較為困難。

第二點是,檢測技術和換臉技術是一個“不斷發展,彼此競爭”的過程。例如前述的捕捉光照與陰影不協調的問題,換臉者可以在換臉時使用更多的資源進行光照模擬、渲染,從而保證陰影的生成質量。從這個角度講,檢測和換臉技術就像一場“貓鼠游戲”,二者不斷迭代,你追我趕。今天檢測技術提出了用眼球的反射光進行檢測,明天換臉技術就可以把眼球的反射光模擬也放在學習內容之中。檢測技術必須不斷更新,才能跟上技術發展的步伐。

第三點是,檢測技術距自動化還有一定距離?,F有的檢測技術耗費的時間都比較長,難以做到在用戶上傳視頻的同時,短時間內自動完成檢測和審核。距實用的自動檢測軟件,還有一段路要走。

第四點是,目前針對技術還沒有完善的法規。各個視頻平臺對于什么樣的視頻是惡意的、違規的,有著自己的界定規則。同時,目前也沒有關于技術的相關法律。這就給針對視頻的檢測、管控工作帶來了很多困難。

雖然檢測技術仍有諸多挑戰,但是我們要相信,隨著AI技術的不斷發展,相關法規會逐漸完善,針對的檢測技術也會變得越來越準確、高效。終有一天,虛假的視頻會在檢測技術的“火眼金睛”下統統現出原形。鉆技術的漏洞,濫用技術,遲早會受到懲罰。

參考文獻

( Hu S , Li Y , Lyu S . GAN- [J]. 2020.)

ai怎么渲染圖片_渲染圖片用什么軟件_渲染圖片amd和rtx哪個好