技術和算法的開發和精進讓AI換臉、AI克隆都成了可實現的事情。近日,上海科技大學團隊的一項新研究,再一擴展了這一領域,其開發建立了人體圖像合成——人體圖像合成的目的是制作可信和逼真的人類圖像,包括運動模擬、外觀傳遞和新視圖合成等。
這意味著,模型一旦經過訓練,就可以用來處理所有這些任務。只要一張照片、一段視頻,就能讓特朗普跟著明星偶像“唱、跳、Rap”。
研究團隊先是采集了30個研究對象的數據,他們的體型、身高各不相同。每個研究對象穿著不同的衣服,完成一套指定動作和一套隨機動作?;诖?,建立了一個具有多種樣式、不同人物穿不同衣服的數據集,稱為Impersonator(iPER)數據集。
隨后,研究人員使用三維人體網格恢復模塊,以分離姿勢和形狀。值得一提的是,現有任務特定方法主要利用二維關鍵點、對人體結構進行估計。但是,它們只表示位置信息沒有能力描述人的個性化形狀和肢體旋轉模型。
而三維人體網格不僅可以對關節的位置和旋轉進行建模,還可以對關節的位置和旋轉進行建模描述個性化的體型。
為了保存源信息,如紋理、樣式、顏色和人臉標識,研究人員還提出了一種注意型液化GAN。比如,通過降噪卷積自動編碼器提取特朗普的身體特征,然后經過GAN不斷地訓練學習、微調、監督、轉化,將低分辨率的模型轉變成高分辨率的模型,使輸出來的視頻圖像清晰。
人體圖像合成一經開發,將在角色動畫、角色再現、虛擬服裝試穿、電影或游戲制作等方面展示其巨大的潛在應用前景。當然,技術的使用永遠需要合理的規制,“以假亂真”一旦泛濫,將對市場造成難以恢復的危害。
責任編輯:PSY
-
人體
+關注
關注
0文章
11瀏覽量
11534 -
圖像
+關注
關注
2文章
1094瀏覽量
41188 -
AI
+關注
關注
88文章
34936瀏覽量
278310 -
合成
+關注
關注
0文章
16瀏覽量
13865
發布評論請先 登錄
利用NVIDIA 3D引導生成式AI Blueprint控制圖像生成
圖像采集卡:現代圖像處理技術的關鍵組件

DLPDLCR3310EVM如何添加1920*1080的圖像?
如何使用圖像采集卡

評論