之前把普通照片變成二次元畫風的各種 AI,大家或多或少都了解過:
又或者是讓 AI 創造一個真實的美女:
近期外國知名視頻特效團隊 Corridor 就整了一個狠活兒,AI 在他們手中要創作的不再是一幅畫,而是要讓畫面組成一個完成的動畫。例如下面這個片段,其實就是 AI 照著真人繪制的:
動畫中兩位王子進行了了一場慘烈的決斗,而方式竟然是「剪刀石頭布」!雖然沙雕,但這畫面確實夠熱血的:
看不出來是 AI 做的?可以對比一下真人鏡頭,簡直完美同步,無縫切換:
畫面干凈,表情生動,沒有鬼畜,甚至畫風還有點經典。就好像是有一個動畫團隊用畫筆照著現實中的人物繪制了一幅幅畫面。但其實 Corridor 僅僅用到了四五個人,而且他們壓根也都不會制作動畫。
可以想象一下,AI 先是讓你能從 0 基礎變成畫師,現在又有可能變成動畫制作者,聽起來創作更加輕松自由,這就有點科幻了。
所以,他們到底是怎么做的?
整個步驟簡單來說,就是先讓真人演一下,然后讓 AI 把真人視頻弄成動畫版本。當然這個過程說起來容易,做起來復雜。
他們使用的工具是我們之前介紹過的 Stable Diffusion,關鍵詞給到 AI,根據你添加的模板,它能幫忙生成各種風格的畫面。
而想做視頻首先要解決的問題,就是畫面的不穩定性。
因為每一幀的畫面不同,AI 生成的畫面也會有明顯差異。例如之前網友制作的「塞爾達風格侏羅紀公園」,作品已經相當流暢,但依然可以看出人物本身都在飛速變化,發型不斷改變。
所以 Corridor 先嘗試在幾幀內固定了畫面風格,以此來讓畫面大體穩定住,不要變動得太離譜。
但此時人物風格依然在不斷轉變,比如每張圖中,角色的眼睛大小、畫風都會更換,甚至有時候戴眼鏡有時候不戴。
為了解決這個問題,就要用到一個固定的模型,統一畫風,讓 AI 別想太多。
于是他們用《吸血鬼獵人 D》的畫面對 AI 進行訓練,使用的截圖包括各種面部特寫、肢體、身體等等:
這樣一來,生成的畫面都是以這部動畫為基礎,眼睛也就不會忽大忽小了。
同時還要解決一個問題,那就是臉部的細節依然不穩定,而處理這個問題的方法,就是同時訓練一個演員自己的真人模型。需要演員穿上戲服,然后多角度瘋狂拍照,給 AI 制作素材。
經過訓練的 AI 也可以生成演員的圖像,只不過手指頭偶爾還是殘缺的。
接著還需要繼續訓練,用演員的照片生成動畫形象,不斷迭代,最終才有了比較滿意且穩定的動畫形象。
在多重訓練的加持下,動畫的效果也就變得理想了一些,畫面的統一性基本穩定下來了:
再用上視頻特效技術減少閃爍,畫面由此變得更加驚艷,人物的情緒飽滿,動作連貫而且流暢:
再加一些漫畫特效,你說這是某部動畫里剪輯出來的片段都沒問題。
接下來他們要給自己的動畫設計故事情節與背景:「國王死了,兩個王子要用石頭剪刀布爭奪王位」,這劇情聽著都像是 AI 寫的。
技術有了,故事腳本有了,接下來開始正式制作。例如開始配音,雖然沒有畫面,但幾位老哥還是吼到聲嘶力竭。
之后就是從網上搞一下服裝,兩個主演穿上就去拍戲了。
真人視頻拍好就交給 AI 處理畫面,同時加入各種細節對畫面進行調整。
于是現實中的各種演出,就這樣被 AI 一點點給動畫化了。
把綠幕摳掉,人物素材就基本完成。
然后把圖喂給 AI,再生成一大堆的背景圖。
接下來就是對視頻的整合與進一步處理,包括鏡頭、衣服、光線的變化等等。
例如讓背景平移,這樣鏡頭看起來像是在旋轉,動態感就有了:
人物與背景相結合,最后輸出成動畫:
在動畫中,甚至一些微表情也能對照真人進行還原,眼角的跳動,嘴角的抽搐,真人怎么做,AI 就怎么畫:
石頭剪刀布搞得像是放出了殺招一樣,看著又尬又好玩:
這樣的制作,已經完全脫離 AI 畫圖的感覺了。
這部動畫在推出后目前已經有了超過 200 萬的播放量,并引發了激烈討論。
大多數人的觀點再次認為,AI 將引發新一輪的革命,要失業的感覺籠罩了不少網友。
但也有人指出,AI 的成本并不比畫師的工作量小。
首先,Corridor 是一個極為專業的特效團隊,每個人都能力出眾。以前惡搞波士頓動力機器人反殺人類的視頻就出自他們之手,當時很多人對此都真假難分。
所以與其說是 AI 生成得好,不如說他們本身就拍得好,花了兩個月才有了動畫的精彩演出,普通人想要這樣操作還有點遙遠。
同時畫風也是鎖死的,因為他們的動畫是根據真人來制作的,所以畫風也貼近寫實,如果畫風再夸張一點效果可能又會變得不理想。
最后爭論的就是版權問題,不少畫師還是很抵觸自己的作品被喂給 AI 的。
但想要完全脫離畫師制作動畫也不現實,像是這次的制作就還是使用了《吸血鬼獵人 D》的畫面進行訓練,想讓 AI 完全自己繪制還是兩個概念。
對此也有人指出,只要工具好用,動畫公司會自己搞定版權,最后受傷的只有普通打工人。
話說回來,我還是對 AI 的成長充滿期待。
按照這個進化趨勢,以后把一部電視劇喂給 AI,說不定也能輕松輸出一部動畫版本。一想到這里,這下不得不期待了。
參考資料:
鄭重聲明:此文內容為本網站轉載企業宣傳資訊,目的在于傳播更多信息,與本站立場無關。僅供讀者參考,并請自行核實相關內容。
2023年2月15日,湯臣倍健與美團買藥在北京舉辦了2023
2021年收入增長目標應能確保實現,2022年收入增長預計將
具體來看,一是簡化業務流程和材料,便利北京冬奧會相關區域內境
炒股就看金麒麟分析師研報,權威,專業,及時,全面,助您挖掘潛
,據索尼官方消息,新星粉,銀河紫,星光藍,三款全新配色Dua
,新氧數據顏究院發布《2021醫美行業白皮書》,白皮書顯示,