從巨大無朋的太空船到手舞足蹈的外星人，酷玩樂隊和防彈少年團（BTS）最近的單曲《My Universe》的音樂視頻以引人入勝的方式匯集了兩支世界知名樂隊。這是個歷史性的時刻，其意義不僅在于它是首支由兩大當(dāng)紅團體合作并登上美國音樂排行榜榜首的單曲。在幕后，有五家視覺特效工作室合作運用了體積視頻，該技術(shù)有可能改變娛樂節(jié)目的制作方式。

首先是Ingenuity Studios，這家視覺特效工作室使用一套包含108個攝像機的360度體積捕捉設(shè)備，從每個角度記錄每名歌手的表演。使用體積捕捉意味著兩個超級樂隊的每名成員都是以體積的形式被錄制成全息影像，而不是平面影像。這也意味著雖然防彈少年團是在韓國的綠幕前拍攝，而酷玩樂隊是在西班牙拍攝，他們能夠在視頻中一起演唱。每名歌手的體積錄制內(nèi)容可以從任何角度合成——全都具備逼真的深度、色彩和光照。

最終成果令人驚嘆不已。但是當(dāng)洛杉磯的創(chuàng)意工作室All of it Now參與制作時，他們又和酷玩樂隊的創(chuàng)意團隊合作，進一步完善相關(guān)概念。

“我們想把全息影像放進真實世界，但這需要一個契機，”All of it Now的首席執(zhí)行官兼聯(lián)合創(chuàng)始人Danny Firpo說，“我們經(jīng)過一番搜索，發(fā)現(xiàn)了[美國全國廣播公司的]《美國好聲音》，這檔節(jié)目擁有的基礎(chǔ)設(shè)施完全能滿足我們讓兩個團體完美地同步表演的需求。”

傳統(tǒng)全息影像與體積視頻的對比

要實現(xiàn)如此雄心勃勃的創(chuàng)意，第一步就是構(gòu)建實時制作的管線。“我們可以用傳統(tǒng)的投影方式將防彈少年團放到舞臺上，比如Digital Domain就是用這種方式，通過一塊斜放的玻璃投影出著名的Tupac全息影像，”All of it Now的執(zhí)行制作人Nicole Plaza說，“但我們知道，傳統(tǒng)的方法不能用在這個項目上。安裝時間、成本和有限的觀看角度都降低了它的吸引力，而且在靈活性上明顯不如我們用虛幻引擎做出的成果。”

通過將Dimension Studios的體積捕捉數(shù)據(jù)導(dǎo)入虛幻引擎，該團隊可以方便快捷地根據(jù)實體舞臺的限制對AR表演者的位置和出現(xiàn)時機進行調(diào)整。這樣的速度和靈活性對于制作過程至關(guān)重要，而如果沒有Hologauze屏幕和Pepper的ghost方法，這種近乎即時的更改基本上是不可能實現(xiàn)的。

使用實時工作流程也意味著該團隊可以在虛幻引擎中對整個表演進行攝像機布局。這不僅使兩大樂隊可以預(yù)覽每個鏡頭的拍攝節(jié)奏，也幫助了制作團隊確定每個機位的拍攝范圍是否足夠，從而使他們能夠確定拍攝時需要哪些攝像機和鏡頭。

“我們本來計劃使用四個攝像機，但是在看到我們能夠?qū)崟r提供的質(zhì)量級別后，《美國好聲音》和酷玩樂隊很快就商定需要七個攝像機，這可以進一步提高整個制作的價值，”All of it Now的虛擬制片主管Berto Mora說。

將創(chuàng)意呈現(xiàn)在舞臺上

制作開始后，他們使用虛幻引擎將七個攝像機的信號與原先在《My Universe》視頻拍攝時捕捉的防彈少年團體積影像放在一起合成并回放。“我們知道可以出色地覆蓋七位表演者的全方位影像，這就給成片中的鏡頭帶來了無限可能，”Mora說，“我們給每個攝像機專門了安排一臺服務(wù)器，這樣導(dǎo)演就能同時看到所有信號源并隨時切換鏡頭，就好像防彈少年團的AR成員真的和舞臺上的真人酷玩樂隊一起表演一樣。”

為了實時地讓防彈少年團的表演者進入和離開舞臺，該團隊還利用菲涅爾效應(yīng)和虛幻引擎中的Sequencer創(chuàng)造了一種“電波干擾”效果，讓表演者的全息影像瞬時呈現(xiàn)在觀眾面前。看過那部音樂視頻的樂迷可能會記起這種效果，因為在原片中它也被用于表現(xiàn)我們想象中星際“傳輸”時全息數(shù)據(jù)帶有瑕疵的特點。

接著團隊又使用Stype的Stypeland插件攝取所有攝像機跟蹤和鏡頭畸變數(shù)據(jù)。這是通過Live Link記錄的，因此團隊可以重新渲染每名表演者的獨唱時刻的選定片斷，并在后期對特定表演者的唇形同步進行幀級別的調(diào)節(jié)。另一方面，在舞臺上，All of it Now的團隊與一流的設(shè)計師Sooner Routhier合作，使用特定的落地?zé)魜韼椭嵬鏄逢牭乃嚾吮鎰e哪些AR表演者出現(xiàn)在舞臺上，是何時出現(xiàn)的。

實時技術(shù)的優(yōu)點

和所有顛覆性的工作流程一樣，使用體積視頻也涉及一些挑戰(zhàn)。All of it Now的團隊甚至一度與微軟合作改寫了插件代碼，使得防彈少年團的表演者資產(chǎn)（它們是通過微軟的SVF插件，作為特殊MP4導(dǎo)出內(nèi)容而提供的）與酷玩樂隊保持完美同步。

但是，直面這些挑戰(zhàn)所帶來的回報是絕對值得的。通過使用體積捕捉數(shù)據(jù)，團隊甚至能在后期重新合成某些鏡頭（由于整條管線始終是為實時表演和回放而設(shè)計的，也方便了這類操作）。“每個視頻文件都是從一臺Atomos Shogun回放的，音頻和視頻饋送到用于現(xiàn)場制作的服務(wù)器，基本上就是重建了我們在現(xiàn)場看到的場景，”Mora透露。

“我們使用這種方法，可以修正同步方面的小問題，或者修改電波干擾關(guān)鍵幀，增減每個鏡頭的電波干擾效果。我們還使用我們自定義的管線工具讀取時間碼范圍，找到含有記錄的跟蹤數(shù)據(jù)的鏡頭，然后創(chuàng)建新的序列，在后期只需要修正每個鏡頭所需的跟蹤數(shù)據(jù)就行。與人工識別具有正確幀范圍的鏡頭相比，這種做法節(jié)省了時間，對于后期制作所要求的快速周轉(zhuǎn)非常關(guān)鍵，”All of it Now的首席虛幻引擎美術(shù)師Jeffrey Hepburn說。

當(dāng)《美國好聲音》節(jié)目播出時，All of it Now團隊對結(jié)果非常滿意，因此他們?nèi)缃裾谔剿髟谄渌w積視頻應(yīng)用中使用Arcturus Holosuite的平行管線，該工具可以改變表演者的頭部位置，使其“跟隨”被跟蹤的特定攝像機。但是無論他們做什么探索，虛幻引擎似乎都會是他們的好伙伴。

“在這個項目的每個階段，虛幻引擎都幫我們渡過了難關(guān)，使這個項目最終成為體積錄制的里程碑，激動人心地預(yù)示了混合現(xiàn)實以及元宇宙應(yīng)用，”Firpo解釋說。

他提到了使用體積視頻實時回放的多種優(yōu)勢，例如不需要鉆研3D角色設(shè)計、骨架綁定和動畫管線就能捕捉高度精細的面部表情、服裝元素和手指姿勢。

Firpo還表示，這種技術(shù)提供了探索替代工作流程的絕好機會，同時又能讓各個團隊避免“恐怖谷”問題的困擾。

“實時回放體積視頻提供了一些重大的機會，”他說，“如果能夠進行一次錄制并將資產(chǎn)復(fù)用于多種應(yīng)用，那么這肯定會讓那些總在思考下一個大作的美術(shù)師感到興奮。體積視頻將會引導(dǎo)他們朝一些有趣的方向探索。”

合影（從左至右）：Danny Firpo、Nicole Plaza、Preston Altree、Berto Mora、Jeffrey Hepburn、Neil Carman