你是否曾經(jīng)好奇過面部動畫和動作捕捉是如何在現(xiàn)場虛擬制片環(huán)境中使用的？Iralta虛擬制片團隊為我們介紹了他們?nèi)绾螢槲靼嘌拦矎V播網(wǎng)TVE1制作虛擬角色Mapi。本文中Iralta虛擬制片團隊介紹了虛擬角色Mapi是如何被創(chuàng)造出來的，以及創(chuàng)造一部與眾不同的電視節(jié)目所涉及的各種工作流程。

Mapi是誰？

Mapi不僅僅是一個智力競賽節(jié)目，還是節(jié)目中一個增強現(xiàn)實的3D角色。該節(jié)目和角色由Iralta虛擬制片公司與Mediacrest和RTVE合作制作，在TVE1的“黃金時段”播出?！禡api》改編自日本公共頻道NHK的著名電視節(jié)目《Chiko的挑戰(zhàn)》，這是一檔具有革命性的電視節(jié)目。《Chiko的挑戰(zhàn)》每周播出一期，因此對于《Mapi》而言使節(jié)目的制作流程適應(yīng)日常的播出需求成為了一項技術(shù)挑戰(zhàn)。

Faceware的應(yīng)用

節(jié)目組要求Iralta為其制作一個能夠像有血有肉的演員一樣表演的3D角色：一個半人半3D的混合角色，可以與其他演員、參賽者和現(xiàn)實生活中的物體互動。

通過使用安裝在攝像機和女演員身上的Mo-Sys能夠在空間中定位3D模型。這使得制作組能夠在真實和虛擬空間中定位角色。

面部捕捉工作流程使用Faceware的Mark IV headcam和Faceware Studio將女演員的動作實時轉(zhuǎn)換為3D模型的動作。隨著時間的推移，“機器學習”的使用也有助于面部捕捉軟件提高Mapi的表現(xiàn)力。

另外角色的動畫是在虛幻引擎中開發(fā)的，以便于為Mapi添加一些，如煙霧，雨水或特定表情等特殊效果。

虛擬制片流程

使用實時渲染引擎——虛幻引擎，我們可以通過四個攝像頭完成整場直播秀。為了合成和增強真實感，我們還使用了與布景相同的照明和來自視頻面板的燈光功能。

開發(fā)AR 3D角色的集成是為了向Vision mixer提供四個現(xiàn)場反饋，從而允許導演實現(xiàn)現(xiàn)場混合直播。

這個為虛擬制片設(shè)計的實時制作工作流程超過了5400分鐘（90小時），無需進行任何3D后期制作。

這種制作3D、VFX和動畫的新方式徹底改變了拍攝和后期制作的既定模式。虛擬制片讓動畫和“后期制作”與現(xiàn)在拍攝同時進行。演員現(xiàn)在能夠與場景中的3D元素以及虛擬演員進行實時互動。

《Mapi》的制作是一項艱難且極具創(chuàng)造性的壯舉。那么我們?nèi)绾问褂妙愃啤栋⒎策_》、《曼達洛人》或《堡壘之夜》的技術(shù)來制作完整的電視直播節(jié)目呢？許多廣播公司使用增強現(xiàn)實來添加圖形內(nèi)容或數(shù)據(jù)，但這是第一次混合3D角色在多臺攝像機上參與實時表演。

關(guān)于角色Mapi的設(shè)計

Mapi的設(shè)計在一定程度上參考了“Chiko的挑戰(zhàn)”以及它最初是如何融入日本文化和電視的。對于創(chuàng)造一個更受西方人接受的角色而言，Mapi的設(shè)計靈感更多來自于如“Family Telerin”中的Clea和Cuquin或“Wreck-it Ralph”中的Vanellope等角色。

Mapi的角色設(shè)計由馬科斯·拉亞（Marcos Raya）和安吉爾·烏爾維納（Angel Urbina）和戴夫·伯頓（Dave Burton）領(lǐng)導的Iralta 虛擬制片團隊負責。Mapi是一個充滿疑問的幽默小女孩。而在更深層次上，Mapi是知識的女王，她擁有極其豐富的面部表情。Mapi的3D模型是一個女孩的臉，能夠表達從笑到憤怒的一系列情緒，這能提升演員的即興表演能力。

女演員Carla Pulpón

使用虛擬制片的增強現(xiàn)實使我們能夠獲得演員的最佳表演，并實時將其轉(zhuǎn)換為3D角色。當然如果沒有Mapi背后的女演員Carla Pulpón，這些表情就很難活靈活現(xiàn)的展現(xiàn)出來了。在片場的每一天，Carla都賦予她所扮演的虛擬角色生命力。她在錄制節(jié)目的時候會戴著一個參考用的假人頭部，以及Faceware Mark IV頭戴式攝像系統(tǒng)，該系統(tǒng)可以使她的面部動作與Mapi保持同步。

服裝

Mapi是一個虛擬與現(xiàn)實結(jié)合的角色。Mapi人體部分的服裝由來自Producciones Mutis的Esther R. Luaces和Reyes Pe負責。TVE所需的設(shè)計是在創(chuàng)紀錄的時間內(nèi)完成的，以配合此次展覽的試點和技術(shù)測試。織物的顏色和紋理必須與虛擬數(shù)字角色相結(jié)合。Mapi的服裝需要在視覺上吸引人的同時也非常實用，因為她的背包必須隱藏面部和動作跟蹤硬件。巨大的假人頭部幫助Carla實現(xiàn)了準確的動作，并給我們帶來了真實的反射和陰影。

Iralta

該項目使用了7臺功能強大的計算機來為Mapi的虛擬部分注入活力，并整合了不同的數(shù)據(jù)（如視頻、位置信息和面部識別等）：分析、動畫和渲染。此外制作組還開發(fā)了一系列數(shù)字道具來增強Mapi的情感和動作。

在錄制前的幾個月，Iralta的虛擬制片團隊參與了研發(fā)和其他測試，以使Mapi栩栩如生。他們在優(yōu)化面部和相機跟蹤系統(tǒng)上花費了許多時間，這些系統(tǒng)在每個節(jié)目中都在不斷發(fā)展、進步。在幾個星期的時間中，工作人員將計算機系統(tǒng)和軟件推向極限，最終獲得了獲得絕佳的實時動畫效果。