掃描動態(tài)人物生成高模合成到CG場景

Light Stage是由美國南加州大學(xué)ICT Graphic Lab的Paul Debevec所領(lǐng)導(dǎo)開發(fā)的一個高保真的三維采集重建平臺系統(tǒng)。這個系統(tǒng)是一種先進(jìn)的掃描技術(shù)，可以準(zhǔn)確地對人臉進(jìn)行數(shù)字捕捉，通過各個角度光源獲取有效的主體面部表演，重建超寫實3D模型。從第一代系統(tǒng)Light Stage1于2000年誕生，至今已經(jīng)升級到Light Stage 6，最新的一代系統(tǒng)命名為Light Stage X。

Light Stage 1系統(tǒng)樣機(jī)

從誕生到最新的X版，技術(shù)和設(shè)配都在不斷的迭代和升級。這不，最近南加大ICT Graphic Lab的Paul Debevec及其團(tuán)隊成員與Google合作，整出了Light Stage實現(xiàn)不了的最新玩法——被稱為Solaris的Light Stage X4技術(shù)，能夠精確地模擬包括太陽在內(nèi)的自然光照環(huán)境，用于解決CG、模擬和圖像采樣等方面的復(fù)雜問題。

 Light Stage X4 : Solaris 

Solaris包括4D重建技術(shù)和最前沿的Relightables投射技術(shù)。

1. 第四維度：時間

從Light Stage1誕生以來，都是通過超高分辨率的快照過程生成精細(xì)、高細(xì)節(jié)的人臉掃描。Light Stage產(chǎn)生的毛孔水平細(xì)節(jié)主要是靜止的（FACS）面部表情。那么如何讓得到的結(jié)果更更更精細(xì)，具有超高細(xì)節(jié)呢？唉？南加州大學(xué)ICT團(tuán)隊就一直在琢磨這個事，他們就把解決方法放在了時間的概念上，所以就出現(xiàn)了這個第四維度：時間。與Google合作之后，他們設(shè)計了新的Light Stage，既可以掃描整個身體，又可以放大到面部進(jìn)行詳細(xì)的面部掃描，這一切都是基于時間來捕捉的。

除了4D重建之外，Solaris另一非常牛逼的技術(shù)是叫Relightables投射。這是一段帶有逼真燈光效果的角色體積表演捕捉。Relightables投射是對早期Light Stages原始功能的一種回歸，可對任何HDR采樣位置光照下的演員進(jìn)行重光照。而相比之下，Relightables投射又是一種巨大改進(jìn)，它可以對正在移動的全身進(jìn)行體積捕捉，并加入到傳統(tǒng)的CG制作流程中，還能利用深度學(xué)習(xí)生成可在任何環(huán)境中使用的高模。

通過把時間多重照明（time multiplex lighting）和一系列經(jīng)過重新設(shè)計的有源深度傳感器結(jié)合起來，研發(fā)團(tuán)隊得到了每像素細(xì)節(jié)的表面法線信息和置換貼圖，這樣就獲得了與標(biāo)準(zhǔn)攝影測量系統(tǒng)相媲美的人體掃描。

大家都知道傳統(tǒng)的攝影測量法在重建之后會產(chǎn)生一組不相關(guān)的模型，隨著時間的推移，缺乏一致性和相關(guān)性，幀與幀之間會產(chǎn)生閃爍的問題，而Relightables投射就很好的解決了這個問題。

那么接下來我們再來聊聊這個Light Stage X4的構(gòu)成。它是一個配備了331個定制LED燈、一系列高分辨率相機(jī)和一組定制的高分辨率深度傳感器的龐大裝置。系統(tǒng)使用特殊的色彩梯度照明，可以60fps進(jìn)行有效拍攝，以30fps輸出詳細(xì)、連續(xù)、可重新打光的3D模型。

為了使系統(tǒng)和演員的配合完美一些，燈光系統(tǒng)會在兩個梯度之間以180Hz頻率變化，速度快到你無法察覺，相機(jī)以60Hz的頻率運行，短快門每3幀捕捉一次。這樣兩種模式交替出現(xiàn)，演員就出現(xiàn)穩(wěn)定平均的燈光效果了，而且沒有閃爍的現(xiàn)象。

Light Stage X4具有多個自定義深度傳感器，可以60 Hz捕捉高分辨率 (4112X3008) 的深度圖，它有90臺高分辨率12.4 MP重建攝像機(jī)，有32臺使用主動紅外光照的紅外相機(jī)和58臺RGB相機(jī)組合而成的捕捉系統(tǒng)。

又是紅外又是RGB的，都負(fù)責(zé)干啥呢？這里的紅外傳感器用來提供準(zhǔn)確可靠的3D測量，RGB相機(jī)用來捕捉高質(zhì)量的幾何法線貼圖和紋理，攝像機(jī)使用兩種不同交錯可見的照明條件或球形梯度照明來拍攝原始視頻。一段600幀或10秒鐘的剪輯片段將生成大約650GB數(shù)據(jù)，相當(dāng)于每秒800億像素（！大的有些驚人了）上傳到Google云端，以備需要時采用。

除了密度和模型細(xì)節(jié)都非常出色之外，這個系統(tǒng)還具有創(chuàng)新的算法，即使演員在表演雜耍或是做一些復(fù)雜的手部動作，它也能夠提供合理且穩(wěn)定的幾何形狀。很多普通體積系統(tǒng)雖然可以捕捉到凸起形狀，但遇到表演者手拿球，例如球從一只手換到另一只手的過程中，是很難將球和手分開捕捉的，從手部動作和卷起衣服的位置很容易就能看出破綻。而Relightables投射不僅能解決這些，還能處理頭發(fā)掃描和其他比較難處理的面部問題。

考慮到復(fù)雜的設(shè)置，Light Stage X4的工作過程不依賴于綠幕摳像重建的方式，而是使用基于分割的深度學(xué)習(xí)技術(shù)來檢索精確邊緣，生成模型的多邊形邊界。

2. Relightables投射vs Kinect

Relightables投射捕捉的是全身掃描，雖然比傳統(tǒng)的Light Stage面部掃描多出很多內(nèi)容，但Light Stage X4 并不是第一個、也不是最大一個做出這種嘗試的系統(tǒng)，Light Stage 6比它還大，而且是第一個實現(xiàn)全身掃描的Light Stage，只是沒營養(yǎng)的提一下，但我們今天并不打算聊Light Stage 6。

Relightables投射實現(xiàn)的真實效果和準(zhǔn)確性的方法之一，就是在捕捉過程中進(jìn)行投射的模式。這種方式比以前的解決方案更加密集和詳細(xì)。時下最為流行就是是微軟的Kinect Sensor。對，就是大家玩的那個游戲傳感器。它是根據(jù)光反射回來的時間判斷物體的方位，當(dāng)然檢測光的飛行速度是幾乎不能實現(xiàn)的，所以發(fā)射一道強(qiáng)弱隨時間變化的正弦光束，然后計算其回來的相位差值。

下面這張圖就對比了Kinect和Relightables投射的效果。

從上面的圖可以看出，Relightebles投射比較密集而且復(fù)雜，它基本達(dá)到了Kinect所能提供的激光投射效果，但Relightebles投射亮度提高了10倍，分辨率提高了10倍，圖案也更加獨特了。

3. Light stage X4光譜感應(yīng)和照明

南加大ICT團(tuán)隊還研究了可用于新型光譜渲染器的全光譜捕捉。Solaris具有7種LED顏色，可用于生成受控的光譜照明，除了紅色、綠色和藍(lán)色之外，還有通常與藍(lán)色搭配使用的寶藍(lán)色、淺綠色、琥珀色（黃褐色）和白色。

設(shè)備中有90臺相機(jī)是12.4MP分辨率的相機(jī)（前面已經(jīng)說過了）。RGB和IR相機(jī)使用的都是使用Sony IMX253傳感器的Ximea科學(xué)相機(jī) (XimeaMX124)，該傳感器是4112x3008分辨率的CMOS 芯片，更重要的是它具有全局快門。表面重建流程，58個彩色攝像機(jī)和32臺IR相機(jī)從多視圖（動態(tài)立體）生成90個深度圖，多數(shù)圖算法帶有可產(chǎn)生緊密點云的語義分割功能，這些緊密點云可用來進(jìn)行泊松幾何重建。

4. 為什么采用60Hz進(jìn)行拍攝？

說到這里可能有小伙伴想問，現(xiàn)在數(shù)碼相機(jī)都能以更高幀速率拍攝了，為啥他們還用60Hz？研發(fā)團(tuán)隊為咱們做出了解釋。為了捕捉光度表面法向，需要兩個顏色梯度圖。這兩個三維反轉(zhuǎn)梯度合為正常的均勻白光，組合而成的白光會提供RGB紋理貼圖，兩個成對梯度圖之間的差異提供了表面法線。因此對于每個輸出幀來說，需要有兩個圖像。南加州大學(xué)ICT團(tuán)隊使用更快的高速相機(jī)進(jìn)行了實驗，但是拍攝速度越快，產(chǎn)生的噪點就越多，因為每幀曝光所需要的時間越來越少，與1/60s的快門相比，1/500s的快門使光到達(dá)傳感器的時間要少的多，想要解決問題，要么在景深上妥協(xié)，要么大幅增加落在被捕捉物體上的光照，但后者會引起演員的不適感。當(dāng)然這些只是一部分答案。

速度稍高一些的相機(jī)不是不能用，只是60fps的更實用，不會產(chǎn)生比實際需求量多出10倍的海量數(shù)據(jù)來。另外，他們并沒有使用面部掃描產(chǎn)生更多數(shù)據(jù)，而是采用了最近大火的機(jī)器學(xué)習(xí)。首先使用OLAT（One Light At a Time）數(shù)據(jù)集（之前稱其為4D反射場）在光線來源的每個方向創(chuàng)建一個面部訓(xùn)練數(shù)據(jù)集，將每個面部在兩種標(biāo)準(zhǔn)顏色梯度照明條件下的外觀添加到機(jī)器學(xué)習(xí)中。這是 Light stage使用的最標(biāo)準(zhǔn)的照明模式，先以一種顏色梯度照亮演員，接著是第二種顏色梯度，然后以螺旋狀從上到下旋轉(zhuǎn)燈光。

團(tuán)隊表示他們會用“在每個燈光方向兩個梯度是什么樣子的、角色在整個反射場是什么樣子的”來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，完成訓(xùn)練階段后向其發(fā)送一張新的僅帶有顏色梯度的面部圖像，并詢問這個OLAT是什么樣的，作為神經(jīng)網(wǎng)絡(luò)來說，輸出效果還是相當(dāng)不錯的。這樣團(tuán)隊就可在單獨燈光條件下從HDR進(jìn)行基于圖像的照明，結(jié)果也非常合理。

 虛擬制作 

新的Light stage系統(tǒng)在虛擬制作中有著非常有趣的應(yīng)用，它可以測試演員在任何給定燈光條件下、在任何位置的表演，可像掃描布料那樣來評估衣著服飾，并如實復(fù)制其款式和顏色。

有一個必須要考慮到的因素就是，這些過程都是自動生成的合成，并不包括像邊緣融合、燈光包裹、光暈等任何標(biāo)準(zhǔn)合成技術(shù)，也不包括任何和添加霧或深度提示的功能。

Solaris也可以在沒有人在場的情況下運行，把人偶放到系統(tǒng)中心的座位上，團(tuán)隊遠(yuǎn)程打開系統(tǒng)進(jìn)行測試拍攝，結(jié)束之后將其關(guān)閉就可以了。

 未來方向 

未來肯定會有更多機(jī)會使用到Light Stage X4技術(shù)和機(jī)器學(xué)習(xí)，而在Light Stage X4中對全身進(jìn)行采樣時也可能會用到其他類似的技術(shù)。Google團(tuán)隊也在探索其他工程技術(shù)，當(dāng)然Relightables投射很實用，為輕量級資產(chǎn)生成可在移動硬件上播放的圖像提供了可能。

??

研發(fā)團(tuán)隊成員表示，弄清楚如何重現(xiàn)一個與神經(jīng)相關(guān)的角色版本并在實際制作中使用是一件很有趣的工作，雖然機(jī)器學(xué)習(xí)的速度很慢，但在實際應(yīng)用時還是很快的，這種技術(shù)也會推廣到適用于Google的其他案例上并非不可能，但仍需不斷努力。