構(gòu)建計(jì)算機(jī)視覺系統(tǒng)的綜合數(shù)據(jù)是從真實(shí)數(shù)據(jù)的轉(zhuǎn)變而來。雖然真實(shí)世界的數(shù)據(jù)需要漫長(zhǎng)的收集和注釋過程，但機(jī)器學(xué)習(xí)（ML）工程師可以在幾分鐘內(nèi)構(gòu)建一個(gè)合成數(shù)據(jù)集，從而實(shí)現(xiàn)快速的、以數(shù)據(jù)為中心的開發(fā)周期。此過程速度很快，因此用戶可以一次嘗試許多數(shù)據(jù)集變體，以找到經(jīng)過最佳改進(jìn)的模型。

目前關(guān)于數(shù)據(jù)的來源仍然是一項(xiàng)挑戰(zhàn)。用戶需要的往往不是成千上萬張的圖像與注釋，而是數(shù)十或數(shù)百個(gè)三維模型，如網(wǎng)格、紋理和動(dòng)畫等。雖然合成數(shù)據(jù)降低了對(duì)內(nèi)容的要求，但根據(jù)這些資產(chǎn)的3D特性也需要在創(chuàng)建它們時(shí)擁有十足的創(chuàng)造性。

幸運(yùn)的是，四十多年來，電影和電子游戲行業(yè)都面臨著同樣的內(nèi)容挑戰(zhàn)。在那段時(shí)間里，他們開發(fā)了新的內(nèi)容創(chuàng)建技術(shù)以及龐大的內(nèi)容存儲(chǔ)庫，其中大部分已經(jīng)非常適合進(jìn)行合成數(shù)據(jù)生成。

本文將介紹獲取3D內(nèi)容的最佳方式以及各種方式的優(yōu)缺點(diǎn)，他們適合不同類型的計(jì)算機(jī)視覺應(yīng)用。

在線3D資產(chǎn)

獲取3D內(nèi)容最快、最便宜的方法是利用在線的方式下載現(xiàn)有的作品資產(chǎn)。Unity資產(chǎn)商店提供由3D藝術(shù)家創(chuàng)作的免費(fèi)和付費(fèi)內(nèi)容，這些內(nèi)容能夠應(yīng)用于游戲、電影和其他3D應(yīng)用程序。

Unity資產(chǎn)商店“椅子”的搜索結(jié)果

這些在線資產(chǎn)通常以“包”的形式出現(xiàn)，包括各種3D模型、紋理變化、材質(zhì)和動(dòng)畫等。這些資產(chǎn)可以在數(shù)據(jù)集生成期間隨機(jī)化，并能夠在每個(gè)對(duì)象上創(chuàng)建幾乎無限的變化。通過下載不同風(fēng)格的資產(chǎn)進(jìn)一步增加了數(shù)據(jù)的廣度，能夠有效減少模型中的偏差和過度擬合。

當(dāng)任務(wù)需要檢測(cè)諸如“椅子”或“貓”之類的廣泛類別的對(duì)象時(shí)，在線資產(chǎn)源就變成了一個(gè)很好的數(shù)據(jù)來源，這些對(duì)象需要各種各樣的內(nèi)容來支持。為了實(shí)現(xiàn)模型概括所需的多樣性，用戶需要在每個(gè)相關(guān)軸上尋找變化，包括形狀、材質(zhì)、顏色和姿勢(shì)等。

即使像卡通或紋理和顏色，這樣非真實(shí)感的資源也可以在模型中得到更好的概括。在最近的一個(gè)項(xiàng)目中，將Unity Asset Store中的一小部分高度逼真的資產(chǎn)轉(zhuǎn)換成為廣泛的3D模型和紋理，這大大提高了模型的性能。

掃描

用于檢測(cè)特定物體或制成品的合成數(shù)據(jù)集需要真實(shí)世界物體的精確3D模型，這些模型在網(wǎng)上很難找到。通過3D掃描，用戶可以自己獨(dú)立創(chuàng)建這些資產(chǎn)。

SynthDet的資產(chǎn)是使用平板掃描儀和3D建模創(chuàng)建的。

這一系列資產(chǎn)是用3D掃描技術(shù)生成的，每種技術(shù)都適用于不同類型的對(duì)象、質(zhì)量水平和預(yù)算。下面讓我們來看看這些案例吧：

攝影測(cè)量：攝影測(cè)量工具，如Agisoft變形和Unity的增強(qiáng)現(xiàn)實(shí)伴侶應(yīng)用通過從一組從不同角度拍攝的照片合成一個(gè)3D對(duì)象。

優(yōu)點(diǎn)：適合對(duì)任何尺寸或形狀的物體捕捉紋理和細(xì)節(jié)

缺點(diǎn)：對(duì)光照條件和物體顏色敏感

平板掃描儀和三維建模：平板掃描儀可用于掃描盒狀對(duì)象的不同側(cè)面，然后組合成紋理，并使用標(biāo)準(zhǔn)3D創(chuàng)作工具映射到手動(dòng)創(chuàng)作的3D網(wǎng)格上。

優(yōu)點(diǎn)：便宜、高精度的紋理

缺點(diǎn)：僅適用于可展平的對(duì)象；需要一些手工創(chuàng)作

工業(yè)3D掃描儀：使用激光或結(jié)構(gòu)光進(jìn)行三維掃描。這種方法非常適合檢測(cè)機(jī)械零件和復(fù)雜的電子設(shè)備。

優(yōu)點(diǎn)：能夠?qū)Υ蠖鄶?shù)高幾何度物體進(jìn)行精確的掃描；快速

缺點(diǎn)：昂貴；對(duì)象大小有限

程序性內(nèi)容

掃描對(duì)象和在線3D資產(chǎn)通常是真實(shí)對(duì)象的快照，另一種不斷增長(zhǎng)的內(nèi)容形式被稱為程序資產(chǎn)，它使用基于規(guī)則的算法來產(chǎn)生無限的變化。每個(gè)程序資產(chǎn)都提供了參數(shù)，這些參數(shù)能夠定制它們的外觀和形狀。這對(duì)于合成數(shù)據(jù)來說是完美的功能，其中每個(gè)參數(shù)都可以被隨機(jī)化以實(shí)現(xiàn)極大的多樣性。用戶可以反復(fù)調(diào)整隨機(jī)化，以提高模型性能。

真實(shí)資產(chǎn)多種多樣，過程資產(chǎn)通常會(huì)隨著真實(shí)資產(chǎn)變化而改變。道路、人臉、布料和混凝土等材料都是很好的例子。磨損、年齡、形狀和顏色等相關(guān)因素可以內(nèi)置為隨機(jī)化算法的參數(shù)。Unity著色器圖形、Adobe Substance 3D和Houdini是構(gòu)建程序資產(chǎn)的靈活工具，Unity資產(chǎn)商店為特定類型的內(nèi)容提供了幾種程序工具。

EasyRoads3D可以在Unity中構(gòu)建程序性道路。

程序技術(shù)也為合成數(shù)據(jù)的環(huán)境生成提供了動(dòng)力。環(huán)境生成器的范圍從非結(jié)構(gòu)化和高度隨機(jī)到復(fù)雜的分層系統(tǒng)，用于生成逼真的場(chǎng)景。Unity的API能夠幫助用戶編寫程序場(chǎng)景生成器；Houdini 則常用于需要更多結(jié)構(gòu)的場(chǎng)景。

開始使用合成數(shù)據(jù)

游戲和電影行業(yè)提供了豐富的動(dòng)態(tài)3D內(nèi)容，讓用戶可以快速使用擁有合成數(shù)據(jù)的項(xiàng)目，并開始快速迭代數(shù)據(jù)。通過使用 Unity Perception package，用戶可以導(dǎo)入這些資產(chǎn)，將它們進(jìn)行隨機(jī)化，并非常快速地生成高度多樣化的數(shù)據(jù)集。