Unity：通過計算機視覺開啟智能家居時代

要訓練計算機視覺識別住宅內(nèi)部裝修是一項非常復雜的任務(wù)。若想要訓練數(shù)據(jù)具備一定的多樣性和準確性，那么則必然需要耗費大量的成本、時間，有時甚至還會涉及隱私問題。在本篇文章中我們將就如何通過Unity的合成數(shù)據(jù)生成工具和服務(wù)，訓練出更為強大的計算機視覺應(yīng)用，從而解決開發(fā)障礙與難題進行深入探討。

在開發(fā)高性能計算機視覺（Computer Vision，簡稱CV）模型時，最難點往往是需要獲取足夠多樣、標注準確的數(shù)據(jù)集。而最近興起的合成數(shù)據(jù)可以最小化數(shù)據(jù)獲取、注釋所需的時間與成本，這也使合成數(shù)據(jù)成為了數(shù)據(jù)收集問題的一種較為可行的解決方案。

Unity一直是合成數(shù)據(jù)推廣的引領(lǐng)者。對于各個專業(yè)的合成數(shù)據(jù)技術(shù)Unity也都十分有經(jīng)驗，其中一個重要行業(yè)便是家裝。

合成的家裝數(shù)據(jù)可用于智能家居、防火防盜、生活輔助、醫(yī)療保健、寵物與嬰兒監(jiān)控、室內(nèi)設(shè)計等各種應(yīng)用。

在開發(fā)家居應(yīng)用時，獲取真實的標注數(shù)據(jù)常常會因為隱私問題而受到阻礙。除此之外，數(shù)據(jù)集在材料、顏色、光照和家具等組成要素上要求有一定的多樣性，讓數(shù)據(jù)進一步復雜化。

為了解決這些難題，滿足客戶需求，Unity已在開發(fā)用于生成逼真家居環(huán)境的工具和3D內(nèi)容庫。借助程序化方法，能夠?qū)崿F(xiàn)在數(shù)據(jù)集中擺放家具，在諸如鏡頭位置、家具材料、光照、時間變化、天空和室外環(huán)境等組成上添加隨機元素，除此之外Unity還添加了自定義對象的支持。下圖展示了其中四種元素的隨機化。

其他參數(shù)不變，四種場景組成的隨機化

Home Interiors數(shù)據(jù)集是用工具生成的一個數(shù)據(jù)樣本。這個數(shù)據(jù)集包含以用途與實例劃分的圖像（分別標注為家具、裝飾、墻壁、天花板和地板），家具皆以2D或3D邊框框選。相較于參考數(shù)據(jù)稀少的訓練數(shù)據(jù)，帶有更多標簽類型的數(shù)據(jù)可以大幅拓寬CV的應(yīng)用范圍。

接下來我們來了解幾個家居應(yīng)用案例。Unity在這些案例中幫助客戶克服了獲取真實數(shù)據(jù)集的難題。

Home Interiors數(shù)據(jù)集所包括的四種參考數(shù)據(jù)。左上：2D選框，左下：3D選框，右上：用途劃分，右下：實例劃分

智能化家居

在自動化家居和生活輔助等應(yīng)用上，計算機視覺技術(shù)有著極大的吸引力。在應(yīng)用領(lǐng)域，傳統(tǒng)的傳感器陣列也正在轉(zhuǎn)向以CV驅(qū)動的攝像機，從而更加高效的執(zhí)行任務(wù)。

掃地機器人就是一個很好的例子。掃地機器人自發(fā)明以來已近30年，而傳統(tǒng)型號的主要缺點之一是無法分辨垃圾和其他物體，并且很難穿梭于障礙物過多的空間里。如今我們可以借助Unity的力量針對這些缺點為其制定相應(yīng)的解決方案。例如，Unity的物理引擎可以逼真地模擬出帶有隨機褶皺和折痕的織物，以此用于訓練掃地機器人識別并避開衣物。

智能掃地機器人的視角模擬。左圖：2D選框，右圖：用途劃分

利用合成數(shù)據(jù)改善CV模型的另一個用例是智能攝像機。智能攝像機的作用是檢測房間里是否有人，以便控制和調(diào)整照明、氣溫等房間環(huán)境情況。Unity的工具同樣發(fā)揮了重要作用。其中的一個例子便是訓練相機模型識別寵物。要想識別寵物，就需要在居家環(huán)境下獲取大量不同姿勢、動作、毛色等的寵物圖像。作為一個游戲引擎，Unity完全可以借助包括骨骼動畫、動態(tài)模糊等效果生成高度逼真的圖像。

并且，Unity還可以合成不同位置與視角、透視投影、長寬比、鏡頭扭曲和其他圖像屬性（對比度、飽和度等）等符合真實攝像機特征的數(shù)據(jù)。例如在一個合成環(huán)境里，引擎可以輕松模擬夜視攝像機及普通RGB攝像機。此外，Unity所具有的使合成數(shù)據(jù)快速迭代的這一特點也能讓兩種攝像機間的切換非常輕松。??

模擬一臺帶有魚眼鏡頭的夜視攝像機。左圖：2D選框，右圖：用途劃分

安全與防盜

CV另一個占據(jù)主導地位的領(lǐng)域在于以醫(yī)療保健和生活輔助技術(shù)改善家庭安全與生活質(zhì)量。

比如，為了需要幫助視力障礙者安全地在屋內(nèi)行走，CV模型需要全面地了解房屋的布局及物品擺放。模型需要通過檢測家具、墻壁、樓梯和門等元素來識別出安全路線，并且需要測量出墻壁及其他障礙物的距離，在用戶靠得太近時發(fā)出警告。為了解決這個問題，在數(shù)據(jù)集中我們采用了多種單層和多層住宅布局，隨機化了家具的類型和擺放、門窗的開放程度。除了數(shù)據(jù)集的多樣性之外，這種復雜程度需要多種類型的基礎(chǔ)行為來訓練，包括分割、邊界框和深度圖等，這使得編制高度多樣化和準確標記的真實數(shù)據(jù)集更加困難。

同樣的家居場景也可用于訓練CV模型以用來檢測人類，我們可在模擬中加入3D人體模型，并隨機化其姿勢、身高、身材、頭發(fā)、皮膚等。這些CV模型可用于監(jiān)測人的體態(tài)，并檢測異常的步態(tài)和靈巧度等。如果住戶在特殊位置或臥榻以外的地方跌倒或長時間不動，則系統(tǒng)也可以向應(yīng)急服務(wù)機構(gòu)發(fā)出警報。同樣地，CV模型還能學習人在服藥時的肢體和手臂動作，在用戶忘記服藥時發(fā)出提醒。

居家環(huán)境內(nèi)的3D人體模型。左圖：2D選框，右圖：監(jiān)測對象

室內(nèi)設(shè)計

機器學習賦予了計算機一定的藝術(shù)創(chuàng)作能力，計算機室內(nèi)設(shè)計便是其中的一個例子。一些在線家具經(jīng)銷商已經(jīng)在利用智能手機攝像頭于消費者家中展示其產(chǎn)品。經(jīng)過訓練的CV模型可以識別和測量室內(nèi)表面（包括地板、桌子、墻壁）的范圍和面積，以在空間內(nèi)準確地展示產(chǎn)品模型。

此外借助CV強化AR的例子還有很多。比如，Unity曾使用用戶上傳的圖片來訓練CV模型檢測室內(nèi)的裝修材料和設(shè)計風格。此類模型可用于在線推薦系統(tǒng)，幫助用戶快速找到契合自家裝修的產(chǎn)品。Unity模擬真實物理的渲染引擎可以渲染出多種逼真的裝修材料（如各種木材和膠合板）。并且，前邊提到的隨機化工具還能在每張生成的圖像中輕松修改材料的各種參數(shù)。

CV模型還可以檢測室內(nèi)家具的總體形狀和尺寸，據(jù)此來推薦家具，或更準確地展示類似尺寸的家具。類似地，我們也能制作一個配色工具，為家具配置各種顏色，如果消費者決定要為裝修風格重新定調(diào)，可借助工具來挑選想要的顏色。

更多應(yīng)用

我們在本文中討論的CV應(yīng)用只是滄海一粟，合成數(shù)據(jù)完全可以在更廣的領(lǐng)域內(nèi)進一步釋放CV模型的潛力。除了文中的例子外，其它一些例子還包括老建筑翻新（繪制精確的內(nèi)部結(jié)構(gòu)圖）、位置識別及合成環(huán)境的程序化生成。合成數(shù)據(jù)集具有極大的定制自由，其應(yīng)用范圍只有你想不到。本文的主題是家居裝修，但程序化的合成數(shù)據(jù)工具完全可以生成大量帶有隨機化要素的環(huán)境。