通過UE4 的 INTEL REALSENSE 插件以新的方式觀察世界
Intel 一(yi)直都對引入創新(xin)的(de)工具和(he)科(ke)技感興趣,這些(xie)工具能夠為(wei)世界上(shang)熱情(qing)的(de)內(nei)容開發(fa)者增加能量。如果(guo)你(ni)還不甚了解,Intel RealSense camera 在普通的(de) RGB 照片(pian)和(he)視(shi)頻(pin)技術上(shang),采用(yong)紅外光線來計算深度。為(wei)了幫助開發(fa)這個(ge)技術的(de)應用(yong)程序,Intel 創建了 RealSense SDK,一(yi)個(ge)用(yong)來做可視(shi)化算法的(de)庫,包括面部識(shi)別,圖片(pian)碎片(pian)化,以及 3D 掃描。
由于看(kan)到(dao)了這個技術(shu)在(zai)游(you)戲中(zhong)(zhong)的潛(qian)在(zai)應用(yong)(yong),我們(men)現在(zai)來(lai)(lai)為大家介紹 RealSense 插件,這是 Intel 的游(you)戲工(gong)程師(shi)們(men)合作(zuo)的產物,將 RealSense SDK 中(zhong)(zhong)的各種特性提供出來(lai)(lai)以便(bian)在(zai)虛幻 4 的藍圖可視化(hua)腳本系統中(zhong)(zhong)使用(yong)(yong)。
插件概述
這個插(cha)件(jian)是一(yi)組 Actor 組件(jian)的(de)形式存在,每個組件(jian)封(feng)裝了(le) RealSense SDK 中的(de)一(yi)些特定的(de)功(gong)能。通過(guo)使用這些相對(dui)輕量(liang)的(de)組件(jian),可以為游(you)戲中幾乎每種 Actor 添加 3D 的(de)感應(ying)能力,并且訪問這些數(shu)據也很簡單,只(zhi)需要(yao)對(dui)同一(yi)個組件(jian)在初(chu)始化一(yi)個實例即可。
插件組建
目前,插(cha)件(jian)有三個 RealSense 組件(jian):
- Camera Streams 組件: 提供 RealSense 攝像頭的原始顏色和深度的視頻流。
- 3D 掃描組件: 支持真實世界的物體掃描,以及人臉掃描(如上圖)。
- 頭部跟蹤組件(預覽): 支持對用戶頭部的位置和角度的檢測和跟蹤。
接(jie)著(zhu)很快就會(hui)更新,可以期待該(gai)插件即將到來的更多組建:
- 頭部跟蹤組件(完整版): 用于檢測和跟蹤高達 76 面部標志點,脈搏速率,和面部表情附加功能。
- 背景碎片組件: 將圖片的前景和背景分離開,為實時視頻創建“綠幕”的效果(如上圖)。
- 場景掃描組件: 對大場景(約 2m x 2m 的區域)生成 3D 模型來協助創建用戶生成的內容并加強現實世界的體驗(如下圖)。
- 手部跟蹤組件: 檢測并跟蹤 22 個手部標志點,識別 14 種手勢,或者跟蹤一個點來作為鼠標類型的交互響應。
- 語音識別組建: 將輸入語音轉換為文本來翻譯,或者用于檢測關鍵字來作為語音控制功能輸入。
- 上一篇:Unity3d網絡通信 - NetWork組件使用 2019/5/28
- 下一篇:HOLOLENS的SOCKET網絡通訊1 2019/5/23
