詳解超逼真動(dòng)作背后的技術(shù)——?jiǎng)幼鞑蹲?/h1>

2021-06-07

電影《魔戒》里的咕嚕姆、《泰迪熊》里的毛絨熊、《阿凡達(dá)》里的部落公主……電影里那些經(jīng)典虛擬形象生動(dòng)的表演總能深深打動(dòng)觀眾，而它們被賦予生命的背后都源于一項(xiàng)重要的科技技術(shù)——?jiǎng)幼鞑蹲健?/p>

動(dòng)作捕捉（Motion capture），簡(jiǎn)稱動(dòng)捕（Mocap），是指記錄并處理人或其他物體動(dòng)作的技術(shù)。多個(gè)攝影機(jī)捕捉真實(shí)演員的動(dòng)作后，將這些動(dòng)作還原并渲染至相應(yīng)的虛擬形象身上。這個(gè)過程的技術(shù)運(yùn)用即動(dòng)作捕捉，英文表述為Motion Capture。

動(dòng)作捕捉技術(shù)涉及尺寸測(cè)量、物理空間里物體的定位及方位測(cè)定等方面可以由計(jì)算機(jī)直接理解處理的數(shù)據(jù)。在運(yùn)動(dòng)物體的關(guān)鍵部位設(shè)置跟蹤器，由Motion capture系統(tǒng)捕捉跟蹤器位置，再經(jīng)過計(jì)算機(jī)處理后得到三維空間坐標(biāo)的數(shù)據(jù)。當(dāng)數(shù)據(jù)被計(jì)算機(jī)識(shí)別后，可以應(yīng)用在動(dòng)畫制作，步態(tài)分析，生物力學(xué)，人機(jī)工程等領(lǐng)域。

動(dòng)作捕捉技術(shù)的背景

動(dòng)作捕捉的起源普遍被認(rèn)為是費(fèi)舍爾（Fleischer）在1915年發(fā)明的影像描摹（rotoscope）。這是一個(gè)在動(dòng)畫片制作中產(chǎn)生出的一種技術(shù)。藝術(shù)家通過精細(xì)的描繪播放給他們的真人錄影片段當(dāng)中的每一幀靜態(tài)畫面來模擬出動(dòng)畫人物在虛擬世界中的具備真實(shí)感的表演。

這個(gè)過程本身是枯燥乏味的。但是對(duì)于這些動(dòng)畫師來說，幸運(yùn)且具有紀(jì)念意義的是，1983年麻省理工學(xué)院（MIT）研發(fā)出了一套圖形牽線木偶。

這套系統(tǒng)使用了早期的光學(xué)動(dòng)作捕捉系統(tǒng)，叫做“Op-Eye”，它依賴于一系列的發(fā)光二極管，通過制定動(dòng) 作，來生成動(dòng)畫腳本（Sturman,1999）。本質(zhì)上，這個(gè)牽線木偶充當(dāng)了套“動(dòng)作捕捉服裝”。它自帶非常有限數(shù)量的感應(yīng)球,這些球能粗略的定位人體結(jié)構(gòu)的關(guān)鍵骨骼點(diǎn)的位置。

這套技術(shù)的產(chǎn)生，迅速的奠定了動(dòng)作捕捉在之后迅速發(fā)展的基礎(chǔ)，為后續(xù)各種動(dòng)作捕捉提供了追尋的方向，也了之后動(dòng)作捕捉技術(shù)的風(fēng)潮，包括今天的動(dòng)作捕捉技術(shù)在內(nèi)。

動(dòng)作捕捉技術(shù)基本原理

動(dòng)作捕捉系統(tǒng)是指用來實(shí)現(xiàn)動(dòng)作捕捉的專業(yè)技術(shù)設(shè)備。不同的動(dòng)作捕捉系統(tǒng)依照的原理不同，系統(tǒng)組成也不盡相同。

總體來講，動(dòng)作捕捉系統(tǒng)通常由硬件和軟件兩大部分構(gòu)成。硬件一般包含信號(hào)發(fā)射與接收傳感器、信號(hào)傳輸設(shè)備以及數(shù)據(jù)處理設(shè)備等；軟件一般包含系統(tǒng)設(shè)置、空間定位定標(biāo)、運(yùn)動(dòng)捕捉以及數(shù)據(jù)處理等功能模塊。

信號(hào)發(fā)射傳感器通常位于運(yùn)動(dòng)物體的關(guān)鍵部位，例如人體的關(guān)節(jié)處，持續(xù)發(fā)出的信號(hào)由定位傳感器接收后，通過傳輸設(shè)備進(jìn)入數(shù)據(jù)處理工作站，在軟件中進(jìn)行運(yùn)動(dòng)解算得到連貫的三維運(yùn)動(dòng)數(shù)據(jù)，包括運(yùn)動(dòng)目標(biāo)的三維空間坐標(biāo)、人體關(guān)節(jié)的6自由度運(yùn)動(dòng)參數(shù)等，并生成三維骨骼動(dòng)作數(shù)據(jù)，可用于驅(qū)動(dòng)骨骼動(dòng)畫，這就是動(dòng)作捕捉系統(tǒng)普遍的工作流程。

運(yùn)動(dòng)捕捉技術(shù)組成

傳感器

所謂傳感器是固定在運(yùn)動(dòng)物體特定部位的跟蹤裝置，它將向 motion capture 系統(tǒng)提供運(yùn)動(dòng)物體運(yùn)動(dòng)的位置信息，一般會(huì)隨著捕捉的細(xì)致程度確定跟蹤器的數(shù)目。

信號(hào)捕捉設(shè)備

這種設(shè)備會(huì)因 motion capture 系統(tǒng)的類型不同而有所區(qū)別，它們負(fù)責(zé)位置信號(hào)的捕捉。對(duì)于機(jī)械系統(tǒng)來說是一塊捕捉電信號(hào)的線路板，對(duì)于光學(xué) motion capture 系統(tǒng)則是高分辨率紅外攝像機(jī)。

數(shù)據(jù)傳輸設(shè)備

motion capture 系統(tǒng)，特別是需要實(shí)時(shí)效果的 motion capture 系統(tǒng)需要將大量的運(yùn)動(dòng)數(shù)據(jù)從信號(hào)捕捉設(shè)備快速準(zhǔn)確地傳輸?shù)接?jì)算機(jī)系統(tǒng)進(jìn)行處理，而數(shù)據(jù)傳輸設(shè)備就是用來完成此項(xiàng)工作的。

數(shù)據(jù)處理設(shè)備

經(jīng)過 motion capture 系統(tǒng)捕捉到的數(shù)據(jù)需要修正、處理后還要有三維模型向結(jié)合才能完成計(jì)算機(jī)動(dòng)畫制作的工作，這就需要我們應(yīng)用數(shù)據(jù)處理軟件或硬件來完成此項(xiàng)工作。軟件也好硬件也罷它們都是借助計(jì)算機(jī)對(duì)數(shù)據(jù)高速的運(yùn)算能力來完成數(shù)據(jù)的處理，使三維模型真正、自然地運(yùn)動(dòng)起來。劇中湯姆漢克斯穿著一套布滿150個(gè)感應(yīng)器的黑色緊身衣，這樣電腦就能把他的眼瞼、嘴唇、眉毛、乃至每個(gè)身體的表情和動(dòng)作捕捉到。

動(dòng)作捕捉技術(shù)的種類

動(dòng)作捕捉系統(tǒng)種類較多，一般地按照技術(shù)原理可分為：機(jī)械式、聲學(xué)式、電磁式、慣性傳感器式、光學(xué)式等五大類，其中光學(xué)式根據(jù)目標(biāo)特征類型不同又可分為標(biāo)記點(diǎn)式光學(xué)和無標(biāo)記點(diǎn)式光學(xué)兩類。近期市場(chǎng)上出現(xiàn)所謂的熱能式動(dòng)作捕捉系統(tǒng)，本質(zhì)上屬于無標(biāo)記點(diǎn)式光學(xué)動(dòng)作捕捉范疇，只是光學(xué)成像傳感器主要工作在近紅外或紅外波段。

機(jī)械式

機(jī)械式動(dòng)作捕捉系統(tǒng)依靠機(jī)械裝置來跟蹤和測(cè)量運(yùn)動(dòng)軌跡。典型的系統(tǒng)由多個(gè)關(guān)節(jié)和剛性連桿組成，在可轉(zhuǎn)動(dòng)的關(guān)節(jié)中裝有角度傳感器，可以測(cè)得關(guān)節(jié)轉(zhuǎn)動(dòng)角度的變化情況。裝置運(yùn)動(dòng)時(shí)，根據(jù)角度傳感器所測(cè)得的角度變化和連桿的長(zhǎng)度，可以得出桿件末端點(diǎn)在空間中的位置和運(yùn)動(dòng)軌跡。

這里產(chǎn)品的普遍優(yōu)點(diǎn)是成本低，精度高，采樣頻率高，但較大的缺點(diǎn)是動(dòng)作表演不方便，連桿式結(jié)構(gòu)和傳感器線纜對(duì)表演者動(dòng)作約束和限制很大，特別是連貫的運(yùn)動(dòng)受到阻礙，難以實(shí)現(xiàn)真實(shí)的動(dòng)態(tài)還原。

聲學(xué)式

聲學(xué)式動(dòng)作捕捉系統(tǒng)一般由發(fā)送裝置、接收系統(tǒng)和處理系統(tǒng)組成。發(fā)送裝置一般是指超聲波發(fā)生器，接收系統(tǒng)一般由三個(gè)以上的超聲探頭陣列組成。通過測(cè)量聲波從一個(gè)發(fā)送裝置到傳感器的時(shí)間或者相位差，確定到接受傳感器的距離，由三個(gè)呈三角排列的接收傳感器得到的距離信息解算出超聲發(fā)生器到接收器的位置和方向。其較大優(yōu)點(diǎn)是成本低，但缺點(diǎn)是精度較差，實(shí)時(shí)性不高，受噪聲和多次反射等因素影響較大。

 電磁式

電磁式動(dòng)作捕捉系統(tǒng)一般由發(fā)射源、接收傳感器和數(shù)據(jù)處理單元組成。發(fā)射源在空間產(chǎn)生按一定時(shí)空規(guī)律分布的電磁場(chǎng)；接收傳感器安置在表演者身體的關(guān)鍵位置，隨著表演者的動(dòng)作在電磁場(chǎng)中運(yùn)動(dòng),接收傳感器將接收到的信號(hào)通過電纜或無線方式傳送給處理單元，根據(jù)這些信號(hào)可以解算出每個(gè)傳感器的空間位置和方向。

這類產(chǎn)品特點(diǎn)是使用簡(jiǎn)單、魯棒性和實(shí)時(shí)性好，缺點(diǎn)是對(duì)金屬物體敏感，金屬物引起的電磁場(chǎng)畸變對(duì)精度影響大，采樣率較低，不利于快速動(dòng)作的捕捉，線纜式的傳感器連接同樣對(duì)動(dòng)作表演形成束縛和障礙，不利于復(fù)雜動(dòng)作的表演。

慣性式

慣性傳感器式動(dòng)作捕捉系統(tǒng)由姿態(tài)傳感器、信號(hào)接收器和數(shù)據(jù)處理系統(tǒng)組成。姿態(tài)傳感器固定于人體各主要肢體部位，通過藍(lán)牙等無線傳輸方式將姿態(tài)信號(hào)傳送至數(shù)據(jù)處理系統(tǒng)，進(jìn)行運(yùn)動(dòng)解算。其中姿態(tài)傳感器集成了慣性傳感器、重力傳感器、磁感應(yīng)計(jì)等元素，得到各部分肢體的姿態(tài)信息，再結(jié)合骨骼的長(zhǎng)度信息和骨骼層級(jí)連接關(guān)系，計(jì)算出關(guān)節(jié)點(diǎn)的空間位置信息。

這類產(chǎn)品主要的優(yōu)點(diǎn)是便攜性強(qiáng)，操作簡(jiǎn)單，表演空間幾乎不受限制，便于進(jìn)行戶外使用，但由于技術(shù)原理的局限，缺點(diǎn)也比較明顯，一方面?zhèn)鞲衅鞅旧聿荒苓M(jìn)行空間絕對(duì)定位，通過各部分肢體姿態(tài)信息進(jìn)行積分運(yùn)算得到的空間位置信息造成不同程度的積分漂移，空間定位不準(zhǔn)確；另一方面原理本身基于單腳支撐和地面約束假設(shè)，系統(tǒng)無法進(jìn)行雙腳離地的運(yùn)動(dòng)定位解算；此外，傳感器的自身重量以及線纜連接也會(huì)對(duì)動(dòng)作表演形成一定的約束，并且設(shè)備成本隨捕捉對(duì)象數(shù)量的增加成倍增長(zhǎng)，有些傳感器還會(huì)受周圍環(huán)境鐵磁體影響精度。

光學(xué)式

光學(xué)式動(dòng)作捕捉系統(tǒng)基于計(jì)算機(jī)視覺原理，由多個(gè)高速相機(jī)從不同角度對(duì)目標(biāo)特征點(diǎn)的監(jiān)視和跟蹤來完成運(yùn)動(dòng)捕捉的任務(wù)。理論上對(duì)于空間中的任意一個(gè)點(diǎn)，只要它能同時(shí)為兩部相機(jī)所見，就可以確定這一時(shí)刻該點(diǎn)在空間中的位置。當(dāng)相機(jī)以足夠高的速率連續(xù)拍攝時(shí)，從圖像序列中就可以得到該點(diǎn)的運(yùn)動(dòng)軌跡。

這類系統(tǒng)采集傳感器通常都是光學(xué)相機(jī)，不同的是目標(biāo)傳感器類型不一，一種是在物體上不額外添加標(biāo)記，基于二維圖像特征或三維形狀特征提取的關(guān)節(jié)信息作為探測(cè)目標(biāo)，這類系統(tǒng)可統(tǒng)稱為無標(biāo)記點(diǎn)式光學(xué)動(dòng)作捕捉系統(tǒng)，另一種是在物體上粘貼標(biāo)記點(diǎn)作為目標(biāo)傳感器，這類系統(tǒng)稱為標(biāo)記點(diǎn)式光學(xué)動(dòng)作捕捉。

1、無標(biāo)記式光學(xué)

無標(biāo)記點(diǎn)式光學(xué)動(dòng)作捕捉原理大致有三種：第一種是基于普通視頻圖像的運(yùn)動(dòng)捕捉，通過二維圖像人形檢測(cè)提取關(guān)節(jié)點(diǎn)在二維圖像中的坐標(biāo)，再根據(jù)多相機(jī)視覺三維測(cè)量計(jì)算關(guān)節(jié)的三維空間坐標(biāo)。由于普通圖像信息冗雜，這種計(jì)算通常魯棒性較差，速度很慢，實(shí)時(shí)性不好，且關(guān)節(jié)缺乏定量信息參照，計(jì)算誤差較大，這類技術(shù)目前多處于實(shí)驗(yàn)室研究階段。

第二種是基于主動(dòng)熱源照射分離前后景信息的紅外相機(jī)圖像的運(yùn)動(dòng)捕捉，即所謂的熱能式動(dòng)作捕捉，原理與種類似，只是經(jīng)過熱光源照射后，圖像前景和背景分離使得人形檢測(cè)速度大幅提升，提升了三維重建的魯棒性和計(jì)算速率，但熱源從固定方向照射，導(dǎo)致動(dòng)作捕捉時(shí)人體運(yùn)動(dòng)方向受限，難以進(jìn)行360度多方位的動(dòng)作捕捉，例如轉(zhuǎn)身、俯仰等動(dòng)作并不適用，且同樣無法突破因缺乏明確的關(guān)節(jié)參照信息導(dǎo)致計(jì)算誤差大的技術(shù)壁壘。

第三種是三維深度信息的運(yùn)動(dòng)捕捉，系統(tǒng)基于結(jié)構(gòu)光編碼投射實(shí)時(shí)獲取視場(chǎng)內(nèi)物體的三維深度信息，根據(jù)三維形貌進(jìn)行人形檢測(cè)，提取關(guān)節(jié)運(yùn)動(dòng)軌跡，這類技術(shù)的代表產(chǎn)品是微軟公司的kinect傳感器，其動(dòng)作識(shí)別魯棒性較好，采樣速率高，價(jià)格非常低廉，有不少愛好者嘗試使用kinect進(jìn)行動(dòng)作捕捉，效果并不盡如人意，這是因?yàn)閗inect的應(yīng)用定位是一款動(dòng)作識(shí)別傳感器，而不是準(zhǔn)確捕捉，同樣存在關(guān)節(jié)位置計(jì)算誤差大，層級(jí)骨骼運(yùn)動(dòng)累積變形等問題。

總體來講，無標(biāo)記點(diǎn)式動(dòng)作捕捉普遍存在的問題是動(dòng)作捕捉精度低，并且由于原理固有的局限導(dǎo)致運(yùn)動(dòng)自由度解算缺失（如骨骼的自旋信息等）造成動(dòng)作變形等問題。

2、標(biāo)記式光學(xué)
標(biāo)記點(diǎn)式光學(xué)動(dòng)作捕捉系統(tǒng)一般由光學(xué)標(biāo)識(shí)點(diǎn)（Markers）、動(dòng)作捕捉相機(jī)、信號(hào)傳輸設(shè)備以及數(shù)據(jù)處理工作站組成，人們常稱的光學(xué)式動(dòng)作捕捉系統(tǒng)通常是指這類標(biāo)記點(diǎn)式動(dòng)作捕捉系統(tǒng)。在運(yùn)動(dòng)物體關(guān)鍵部位（如人體的關(guān)節(jié)處等）粘貼Marker點(diǎn)，多個(gè)動(dòng)作捕捉相機(jī)從不同角度實(shí)時(shí)探測(cè)Marker點(diǎn)，數(shù)據(jù)實(shí)時(shí)傳輸至數(shù)據(jù)處理工作站，根據(jù)三角測(cè)量原理準(zhǔn)確計(jì)算Marker點(diǎn)的空間坐標(biāo)，再從生物運(yùn)動(dòng)學(xué)原理出發(fā)解算出骨骼的6自由度運(yùn)動(dòng)。

這里根據(jù)標(biāo)記點(diǎn)發(fā)光技術(shù)不同還分為主動(dòng)式和被動(dòng)式光學(xué)動(dòng)作捕捉系統(tǒng)：

（1）主動(dòng)式光學(xué)

主動(dòng)式光學(xué)動(dòng)作捕捉系統(tǒng)的Marker點(diǎn)由LED組成，LED粘貼于人體各個(gè)主要關(guān)節(jié)部位，LED之間通過線纜連接，由綁在人體表面的電源裝置供電。

其主要優(yōu)點(diǎn)是采用高亮LED作為光學(xué)標(biāo)識(shí)，可在一定程度上進(jìn)行室外動(dòng)作捕捉，LED受脈沖信號(hào)控制明暗，以此對(duì)LED進(jìn)行時(shí)域編碼識(shí)別，識(shí)別魯棒性好，有較高的跟蹤準(zhǔn)確率；

（2）被動(dòng)光學(xué)式

被動(dòng)式光學(xué)動(dòng)作捕捉系統(tǒng)，也稱反射式光學(xué)動(dòng)作捕捉系統(tǒng)，其Marker點(diǎn)通常是一種高亮回歸式反光球，粘貼于人體各主要關(guān)節(jié)部位，由動(dòng)作捕捉鏡頭上發(fā)出的LED照射光經(jīng)反光球反射至動(dòng)捕相機(jī)，進(jìn)行Marker的檢測(cè)和空間定位。

該類動(dòng)作捕捉以O(shè)ptitrack動(dòng)作捕捉系統(tǒng)為代表，技術(shù)成熟，精度高、采樣率高、動(dòng)作捕捉準(zhǔn)確，表演和使用靈活快捷，Marker點(diǎn)可以很低成本地隨意增加和布置，適用范圍很廣。且因其使用不可見反射光進(jìn)行識(shí)別，即便是在戶外環(huán)境下也可以很好的使用，適用場(chǎng)景并不局限在室內(nèi)穩(wěn)定光照環(huán)境。

動(dòng)作捕捉技術(shù)主要應(yīng)用領(lǐng)域

動(dòng)畫制作

將運(yùn)動(dòng)捕捉技術(shù)用于動(dòng)畫制作，可較大地提高動(dòng)畫制作的水平。它較大地提高了動(dòng)畫制作的效率，降低了成本，而且使動(dòng)畫制作過程更為直觀，效果更為生動(dòng)。

虛擬現(xiàn)實(shí)系統(tǒng)

為實(shí)現(xiàn)人與虛擬環(huán)境及系統(tǒng)的交互，需要確定參與者的頭部、手、身體等的位置與方向，準(zhǔn)確地跟蹤測(cè)量參與者的動(dòng)作，將這些動(dòng)作實(shí)時(shí)檢測(cè)出來，以便將這些數(shù)據(jù)反饋給顯示和控制系統(tǒng)。這些工作對(duì)虛擬現(xiàn)實(shí)系統(tǒng)是必不可少的，這也正是運(yùn)動(dòng)捕捉技術(shù)的研究?jī)?nèi)容。

機(jī)器人遙控

機(jī)器人將危險(xiǎn)環(huán)境的信息傳送給控制者，控制者根據(jù)信息做出各種動(dòng)作，運(yùn)動(dòng)捕捉系統(tǒng)將動(dòng)作捕捉下來，實(shí)時(shí)傳送給機(jī)器人并控制其完成同樣的動(dòng)作。與傳統(tǒng)的遙控方式相比，這種系統(tǒng)可以實(shí)現(xiàn)更為直觀、細(xì)致、復(fù)雜、靈活而快速的動(dòng)作控制，大大提高機(jī)器人應(yīng)付復(fù)雜情況的能力。在當(dāng)前機(jī)器人全自主控制尚未成熟的情況下，這一技術(shù)有著特別重要的意義。

互動(dòng)式游戲

可利用運(yùn)動(dòng)捕捉技術(shù)捕捉游戲者的各種動(dòng)作，用以驅(qū)動(dòng)游戲環(huán)境中角色的動(dòng)作，給游戲者以一種全新的參與感受，加強(qiáng)游戲的真實(shí)感和互動(dòng)性。

體育訓(xùn)練

運(yùn)動(dòng)捕捉技術(shù)可以捕捉運(yùn)動(dòng)員的動(dòng)作，便于進(jìn)行量化分析，結(jié)合人體生理學(xué)、物理學(xué)原理，研究改進(jìn)的方法，使體育訓(xùn)練擺脫純粹的依靠經(jīng)驗(yàn)的狀態(tài)，進(jìn)入理論化、數(shù)字化的時(shí)代。還可以把成績(jī)差的運(yùn)動(dòng)員的動(dòng)作捕捉下來，將其與良好運(yùn)動(dòng)員的動(dòng)作進(jìn)行對(duì)比分析，從而幫助其訓(xùn)練。

另外，在人體工程學(xué)研究、模擬訓(xùn)練、生物力學(xué)研究等領(lǐng)域，動(dòng)作捕捉技術(shù)同樣大有可為?？梢灶A(yù)計(jì)，隨著技術(shù)本身的發(fā)展和相關(guān)應(yīng)用領(lǐng)域技術(shù)水平的提高，動(dòng)作捕捉技術(shù)將會(huì)得到越來越廣泛的應(yīng)用。凌云作為國內(nèi)3D視覺解決方案提供商，愿為行業(yè)用戶提供更多、更較好的視覺器件整體解決方案，助力行業(yè)客戶勇攀行業(yè)高峰！

上一篇：第三屆藤倉-凌云光纖激光與傳感應(yīng)用技術(shù)交流會(huì)邀請(qǐng)函 下一篇：全印展｜凌云光： 心無旁騖，堅(jiān)守“質(zhì)量興業(yè)，贏在智能”主航道