對于喜愛新媒體藝術的人來說，teamlab這個名字一定不陌生，作為新媒體藝術界的當紅炸子雞，teamlab的團隊成員則是包羅萬象，他們這樣描述自己的團隊：一群由程序員、CG、藝術家、數學家、交互設計師等各種各樣的人組成的追求極致技術的藝術集團。
這也就可以理解，為何teamlab每次的新作總是給人許多技術上的驚喜。但對于這些多技術交叉產生的新媒體藝術作品，我們似乎總是沒有一個詳細而準確的稱呼來分辨他們的類別，比如teamlab的作品：《在人們聚集的巖石上，注入水粒子世界》
▲當人站立在作品上，觸摸作品時，人會成為能夠改變水流的巖石，觀賞者自身變成了障礙物改變水的流向。
而對于類似于上面這樣的作品，OF的一位老師給出了他對此類作品的描述：“3D實時交互影像作品”。
雖然讀起來還是有些拗口，但如果了解作品所涉及到的技術，就能清晰的理解其中的含義。于是，本文簡單的梳理了制作一件“3D實時交互影像作品”過程中，所需技術和一些相關的軟件。希望能解答你的疑惑；有些地方不能說的很準確，也希望有大神能給予指正。
創意階段
這個無需多言，創意可以很簡單，也可以很具體，但完成一件優秀的作品， 自然需要好好的規劃作品的每個執行步驟。舉個例子，下面是Playmodes工作室于9月發布的一款立體光動態雕塑作品「Espills」
為了打造這款裝置，Playmodes先是草擬出作品的想法和框架，從幾何體到敘事概念，以及3D模擬可視化裝置的最終形態。
3D視覺內容創作
3D建模的軟件很多，每款應用的領域和側重的功能也不盡相同。比如3ds Max這款軟件常用于建筑設計，而Autodesk Maya等則是常用于游戲CG，動畫等行業。
這兩款軟件也并不能完全滿足大家的需求，有的設計師希望能快速上手3D建模，于是便選擇學習難度低，作品質量高，擁有許多預設的C4D；有人希望做出爆炸級別的特效，就選擇了自帶Mantra渲染器的Houdini；除了這些軟件，還有常用于三維角色建模的ZBrush；以及為3D分形成像的Mandelbulb 3D等等。
▲Mandelbulb 3D操作界面
可能有些人會問，這么多3D建模軟件，哪一款才是我的菜？建議你理清自己的需求后，向3D屆的老前輩咨詢，或者仔細閱讀下這篇文章《從百度、谷歌搜索指數看三維軟件的趨勢》
http://www.bgteach.com/article/29
最后，對分形藝術感興趣，又懶得下Mandelbulb 3D去體驗的，可以直接在App store上下載“分形的奧秘”這個應用，體驗分形之美~
在完成了作品的大綱，建好了原始模型后，接下來就是為模型貼圖，并細致調整折射，反光等參數，讓你的模型顯示你想要的材質。
而不同的材質在不同的光源下，呈現的效果也并不相同。所以 一般對模型進行貼圖時，需要先設定好光源，以便觀察效果。但此時的模型仍然十分粗糙，你只能簡單的看到一些幾何、紋理、照明和陰影等信息。所以你必須對每一段場景的進行單獨的渲染，來觀察它最終效果，再回到原始的模型上去調整參數，直到完美。
如果你的作品中還包含運動角色（人，動物），那你需要在貼好材質的模型上建造骨骼和控制器，這樣就可以控制他們進行運動了，三維計算機動畫本質上是定格動畫（stop motion，或稱靜幀采集）的數字化后代；如果只是拍攝一段簡單的3D角色運動的影像，那你只需擺弄好關鍵幀時角色的形象，之后的動作的繪制過程交給計算機就好了。
至于之后圖像的合成，加入動態特效和視覺特效，調整攝影機的位置，難以用一兩句話概括，所以不多贅述。
3D視覺元素做好了，接下來就是加入交互的模塊了。
體感設備和實時渲染
許多人可能還記得有一段時間，許多賣電視的門店為了吸引顧客，放了個手柄，讓大家玩耍各種體感游戲，比如體感網球，體感排球等等。
2006 年，任天堂發布了新一代游戲主機Wii，Wii配套的新款游戲手柄第一次將體感動作引入了電視游戲主機。之后微軟在在2010正式發布Kinect，Kinect是微軟為Xbox開發的體感識別攝像頭， 在其開發的目的是用于游戲，但因為其價格低廉，受到了交互領域的極大追捧。
這或許是體感交互第一次大規模的出現在大眾的視野。在銷售前60天內，Kinect就賣出八百萬部，成為那時全世界銷售最快的消費性電子產品.
落紅不是無情物，化作春泥更護花。雖然因為體感游戲的熱度退卻等原因，導致 Kinect最終停產，但它留下的相關技術卻在交互等領域繼續發光發熱。其中應用最為廣泛的，應該就是如今iPhone上的面部識別功能，當年為Kinect的技術支持公司PrimeSense，早在2013年就被蘋果所收購。
這些3D體感交互游戲， 正是“3D實時影像互動游戲”，而玩家用動作控制游戲中的3D角色，產生圖像的過程，也正是一個實時渲染過程。
而特效CG公司，在渲染一段影視級別的視頻時，需要處理的數據量和渲染一個3D游戲完全不在一個量級。這也是許多3D圖形軟件并不支持實時渲染的原因，原因無他：硬件帶不動。因為哪怕1s的特效場景，都需要數臺電腦渲染很長時間。但也有人說，我只想做一段簡單的3D視頻，處理數據量少了，不就可以進行實時渲染，一邊渲染一邊改模型？
可視化編程正是以“所見即所得”這種思想為原則的編程技術。它們力圖實現編程工作的可視化，即隨時可以看到結果，程序與結果的調整同步。可視化編程的語言也不少，我們這里就以Touch designer為例。
Touch designer是一款基于python語言的可視化編程軟件（這里指軟件），由多倫多的Derivative公司開發。關于Touch designer的用途，在這里我想引用Touch designer中文社區對這款軟件的解釋，同時也向大家安利他們的網站：http://www.touchdesigner.co/（他們的免費Touch designer教程已經出到中級了哦！）
從項目類型的角度來看，Touch designer可以用來制作交互裝置，演出視覺裝置投影，建筑外觀投影；也可以控制機械臂，制作VR體驗，還可以制作電影工業級別的界面設計。
▲“天真 · 自得 2.0” 古琴昆曲電子演出的視覺部分，新媒體藝術團隊分號C進行了Processing視覺至TouchDesigner視覺濾鏡處理
▲Unity3D實時渲染視覺
同時，不管什么類型的新媒體項目，在制作過程中，把TD當做一個整合統一的平臺，是非常事半功倍的。它可以把你所想要的軟硬件粘合起來，利用它們的特性創造出更為強大的新媒體怪獸。
對于藝術家和設計師來說，Touch designer非常容易上手；對于程序員來說使用TD能輕松橋接藝術家們制作完成的視覺部分和后臺程序部分。這樣的軟件能輕松結合不同能力的人員完美的完成項目。
而需要特別介紹的，則是Touch designer的實時3D渲染功能和編程方式，傳統的編程流程是，先編寫抽象的代碼，當所有的步驟都湊齊了，再運行生成結果；而Touch designer則是采用圖形的方式，用更直觀的視覺化的方式去思考，讓你設計的每一段程序都能直觀的顯示結果，并且直接進行調整，同時它支持許多主流的軟硬件接口，比如用于手部動作識別的設備Leapmontion，體感識別的Kinect，而現場表演中常用的的MIDI，TouchOSC自然也是來者不拒。
▲在Touch designer中調整程序
▲馬老師視頻 演示效果，左邊屏幕是Touch designer的界面，右邊是unreal4，平板上則是TouchOSC編輯器，你可以一邊看渲染效果一邊調整你的程序
而隨著硬件性能的不斷提升，游戲的畫面越來越爆炸，一些游戲引擎也開始打影視行業的主意，不斷進化自己的實時渲染功能。比如Unity這款3D游戲引擎，而不少視覺演出的舞臺也使用Unity3D進行實時渲染。
這里安利一部2016年Oats Studio使用Unity實時渲染出的動畫《ADAM》幕后制作訪談，你可以親自感受下實時渲染出大片的快感。
Unity在國內火起來，有一部份原因是因為手游的興起，因為手游對畫質要求不需要太高，而且手游生命周期短，更看重研發效率和兼容性。Unity恰恰符合這些條件，所以很多小團隊和個人都選擇Unity為主要的開發工具。Unity也提供商城功能，用戶可以在里面購買模型，特效和代碼。
聊起Unity3D，自然要介紹下unreal.相比于Unity，unreal系列游戲引擎本身架構復雜，上手有一定難度，但它的渲染質量和效率比Unity3D強上不少。一般來說，程序員更喜歡調試方便的Unity，而美術建模人員更喜歡unreal，因為unreal和touch designer一樣，也采用的順序性編程，方便制作3D內容各個階段的美術人員進行合作。
▲unreal界面
以上，就是制作一個3D實時交互影像作品，大致涉及的技術和軟硬件。首先，你需要一個完整的創意執行計劃，再通過Touch designer等平臺搭建一個交互程序，處理各種交互硬件收集的信息，傳輸給3D場景并實時渲染出一段影像，最終完成一個3D實時交互影像作品。當然，你也可以選擇由unity，unreal等游戲引擎來完成 實更高質量的實時渲染的工作。
當然，想要完成一個高水平的交互作品，在上面的許多技術環節都有太多可以發揮的地方 ，比如這么多跨平臺的軟硬件湊在一起工作，如何能保證他們都運行的流暢？等等一系列問題。
正如吳寬老師在《藝術與生產力》一文中所說，“另很多藝術家感到沮喪的一個事實是：每一次推進藝術歷史前進的核心動力并不是來自于藝術家，而是來自于生產力技術的革新。從巖畫到油彩，從石雕到3D打印，從照相機到新媒體技術...每次生產力的革新，都會引發一場藝術歷時的革命，促生新的藝術品種與流派誕生，催生一大批功成名就的藝術家。‘’
可以預見的是，藝術將越來越科技化，科技也將越來越藝術，兩者在山麓分手，卻終究會在山頂相逢。未來的藝術家會有越來越多的身份，而藝術的形式也會多種多樣，更加豐富有趣。
