謎一樣的GPU

　　手機，現(xiàn)在已經(jīng)是人手一部甚至兩部了，餐廳酒吧、地鐵巴士、馬路街邊隨處可見的低頭族大家早就見慣不怪，在飯桌上如果你發(fā)現(xiàn)沒有人低頭看手機的話反而會懷疑自己是不是到了外星球。

　　吸引人們對手機目不轉(zhuǎn)睛的自然是它顯示的內(nèi)容， 相對于個人電腦剛剛問世時候只能呈現(xiàn)有限的文字以及低分辨率的畫面而言，現(xiàn)在的智能手機已經(jīng)可以在巴掌大的屏幕上做到高達(dá) 3840×2160 的分辨率，能呈現(xiàn)非常豐富的畫面元素。

　　臺式機和智能手機雖然存在較大的性能分野，但是兩者間一直在互相借鑒，例如操作系統(tǒng)界面都采用了硬件三維加速來強化用戶體驗：豐富元素的表現(xiàn)力以及實現(xiàn)界面的視覺擴展（例如窗口的旋轉(zhuǎn)切換），而實現(xiàn)這些三維硬件加速的正是許多手機、電腦文章報道中的 GPU，比如說Qualcomm（高通）的Adreno、蘋果的PowerVR、ARM的Mali。

　　因為應(yīng)用上的相似性，移動端的GPU和臺式機GPU發(fā)展最近這幾年幾乎都是齊頭并進(jìn)，理論上如果將移動端的GPU放大后也是可以拿到臺式機上使用的。

　　（NVIDIA推出的NV10）

　　GPU的全稱是 Graphics Processing Unit，也即是圖形處理單元的意思。這個概念的最早確定是NVIDIA（英偉達(dá)）公司在1999年發(fā)布型號為 GeForce （代號NV10）的三維芯片時首次提出，當(dāng)時的定義是：

　　三角形變換能力達(dá)到每秒一千萬個三角形以上的三維芯片。

　　時至今日，當(dāng)年NVIDIA提出的GPU定義相信已經(jīng)很少人記得，GPU這個名詞因為微軟DirectX 7采用而普及，此后 NVIDIA、微軟、ATI（后來的 AMD）、Intel以及幾乎整個相關(guān)行業(yè)、媒體大量采用而成為大家非常熟悉的名詞，不管是臺式機、服務(wù)器、工作站還是游戲機、移動設(shè)備，它已經(jīng)是無處不在。

　　相較于GPU的定義，GPU 到底是怎么一回事，它是如何實現(xiàn)三維渲染以及為何后來可以勝任非圖形計算，知道的人就更少了，本文嘗試在這方面做一些簡單的介紹。

　　GPU到底是如何實現(xiàn)三維渲染呢？

　　要了解GPU是如何進(jìn)行渲染操作其實并不難，宏觀角度來可以將其簡化為下面的樣子：

　　應(yīng)用程序-》幾何處理-》光柵處理

　　在圖形處理中，應(yīng)用程序執(zhí)行的相關(guān)操作包括了碰撞偵測、全局加速算法、動畫處理、物理模擬等。

　　幾何處理就是對圖元進(jìn)行處理，所謂圖元是指點、線、面這類幾何體，而光柵化則是將確定了位置、大小和光照的幾何體映射到屏幕空間柵格化后的處理，例如像素著色、貼圖、混合。

　　在沒有圖形芯片（顯卡）之前，幾何處理、光柵處理都是由 CPU 或者 FPU（浮點單元）、SIMD （單指令多數(shù)據(jù)）單元協(xié)助來完成，隨著芯片技術(shù)的進(jìn)步，其中的幾何處理、光柵處理開始逐步放到專門的芯片上執(zhí)行，之后這些專用芯片又被集成到一塊，逐漸形成了現(xiàn)在的 GPU。移動處理器同樣經(jīng)歷PC這一過程，比如說高通最早的處理器MSM7225/7625就沒有集成GPU ，甚至是2D處理都是交由CPU完成。

　?。ㄖ悄苁謾C與PC一樣，經(jīng)歷過無GPU時代）

　　應(yīng)用程序把需要進(jìn)行三維渲染或者計算的數(shù)據(jù)和指令遞交給 GPU，由GPU來執(zhí)行幾何處理以及光柵處理，這樣的處理方式被稱作流水線（pipeline）。

　　采用流水線的方式可以將工作拆分為若干個處理環(huán)節(jié)，也就是所謂的工位（stage）或者功能階段，這些工位本身也可以繼續(xù)拆分成若干部分，也可以實現(xiàn)（部分的）并行化。

　　幾何處理階段需要做些什么啥呢？

　　幾何處理階段執(zhí)行的是頂點、多邊形級別的處理。這一步可以拆解為 5 個工位或者說 5 個步驟：

　　•對模型及視圖進(jìn)行變換（transform）

　　•頂點著色

　　•投影

　　•裁剪

　　•屏幕映射

　　模型及視圖的變換

　　模型變換

　　由于每個模型都有自己的坐標(biāo)，因此在成為屏幕上的畫面對象之前，模型需要變換為多個空間或者坐標(biāo)系。

　　作為對象的模型空間（Model Space，或者叫模型自空間）的坐標(biāo)被稱作模型坐標(biāo)，在經(jīng)過坐標(biāo)變換后，模型就會處于世界坐標(biāo)或者世界空間（World Space）里，也就是確定了該模型在場景中的方向、位置。

　　我們允許在場景中存在多個模型的拷貝（被稱作引用），這些大小一樣的引用可以在同一個場景中有不同的位置、方向。

　　視圖（Viewport，或者視口）變換

　　現(xiàn)在的實時渲染場景中包含的對象（模型）可以有很多個，但是只有被攝像機（或者說觀察者，也即是設(shè)定的視角覆蓋）的區(qū)域才會被渲染。這個攝像機在世界空間里有一個用來擺放的位置和面向的方向。

　　為了實現(xiàn)接下來的投影、裁剪處理，攝像機和模型都需要進(jìn)行視圖變換這個操作，目的是將攝像機放置在坐標(biāo)原點上，使其正對的方向為 Z 軸（負(fù)向），Y 軸指向上（上圖是從攝像機正上方俯視，所以沒法給出 Y 軸），X 軸指向右。

　　頂點著色

　　所謂著色就是指確定光照在物料上所呈現(xiàn)效果的操作，這類操作既可能運行于幾何階段的模型頂點上，也可能運行于光柵階段的各個像素上，也就是所謂的頂點著色和像素著色。

　　在頂點著色的時候，各個頂點需要存放若干個相關(guān)的物料數(shù)據(jù)，例如頂點位置、法線、色彩以及其他任何進(jìn)行著色處理計算相關(guān)的數(shù)字信息。

　　頂點著色的計算結(jié)果（可以是色彩、向量、紋理坐標(biāo)以及任何其他著色數(shù)據(jù)）會被發(fā)送到光柵化階段進(jìn)行插值處理。

　　投影

　　在完成了著色處理后，渲染系統(tǒng)會把可視體轉(zhuǎn)換為一個位于（-1， -1， -1）到（1， 1， 1）的單元立方體（unit-cube）中，這個立方體被稱作正則觀察體（canonical view volume），使用到的投影方式一般有兩種：平行投影和透視投影。

　　前一種主要在 CAD 等軟件中使用，后一種因為模擬了我們?nèi)祟惖囊曈X體驗，所以在游戲或者虛擬現(xiàn)實中經(jīng)常使用：

　　上圖分別是一部 iPhone 6s Plus 以平行投影和透視投影的方式呈現(xiàn)在屏幕上的效果。

　　三角形裁剪

　　只有在可視體內(nèi)的圖元會被傳送到在屏幕上繪制這些圖元的光柵階段，在進(jìn)行裁剪動作的時候，如果圖元有頂點落在可視體之外，裁剪的時候就會將可視體之外的這部分剪切掉并且在可視體與圖元相交的位置生成新的頂點，而位于立方體外部的舊圖元就會被拋棄掉。

　　屏幕映射

　　經(jīng)過上一步裁剪后的位于可視體內(nèi)的圖元會被傳遞到屏幕映射階段，此時的坐標(biāo)信息依然是三維的。圖元的 X、Y 坐標(biāo)被變換到屏幕坐標(biāo)系，屏幕坐標(biāo)再加上 Z 軸坐標(biāo)就被稱作窗口坐標(biāo)。

　　我們假定場景要渲染到一個最小角落坐標(biāo)為（x1， y1）和最大角落坐標(biāo)為 （x2， y2）的窗口中，也就是 x1 《 x2，y1 《 y2。此時，屏幕映射執(zhí)行的是一個縮放處理后的轉(zhuǎn)換操作。Z 軸坐標(biāo)并不受此操作的影響。

　　現(xiàn)在，新的 x 軸、 y 軸坐標(biāo)就是屏幕坐標(biāo)，有對應(yīng)的屏幕像素位置，不再是之前投影處理后的那個立方體所采用的映像坐標(biāo)系統(tǒng)。

　　光柵處理階段要干些什么呢？

　　在獲得了經(jīng)過變換和投影處理的頂點及其相關(guān)聯(lián)的著色信息后，光柵化處理階段的目的就是計算并設(shè)置好被對象覆蓋區(qū)域的像素顏色。這個處理被稱作光柵化或者掃描轉(zhuǎn)換，也就是把二維坐標(biāo)上包含深度（Z 軸）信息和各種相關(guān)著色信息的頂點到屏幕上像素的轉(zhuǎn)換。

　　這個處理階段一般可以拆分為 4 個工位：

　　1、三角形設(shè)定

　　2、三角形遍歷

　　3、像素著色

　　4、輸出合并

　　三角形設(shè)定

　　這一步會進(jìn)行三角形表面的微分以及其他關(guān)于三角形表面數(shù)據(jù)的計算，計算出來的數(shù)據(jù)會被用于掃描轉(zhuǎn)換以及幾何階段所產(chǎn)生的各種著色數(shù)據(jù)的插值處理。在GPU上這一步會采用固定硬件功能單元來實現(xiàn)。

　　三角形遍歷

　　這一步用作確定像素的中心是否被三角形覆蓋 ，如果該像素被三角形覆蓋的話，就會生成對應(yīng)的片元（fragment）。

　　查找哪些樣本或者像素是否位于三角形內(nèi)通常被稱作三角形遍歷或者掃描轉(zhuǎn)換。

　　每個三角形對應(yīng)片元的屬性都是由該三角形的三個頂點數(shù)據(jù)插值而成，例如片元的深度值以及來自幾何階段的著色數(shù)據(jù)。

　　像素著色

　　所有的逐像素（per-pixel）著色計算都在這一步執(zhí)行，使用的輸入數(shù)據(jù)是之前插值的著色數(shù)據(jù)。像素著色發(fā)送到下一個工位的計算的結(jié)果可能是一個色彩值也可能是多個色彩值。

　　和三角形設(shè)定以及三角形遍歷不同采用固定硬件功能單元不同的是，現(xiàn)在的像素著色都是由可編程的GPU內(nèi)核執(zhí)行。

　　在像素著色所依賴的眾多技術(shù)中最為重要的就是貼圖（texturing），所謂貼圖就是把一張或者多張圖片“貼”到對象上。

　　輸出合并

　　在這一步執(zhí)行的操作主要是將之前步驟生成的色彩信息進(jìn)行合并形成最終輸出的像素色彩。

　　用于存放像素色彩信息的緩存被稱作色彩緩存，一般情況下是以紅、綠、藍(lán)三個色元的方式存放，此外還有一個用于存放像素對應(yīng)深度信息值的深度緩存（一般采用 Z-Buffer）。

　　在GPU中實現(xiàn)這一步的功能單元有幾種叫法，例如 ROP、Output Merger 或者 Back-End。

　　在這個階段，Output Merger 會根據(jù)深度緩存（depth buffer 或者 Z-buffer）存放的深度信息判斷是否更新色彩緩存中的色彩值。

　　例如當(dāng)前像素計算出來的深度值（例如是 0.1）比深度緩存中對應(yīng)像素的值?。ɡ缡?0.2），則表示當(dāng)前像素的三角形比色彩緩存存放的像素所對應(yīng)的三角形更靠近“攝像頭”，于是GPU會對該圖元的色彩進(jìn)行計算并把新計算出來的色彩值和深度值更新到色彩緩存和深度緩存中，否則的話就不會更新當(dāng)前像素的緩存。

　　在整個場景完成渲染后，色彩緩存中存放的都是從攝像機視角位置看到的可視圖元色彩值。

　　這樣處理的好處是三角形可以使用任意次序來渲染，但是如果圖元或者說三角形是部分透明的話，則必須依照從遠(yuǎn)到近的三角形層次進(jìn)行渲染。這是 Z-Buffer 的主要缺點之一。

　　像素除了色彩緩存和深度緩存外，還有其他利用通道或者緩存的技術(shù)來用于過濾和捕捉片元（fragmet）信息。

　　通常和色彩一起存放于色彩緩存的阿爾法通道（Alpha Channel）包含了每個像素的相對不透明值，開發(fā)人員可以在進(jìn)行深度測試之前對到來的片元先執(zhí)行名為阿爾法測試（Alpha Test）的操作。如果片元的 alpha 值測試（一般是等于、大于等簡單的操作）為“假”，那么這個像素的后續(xù)處理操作就會被省略掉。這個操作通常用于確保完全透明的片元不會對 Z-buffer 構(gòu)成影響。

　　此外，還可能會涉及到名為蠟板緩存（Stencil Buffer）的技術(shù)。Stencil Buffer 作為一個離屏緩存一般用于存放已渲染圖元的位置，它通常用于進(jìn)行一些特殊效果的處理，例如將一個“實心”圓存放到蠟板緩存中，之后配合其他操作，就可以將被覆蓋圖元的色彩值控制為只有在位于這個實心圓中的時候才被呈現(xiàn)，相當(dāng)于一個遮罩的作用。

　　以上這些緩存都被統(tǒng)稱為幀緩存，但是在一般情況下，幀緩存特指色彩緩存和深度緩存。由于畫面渲染是需要時間的，為了保證出到顯示器或者顯示屏的時候圖元都是已經(jīng)完成渲染的，人們引入了雙緩存技術(shù)，渲染中的被稱為后臺緩存（back buffer），完成渲染的稱作前臺緩存（front buffer），在后臺緩存完成渲染后，馬上變成前臺緩存，而前臺緩存就切換為后臺緩存，以此類推。

　　片元（fragmet）和像素（pixel）的區(qū)別？

　　上文中我們提到了片元和像素，像素是相對容易理解的，嚴(yán)格來說，像素就是對應(yīng)屏幕上的一個點，它有表示屏幕位置的 x、y 坐標(biāo)以及顏色的紅綠藍(lán)（RGB）值（像素是沒有 Alpha 通道值的），圖形流水線所作的所有事情都是為了給輸入的圖元計算在屏幕上像素的顏色。

　　那么，片元又是怎么一回事呢？

　　在三角形遍歷和輸出合并之間計算的柵格數(shù)據(jù)就是片元，它們是像素的前身，在遍歷的時候由頂點內(nèi)插而成。片元除了具備像素的 x、y 坐標(biāo)外，還有表示深度的 z 坐標(biāo)以及頂點的屬性信息（顏色、片元法線、紋理坐標(biāo)）。

　　正如前面所說的，深度坐標(biāo)記錄的是圖元的相對距離，在深度測試的時候被遮蔽（或者阿爾法測試中為透明）的圖元會在輸出合并階段被拋棄掉，。

　　片元這個說法是 OpenGL 或者大多數(shù)實時圖形渲染文獻(xiàn)中的概念，而 D3D 則沒有這么嚴(yán)格的區(qū)分，片元和像素都統(tǒng)稱為像素。

　　我們這里討論的都是以實時三角形渲染為例，除此以外還有其他三維渲染流水線形式，例如 micropolygon（微型多邊形）、Voxel（體素） 渲染。

　　現(xiàn)在的GPU流水線也是遵照這樣的圖形流水線來設(shè)計，在一段時間里，出于成本效益的考慮，GPU 的各個功能單元都是有專門的電路來實現(xiàn)的。

　　不過在新式的GPU中，可編程部分（例如頂點程序、片元程序）由于指令集得以統(tǒng)一，所以都采用了同樣的計算單元來跑。

　　公認(rèn)必須采用固定功能硬件單元來實現(xiàn)的主要是三角形設(shè)置、遍歷以及輸出合并單元，英特爾曾經(jīng)試圖在名為 Larrabee 的GPU項目里將這些工位采用通用單元來執(zhí)行，但是最終結(jié)果是不了了之，至少說明現(xiàn)階段或者在未來可見的較長時期里，三角形設(shè)置/遍歷以及輸出合并的最合理實現(xiàn)方式還是使用固定功能硬件單元。

　?。↖ntel Larrabee）

　　在現(xiàn)實中GPU并不僅僅是上面討論的三維處理、計算單元，廣義的GPU還應(yīng)該包括視頻編解碼單元、掃描輸出單元、總線單元、存儲單元，手機GPU現(xiàn)在都和 CPU、基帶、周邊等單元集成到同一個芯片里，這樣的芯片被稱作 SoC（片上系統(tǒng)），SoC 并非是手機獨有的，在此之前的單片機（例如洗衣機等里就有，一般幾塊錢一顆）其實就是 SoC 的一種實現(xiàn)方式。

　　GPU 在移動應(yīng)用中能發(fā)揮的作用

　　GPU 最初是為三維游戲加速設(shè)計的，所以它最拿手的自然是三維游戲加速，現(xiàn)在無論是安卓、iOS 都有不少三維游戲大作，例如：勞拉 Go、FIFA 系列、真人快打 X、Hitman Sniper、Marvel Future Fight、Godfire： Rise of Promotheus、Over Kill、Implosion、Battle supremacy 等等。

　　除了游戲渲染加速外，智能手機的操作系統(tǒng)界面也是采用了GPU硬件加速的，例如選單的彈出、桌面平移等。和桌面操作系統(tǒng)使用三維加速相比，移動操作系統(tǒng)由于受到屏幕空間小的約束，因此三維加速體驗帶來的空間感拓展是更加不可或缺的。從安卓4.0系統(tǒng)開始，不少用戶就感覺到系統(tǒng)流暢性大幅度提高正是因為從系統(tǒng)層面上線了GPU硬件加速。

　　通用計算加速原本也是在非移動應(yīng)用上的技術(shù)，不過隨著智能手機的高速發(fā)展，已經(jīng)有了不少開發(fā)人員利用GPU的通用計算能力來進(jìn)行一些有意義的加速。

　　例如在蘋果機上有一款名為極拍的 APP，利用蘋果手機的GPU對攝像頭拍攝的視頻進(jìn)行實時降噪處理，可以將蘋果手機的夜間視頻達(dá)到單反攝像機的夜間視頻拍攝效果，這是非常具有實用意義的。

　　另一個典型是高通驍龍?zhí)幚砥鳎珹TI是最早提倡通用計算加速的GPU制造商，而Adreno 200 GPU正源自ATI Imageon項目。發(fā)展至今，在高通驍龍820上的Adreno 530已經(jīng)能實現(xiàn)輔助全景照片合成、幫助“認(rèn)知計算平臺”Zeroth識別物體。

　?。?amp;ldquo;認(rèn)知計算平臺”Zeroth演示）

　　GPU 在這三方面的作用對我們手機的日常應(yīng)用產(chǎn)生了直接的影響，許多手機媒體口頭整天掛著的使用體驗，其實都離不開 GPU。

　　淺析GPU的常見術(shù)語

　　在下篇文章中SIMD、Core、GPU 中的線程、統(tǒng)一著色器、紋理單元這些GPU常見術(shù)語對一般讀者來說都是相當(dāng)陌生或者容易產(chǎn)生困擾，在此先進(jìn)行淺析。

　　SIMD：

　　Single Instruction Multiple Data，單指令多數(shù)據(jù)流，目前所有的GPU在基本功能單元層面都屬于SIMD（業(yè)界也接受NVIDIA提出的SIMT——單指令多線程），一般是16路SIMD或者32路 SIMD。

　　“內(nèi)核”或者core：

　　目前在GPU行業(yè)或者GPU行銷上被嚴(yán)重濫用的名詞，它被用作指代SIMD一條Lane（計算通道）上的單元集合，里面可能有一個單周期 32位FMA（積和熔加運算）運算器、一個雙周期64位FMA運算器等等，GPU廠商把GPU里的SIMD Lane數(shù)加起來就對外宣稱有多少個內(nèi)核。

　　這樣的說法是否屬于錯誤宣傳還真不好說，因為目前并沒有什么法律文件規(guī)定怎樣的集合才算是一個內(nèi)核。

　　不過對于計算機科學(xué)來說，微架構(gòu)里對內(nèi)核約定俗成的看法是它必須有一個PC（程序計算器，它是一個寄存器，其中存放的一般是指向該內(nèi)核要執(zhí)行的下一條指令的地址）。

　　這樣的話，一個GPU內(nèi)核顯然不能是SIMD單元中的一個Lane，它的層級至少應(yīng)該高一級。

　　所以，GPU上相對嚴(yán)格的“內(nèi)核”概念單元對應(yīng)的應(yīng)該是類似與AMD GCN的Compute Unite、NVIDIA Maxwell中的SMM、PowerVR Series 6/7的USC等名詞命名的單元集合，在OpenCL中，這個層級的單元集合被稱作Compute Unit（計算單元，簡稱CU，AMD的GCN微架構(gòu)也采用Compute Unit這個術(shù)語，完全對應(yīng)OpenCL的Compute Unit），而GPU廠商的行銷術(shù)語 “內(nèi)核” 或者“core” 在OpenCL中被稱作Process Element，簡稱PE。

　　GPU中的線程：

　　現(xiàn)在的GPU都采用了多層次線程技術(shù)，按照硬件開發(fā)商提供的文檔，對應(yīng)SIMD Lane的被稱作thread（OpenCL中稱作work-item，在圖形渲染的時候你可以將其看作是屏幕上的一個像素），是最小的線程單位；

　　往上的一層線程單位在新的OpenCL被稱作sub-group，NVIDIA稱作warp 或者thread warp，AMD稱作wavefront，屬于GPU執(zhí)行調(diào)度的最小硬件線程單位。再往上就是workgroup（NVIDIA 稱之為thread block）和NDRange（NVIDIA稱之為Grid，由若干個workgroup或者thread block組成）。

　　Workgroup的對應(yīng)GPU硬件關(guān)系是Compute Unit，同一時間里Compute Unit跑的都是一個workgroup，而Grid則對應(yīng)GPU的一個partition（分區(qū)，在設(shè)備或者說加速器允許的情況下，OpenCL可以把一個設(shè)備分成若干個分區(qū)來使用）。

　　你可以把飯粒比作是work-item，而每一口飯則算是一個sub-group，一碗飯看作是一個 workgroup，飯煲看作是NDRange（sorry，我的比喻未必很恰當(dāng)）。

　　統(tǒng)一著色器

　　在 DX10以后，由于幾何、像素的指令格式一樣，使得幾何和像素處理可以在同樣的單元上執(zhí)行，自此以后臺式GPU都采用了統(tǒng)一著色器設(shè)計，以確保著色器的利用率提高。

　　紋理單元

　　紋理單元或者說紋理映射單元是GPU中計算紋理坐標(biāo)和獲得紋理樣本的單元。在繪制某個對象的時候，每個紋理單元進(jìn)行一個紋理取樣動作，不同的繪制對象每次的取樣動作都可以更改使用的紋理。紋理單元的性能指標(biāo)一般用 TexOps/s 來表示，表示每秒的紋理操作數(shù)，不同的紋理格式和不同的紋理過濾算法以及硬件實現(xiàn)、內(nèi)存帶寬都會對這個指標(biāo)產(chǎn)生影響。紋理單元一般和若干個著色器綁定在一起。