剛剛結(jié)束的SIGGRAPH 2025上，Arm詳細(xì)介紹了可以在移動(dòng)設(shè)備上的Arm神經(jīng)技術(shù) (Arm Neural Technology)及其原理。

這是一個(gè)罕見(jiàn)的舉動(dòng)，因?yàn)榧葾rm神經(jīng)技術(shù)的Arm GPU要在2026年才會(huì)推向市場(chǎng)。

“Arm之所以選擇在搭載這項(xiàng)技術(shù)的GPU正式上市前進(jìn)行發(fā)布，是因?yàn)槿粢@類(lèi)技術(shù)能真正釋放潛力，需要游戲開(kāi)發(fā)者基于它們進(jìn)行創(chuàng)新?！盇rm 終端事業(yè)部產(chǎn)品管理總監(jiān) Steve Steele表示。

Arm會(huì)首先推出Arm神經(jīng)超級(jí)采樣 (Arm Neural Super Sampling, Arm NSS)引擎，Arm NSS能夠以每幀四毫秒的耗時(shí)，將分辨率從540p優(yōu)化升級(jí)至1080p，且畫(huà)質(zhì)幾乎與原生質(zhì)量無(wú)異。

實(shí)際上， 神經(jīng)技術(shù)已經(jīng)在桌面端和主機(jī)端相繼普及，Arm是業(yè)界首個(gè)將神經(jīng)技術(shù)帶到移動(dòng)端的公司， 這得益于Arm能夠在實(shí)現(xiàn)性能提升的同時(shí)滿(mǎn)足手機(jī)端苛刻的功耗要求。

對(duì)比于傳統(tǒng)的全幀渲染方法，開(kāi)發(fā)者可通過(guò)Arm NSS減少多達(dá)50%的GPU工作負(fù)載，從而靈活選擇如何利用這些節(jié)省的資源，既可用于降低游戲的整體功耗，也可用于提升幀率或增強(qiáng)視覺(jué)效果。

這將成為2026年手游愛(ài)好者值得期待的一項(xiàng)新技術(shù)。

什么是Arm神經(jīng)超級(jí)采樣？

要解釋Arm神經(jīng)超級(jí)采樣技術(shù)，最直觀的方式就是通過(guò)效果的對(duì)比。

Arm在SIGGRAPH大會(huì)上展示了全新演示項(xiàng)目“魔法城堡”。下圖為畫(huà)面中兩個(gè)高難度區(qū)域的放大效果。左側(cè)是真實(shí)標(biāo)簽 (Ground Truth)，即全分辨率渲染的效果。ASR就是Arm超級(jí)分辨率技術(shù)實(shí)現(xiàn)的效果，Desktop是桌面級(jí)的超級(jí)采樣技術(shù)的效果，最右側(cè)的Arm NSS在“性能”模式下，達(dá)到與主流桌面級(jí)神經(jīng)優(yōu)化升級(jí)技術(shù)同等的畫(huà)質(zhì)。

“Arm NSS成本更低，每幀可節(jié)省 50% 的工作負(fù)載。”Steve Steele指出。

通過(guò)效果對(duì)比可以發(fā)現(xiàn)，雖然桌面級(jí)的超級(jí)采樣技術(shù)和Arm NSS與真實(shí)標(biāo)簽 (Ground Truth)依舊有差距，但考慮到可以用更低的成本實(shí)現(xiàn)如此逼真的效果，已經(jīng)讓人驚嘆。

同時(shí)可以看到， 與相對(duì)普及的超級(jí)分辨率技術(shù)ASR相比，Arm NSS有著明顯的效果差距，這是因?yàn)锳rm ASR 是基于傳統(tǒng)算法的方案，其性能提升只能達(dá)到一定程度。

Arm NSS是一個(gè)基于Arm ASR的升級(jí)方案，能夠通過(guò)較低質(zhì)量的輸入生成同等質(zhì)量的輸出，或以相同的輸入生成更高質(zhì)量的輸出，且運(yùn)行時(shí)間僅需四毫秒。

Arm NSS 的最終目標(biāo)無(wú)疑是帶來(lái)更流暢的游戲體驗(yàn)和更豐富的移動(dòng)端體驗(yàn)。更具體的說(shuō)，該技術(shù)能讓游戲以540p分辨率進(jìn)行渲染，并通過(guò)兩倍性能優(yōu)化升級(jí)，輸出超高質(zhì)量的畫(huà)面。這意味著，對(duì)比于傳統(tǒng)的全幀渲染方法，開(kāi)發(fā)者可減少50%的GPU工作負(fù)載。

Arm如何實(shí)現(xiàn)高達(dá)50%的GPU工作負(fù)載節(jié)省？

Steve Steele解釋?zhuān)拔覀兿韧ㄟ^(guò)只對(duì)場(chǎng)景中約25%的像素進(jìn)行渲染，節(jié)省了大量的算力、能耗及時(shí)間。隨后，借助Arm NSS算法，來(lái)實(shí)現(xiàn)圖像的優(yōu)化升級(jí)，比如從 540p 優(yōu)化升級(jí)到 1080p。 但是只對(duì)場(chǎng)景中約 25% 的像素進(jìn)行渲染，為何不是節(jié)約 75% 的工作負(fù)載？ 那是因?yàn)樵趫D形中還有幾何體等其他因素需要納入考量，所以總體上可以節(jié)省多達(dá) 50% 的 GPU 工作負(fù)載。

注意， Arm NSS加速器將深度嵌入到 Arm Mali GPU 中，像是給每個(gè)GPU著色器都增加了“迷你”NPU。

Arm神經(jīng)技術(shù)的另外兩個(gè)用例

除了Arm NSS， Arm神經(jīng)技術(shù)還有兩個(gè)新用例在開(kāi)發(fā)中，一個(gè)是神經(jīng)幀率提升 (Neural Frame Rate Upscaling, NFRU)， 這一用例通過(guò)采集連續(xù)兩幀畫(huà)面并生成中間幀，直接提升幀率。該神經(jīng)網(wǎng)絡(luò)與Arm為其GPU新增的硬件緊耦合，可加速運(yùn)動(dòng)向量的生成，用于追蹤像素在場(chǎng)景中的移動(dòng)軌跡。

NFRU這項(xiàng)技術(shù)可通過(guò)較低成本，將30 FPS的內(nèi)容優(yōu)化升級(jí)至 60 FPS。

另一個(gè)新用例是神經(jīng)超級(jí)采樣與降噪 (Neural Super Sampling and Denoising, NSSD)，這是一套面向光線(xiàn)追蹤內(nèi)容的Arm NSS的擴(kuò)展技術(shù)。

全路徑追蹤內(nèi)容要求每個(gè)像素向場(chǎng)景發(fā)射數(shù)百甚至數(shù)千條光線(xiàn)，經(jīng)過(guò)反彈后最終抵達(dá)光源，從而讓圖形引擎精確計(jì)算該像素的亮度。然而，這種路徑追蹤技術(shù)的成本極高，即便是桌面系統(tǒng)也難以承受。如果將路徑追蹤與NSSD這類(lèi)神經(jīng)網(wǎng)絡(luò)相結(jié)合，每個(gè)像素只需發(fā)射少量光線(xiàn)，再借助神經(jīng)技術(shù)重建缺失細(xì)節(jié)，不僅能從相鄰像素推斷數(shù)據(jù)，還能利用歷史幀信息進(jìn)行補(bǔ)充。

NSSD實(shí)際能從根本上破解光線(xiàn)追蹤技術(shù)普及的難題。

“我認(rèn)為目前阻礙光線(xiàn)追蹤技術(shù)普及的原因之一，是其昂貴的計(jì)算成本?！?/strong> Steve Steele說(shuō)，“神經(jīng)技術(shù)則能使不同類(lèi)型的光線(xiàn)追蹤以更低的成本得以實(shí)現(xiàn)，比如隨機(jī)投射的光線(xiàn)，或是較少數(shù)量的光線(xiàn)，使得光線(xiàn)追蹤能夠在移動(dòng)設(shè)備上實(shí)現(xiàn)。 但隨之而來(lái)的問(wèn)題是如何對(duì)圖像進(jìn)行深度降噪，而這正是神經(jīng)技術(shù)可以發(fā)揮其價(jià)值的地方，它能智能降噪光線(xiàn)追蹤圖像。 ”

所以包含Arm NSS、NFRU、NSSD的Arm神經(jīng)技術(shù)實(shí)際上是Arm給手游帶來(lái)革命性體驗(yàn)的一套組合技術(shù)，通過(guò)這些技術(shù)的組合，能在使用更少計(jì)算資源的情況下獲得更清晰的畫(huà)質(zhì)或者更高幀率，或者在使用相同計(jì)算資源的前提下獲得更高的畫(huà)質(zhì)和更流暢的游戲體驗(yàn)。

革命性手游技術(shù)普及關(guān)鍵——軟件生態(tài)

正如神經(jīng)技術(shù)在桌面端和主機(jī)端的相繼普及，它必將成為移動(dòng)端圖形技術(shù)的演進(jìn)方向，但需要確保的是，這一進(jìn)程不會(huì)割裂技術(shù)生態(tài)系統(tǒng)，或給開(kāi)發(fā)者增加額外負(fù)擔(dān)。

為此，Arm推出了新的套件，Arm NSS 可通過(guò)神經(jīng)圖形開(kāi)發(fā)套件 (Neural Graphics Development Kit) 啟用，該套件的核心是虛幻引擎 (Unreal Engine) 插件，開(kāi)發(fā)者只需點(diǎn)擊幾下，就能將 Arm NSS 集成到游戲中；同時(shí)還包含開(kāi)放格式的模型，這些模型將被推送至 Hugging Face，也會(huì)納入開(kāi)發(fā)套件。

由于全新的GPU硬件尚未問(wèn)世，套件中還包含了面向Vulkan的Arm ML擴(kuò)展的完整PC模擬器。 這樣一來(lái)，開(kāi)發(fā)者就能在桌面端運(yùn)行整個(gè)技術(shù)棧，驗(yàn)證模型在其內(nèi)容上的表現(xiàn)。

此外，Arm的性能工具中包含熱門(mén)開(kāi)源工具RenderDoc的Arm版本，且均已提升適配面向 Vulkan的Arm ML擴(kuò)展。

傳統(tǒng)Vulkan 支持圖形管線(xiàn) (Graphics Pipeline) 和計(jì)算管線(xiàn) (Compute Pipeline)，為了讓開(kāi)發(fā)者將AI直接引入熟悉的渲染管線(xiàn)，Arm ML擴(kuò)展還引入了第三種管線(xiàn)，即專(zhuān)為神經(jīng)網(wǎng)絡(luò)推理而打造的圖管線(xiàn) (Graph Pipeline)。

與圖管線(xiàn) (Graph Pipeline)配合，Arm還引入了VkTensor概念，它允許將現(xiàn)有圖像重新解釋為張量，即神經(jīng)網(wǎng)絡(luò)的輸入和輸出形式，省去數(shù)據(jù)在輸入神經(jīng)網(wǎng)絡(luò)前的復(fù)制開(kāi)銷(xiāo)。

Arm還定義了一種名為 VGF 的開(kāi)放數(shù)據(jù)格式，通過(guò) SPIR-V 的擴(kuò)展來(lái)描述神經(jīng)網(wǎng)絡(luò)的運(yùn)算。Arm 的目標(biāo)是推動(dòng)全行業(yè)采用。

“如果 Arm 豐富的硬件多樣性因不必要的軟件碎片化而受限，對(duì)任何人都毫無(wú)益處?！盨teve Steele 說(shuō)，“這些面向 Vulkan API 的 ML 擴(kuò)展可被任一家圖形技術(shù)供應(yīng)商采用。Arm 正與多家行業(yè)合作伙伴積極探討，推動(dòng)這些技術(shù)在移動(dòng)端生態(tài)系統(tǒng)及其他領(lǐng)域落地生根?！?/p>

Steve Steele指出，雖然上述這些技術(shù)與桌面端和主機(jī)端神經(jīng)技術(shù)存在相似性，但向開(kāi)發(fā)者提供技術(shù)的方式卻大相徑庭。 與桌面端和主機(jī)端不同，Arm 的所有神經(jīng)技術(shù)都將全面開(kāi)放，這意味著游戲工作室重新訓(xùn)練模型所需的模型架構(gòu)、權(quán)重以及工具，全部可供使用。

雷峰網(wǎng) (公眾號(hào)：雷峰網(wǎng)) 了解到，Arm 神經(jīng)技術(shù)已得到了來(lái)自業(yè)界的積極反饋。其中， Arm 神經(jīng)圖形開(kāi)發(fā)套件已得到 Enduring Games、Epic Games（虛幻引擎）、網(wǎng)易游戲、Sumo Digital、騰訊游戲和 Traverse Research 等合作伙伴的支持。

不過(guò)NFRU和NSSD兩個(gè)用例的早期訪(fǎng)問(wèn)計(jì)劃暫時(shí)缺少Arm ASR那樣的技術(shù)生態(tài)作為支持，因此Arm正積極招募游戲工作室加入開(kāi)發(fā)。

2026年將是Arm給手游帶來(lái)全新體驗(yàn)的開(kāi)端，游戲開(kāi)發(fā)者們會(huì)基于Arm神經(jīng)技術(shù)帶來(lái)哪些革命性的體驗(yàn)？

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn) 轉(zhuǎn)載須知 。