阅读视图

发现新文章,点击刷新页面。

NVIDIA展示神經紋理壓縮技術,可將VRAM用量降至2成以下或使畫質提升

NVIDIA於2023年曾介紹稱為神經紋理壓縮(NTC)的技術,不過迄今還未看到有遊戲開發商進行實作,而在NVIDIA於2026年3月的GTC 2026大會的分組會議影片中,NVIDIA在「Introduction to Neural Rendering」的議程再度介紹神經紋理壓縮技術,強調僅需使用15%記憶體容量即可實現相同的品質,或在相同的記憶體占用大幅提升影像品質。

▲神經紋理壓縮是基於機器學習而非生成式AI,每次處理都會得到相同的結果

雖然神經紋理壓縮技術結合AI技術,然而並未使用生成式AI,而是透過機器學習、進行具有確定性的紋理解壓縮;神經紋理壓縮不會直接儲存每個紋理元素,而是將紋理壓縮成緊湊、且經過機器學習得到的潛在特徵,在執行神經紋理壓縮時,GPU的小型神經網路可依據這些特徵重建紋理,不須從記憶體載入大型的紋理資訊,且由於這些經過壓縮的特徵是基於機器學習,處理相同的壓縮特徵資料只會得到相同的結果,與具有不確定性的生成式AI截然不同。

神經紋理壓縮包含兩個元件,包括將原始素材極小化的潛在紋理,以及位置編碼;潛在紋理是把紋理元素視為描述材質屬性的特徵向量,而位置編碼則是把UV座標傳遞至解碼器前提供高頻空間資訊、協助神經網路重建原本在壓縮表欠缺的清晰細節與重複圖案;神經網路紋理壓縮技術的訓練則如同標準神經最佳化循環,由神經網路接收位置編碼的UV座標與潛在紋理進行重建,並將結果與原始紋理比對計算重建耗損,以此收斂至神經網路足以達到原始素材品質為止。

神經紋理壓縮相較傳統紋理壓縮技術可帶來三種好處,一是顯著提高紋理材質的壓縮比、使相同的VRAM容納更多紋理,此外不須拆分或減化資料即可將許多複雜的壓縮材質通道進行壓縮,也由於紋理壓縮資料變小,可減少硬碟占用使檔案縮小、下載更快。

▲在BCn紋理壓縮需佔用高達6.5GB的VRAM
▲改用NTC技術大幅減少至970MB

NVIDIA在展演影片舉了兩個案例,一個是Tuscan Villa,在這個示範若使用傳統的BCn紋理壓縮,將佔用高達6.5GB的VRAM,倘若改用神經紋理壓縮僅需970MB;另一個示範是餐桌,在同樣使用970MB的壓縮檔案,使用神經紋理壓縮不僅可提升紋理的品質,還可避免傳統BCn紋理壓縮技術造成的偽影。

▲以同樣使用970MB,BCn會出現壓縮偽影
▲NTC不僅避免偽影產生,整體影像品質也獲得提升

雖然這項技術是由NVIDIA提出,但畢竟採用的是機器學習技術,只要GPU本身有辦法處理機器學習,無論是AMD、Intel的GPU都能導入這項技術,而且AMD與Intel確實都在強化其GPU的AI加速器技術;尤其隨著預期記憶體報價與供應短時間無法回到常軌,預期主流顯示卡的VRAM將會維持好一段時間不會增加的前提下,加上SSD價格也同樣飆升,有著可降低VRAM使用、遊戲檔案大小的優勢,應該也會促使神經紋理壓縮被許多AAA級遊戲開發商採納。

Intel展示TSNC神經紋理壓縮技術可將檔案縮減18倍,2026年內將釋出Alpha版SDK

由於新一代GPU多整合AI加速架構,以NVIDIA開始積極將AI技術應用於圖形增強,雖然Intel在GPU相對AMD與NVIDIA歷史短,不過Intel卻相對AMD更積極投入GPU的AI加速應用;Intel不讓NVIDIA與微軟合作的神經紋理壓縮技術專美於前,在2026年的GDC大會實際展演稱為TSNC的神經紋理壓縮,可有效把紋理檔案縮小18倍。

Intel的TSNC技術與NVIDIA提出的NTC在概念原理近似,都是具備確定性的神經網路技術而非生成式技術;Intel TSNC利用隨機坡度下降訓練法訓練一個小型神經網路,旨在學習針對定紋理集中的特定紋理進行編碼與解碼,最終產生一個緊湊的潛在空間描述,透過執行一個小型的多層感知將其重建為原始的漫反射、法線、粗糙、金屬、環境光遮蔽與自發光等資料。

▲原本紋理集的通道就有大量冗餘結構,TSNC旨在共享這些結構縮減檔案尺寸
▲透過四個潛在紋理使用不同解析度降低紋理檔案尺寸

TSNC技術的關鍵在於活用單一材質的所有PBR貼圖的紋理集的各個通道具有大量冗餘結構,透過共享這些結構大幅縮減檔案尺寸。TSNC透過由4個BC1編碼的潛在空間紋理構成的特徵Pyramid作為技術核心,這四個潛在紋理分布在不同的解析度配置,Intel也提出兩種基於TSNC的變形,分別提供較好的畫質與更高的壓縮率。

▲相較非壓縮格式,激進方式可將檔案的壓縮率提高到18倍

方案A的結果與傳統壓縮幾乎沒有區別,採用2張全解析度潛影及2張半解析度潛影構成,以4K解析度為例,相對傳統紋理壓縮約等同原始紋理的4.8倍壓縮,方案A則達到原始格式超過9倍壓縮率,以NVIDIA的分析工具僅有5%的品質耗損;而更為激進的方案B則潛在影像解析度降低至原始的1/2、1/4及1/8,使壓縮倍率趨近18倍,雖然工具測試結果仍僅有6-7%,不過Intel表示這樣的品質耗損在主要物件可能會被玩家察覺。

Intel在2025年GDC介紹TSNC的原型技術後,整個TSNC已使用Slang運算著色器重購,開發者無論是在Unreal Engine、自研引擎或使用CPU進行紋理解壓縮,同一段的解壓縮程式碼都可針對正確後端執行。

此外TSNC也不僅限於具備XMX的Intel GPU,可使FMA方案向下相容方式在CPU及不具備XMX的非Intel GPU執行,但當然搭配具備XMX以硬體加速執行的Intel Arc GPU的效果還是最好。

Intel TSNC技術講者也分析四種TSNC技術的佈署策略的優劣,包括在安裝階段、載入階段、串流階段與取樣階段;安裝階段仍需在硬碟存放未壓縮紋理,主要省去傳輸的頻寬;載入階段則將紋理壓縮後存放在硬碟,可縮減安裝容量並降低載入繼顯示卡記憶體的壓力;串流階段採用TSNC可依據需求進行解壓縮,兼具降低硬碟與顯示記憶體空間,但對推論負擔變高;取樣階段則是把紋理永久壓縮存放在顯示卡記憶體,並在著色器逐像素解碼,能夠大幅降低顯示卡記憶體占用,不過同樣需要較高的推論資源。

▲利用XMX可大幅提升執行效率
▲Intel預計在2026年內釋出開發者用的Beta版SDK

Intel在一款配有Arc B390的Panther Lake筆電以1080p解析度進行基準測試,顯示XMX加速器比起傳統FMA方式大幅提升的執行效率。Intel預計在2026年針對開發者釋出Alpha版SDK,不過Beta及正式版的推出時程還未公布。

❌