蓋世汽車(chē)訊 據(jù)外媒報(bào)道，英偉達(dá)（Nvidia）AI研究人員開(kāi)發(fā)了一種方法，通過(guò)使用超快速神經(jīng)網(wǎng)絡(luò)訓(xùn)練和快速渲染，可將數(shù)十張2D圖像快速轉(zhuǎn)換為3D場(chǎng)景。這一過(guò)程稱(chēng)作逆渲染，利用AI模仿真實(shí)世界中光線(xiàn)的行為，將從不同角度拍攝的2D圖像轉(zhuǎn)換成3D場(chǎng)景。

（圖片來(lái)源：英偉達(dá)）

英偉達(dá)研究人員將該新方法應(yīng)用于名為神經(jīng)輻射場(chǎng)（NeRF）技術(shù)，從而開(kāi)發(fā)出新的Instant NeRF（即時(shí)NeRF）技術(shù)，這是迄今為止最快的NeRF技術(shù)，在某些情況下，相比其他技術(shù)，其速度要快1000多倍。盡管Instant NeRF也需要拍攝照片的攝像頭角度數(shù)據(jù)，但其所使用的神經(jīng)模型只需幾秒鐘就可以訓(xùn)練幾十張靜態(tài)照片。

英偉達(dá)圖形研究副總裁在博客中進(jìn)一步闡述了NeRF和Instant NeRF之間的區(qū)別。David Luebke表示，“如果多邊形網(wǎng)格這類(lèi)傳統(tǒng)3D表示方式類(lèi)似于矢量圖像，那么NeRF就像位圖圖像，密集地捕捉光線(xiàn)從物體或場(chǎng)景中輻射的方式。從這個(gè)意義而言，Instant NeRF對(duì)于3D的重要性可能不亞于數(shù)碼攝像頭和JPEG壓縮對(duì)于2D攝影的重要性，極大地提高了3D捕捉和共享的速度、易用性和可實(shí)現(xiàn)性?！?/p>

通過(guò)使用神經(jīng)網(wǎng)絡(luò)，NeRF能夠基于2D圖像的輸入集合呈現(xiàn)逼真的3D場(chǎng)景。然而，最有趣的部分是用于創(chuàng)建這些圖像的神經(jīng)網(wǎng)絡(luò)如何能夠填補(bǔ)2D圖像之間的空白，即使圖像中的物體或人被障礙物阻擋。

通常情況下，由于可視化的復(fù)雜性和分辨率不同，使用傳統(tǒng)方法創(chuàng)建3D場(chǎng)景可能需要數(shù)小時(shí)甚至更長(zhǎng)時(shí)間。而引入AI，即使是早期的NeRF模型也能夠在經(jīng)過(guò)幾個(gè)小時(shí)的訓(xùn)練后，在幾分鐘內(nèi)呈現(xiàn)出沒(méi)有偽影的清晰場(chǎng)景。英偉達(dá)的Instant NeRF采用該公司開(kāi)發(fā)的多分辨率哈希網(wǎng)格編碼技術(shù)，能夠?qū)⑺桎秩緯r(shí)間縮短幾個(gè)數(shù)量級(jí)。這一技術(shù)經(jīng)過(guò)優(yōu)化，可在英偉達(dá)GPU上高效運(yùn)行。

未來(lái)，Instant NeRF技術(shù)可用于快速創(chuàng)建虛擬世界的場(chǎng)景，以3D方式捕捉視頻會(huì)議參與者及其所處環(huán)境，或?yàn)?D數(shù)字地圖重建場(chǎng)景，或用于訓(xùn)練機(jī)器人和自動(dòng)駕駛汽車(chē)，以使其根據(jù)所捕獲的現(xiàn)實(shí)世界物體的2D圖像或視頻片段，更好地理解物體的大小和形狀。此外，建筑和娛樂(lè)行業(yè)可以使用 Instant NeRF快速生成真實(shí)環(huán)境的數(shù)字呈現(xiàn)，創(chuàng)作者可在此基礎(chǔ)上進(jìn)行修改和構(gòu)建。英偉達(dá)的研究人員還在探索如何利用新的輸入編碼技術(shù)加速解決各種AI挑戰(zhàn)，如強(qiáng)化學(xué)習(xí)、語(yǔ)言翻譯和通用深度學(xué)習(xí)算法。

關(guān)鍵詞： NeRF Instant