智東西編譯 程茜編輯 李水青
智東西9月17日消息,今天,斯坦福大學(xué)教授、“AI教母”李飛飛的創(chuàng)業(yè)公司W(wǎng)orld Labs公布空間智能模型的最新研究成果,并發(fā)布用戶可以查看和創(chuàng)建3D世界的測試預(yù)覽版Marble平臺。
李飛飛連發(fā)兩條帖子盛贊新模型,她對3D世界生成的進展感到興奮,并且對模型已經(jīng)可以生成極其龐大的3D世界大吃一驚。
給定圖像或文本提示,其模型會生成持久、可導(dǎo)航、可控的3D世界,且不會在用戶探索過程中發(fā)生變形、內(nèi)容不一致以及時間限制。World Labs的博客提到,與之前的結(jié)果相比,現(xiàn)在生成的世界更大、風(fēng)格更多樣化、并且具有更簡潔的3D幾何體。
▲World Labs空間智能模型生成效果演示
用網(wǎng)友在評論區(qū)詢問World Labs新模型和谷歌Genie項目的區(qū)別,李飛飛回復(fù)稱,World Labs的模型生成的3D世界將永久存續(xù),用戶可隨心所欲地在這個世界中自主導(dǎo)航無需支付任何費用。
目前,用戶想要體驗Marble可以加入等待名單獲取使用資格。
加入候補名單鏈接:https://www.worldlabs.ai/waitlist
3D內(nèi)容生成的愛好者和開發(fā)者可以將生成的世界導(dǎo)出為高斯splats,并在下游項目中使用它們?;赪orld Labs的開源渲染庫Spark,用戶能將高斯splats無縫集成到Three.js中,以構(gòu)建基于Web的3D體驗,并在臺式機、筆記本電腦、移動設(shè)備和VR頭顯上高效渲染。
World Labs官方X賬號的評論區(qū),不少網(wǎng)友已經(jīng)開啟夸夸模式,有人稱這項技術(shù)將非常適合視頻游戲和虛擬現(xiàn)實,還有人說這讓他想起了第一次運行谷歌地球的場景。
一、零成本自由切換視角漫游,更具幾何復(fù)雜度
對于視覺創(chuàng)作者而言,在一個連貫的3D世界中進行漫游與交互的能力,是眾多工作流程與應(yīng)用場景的核心需求。World Labs空間智能模型生成的3D世界支持用戶在瀏覽器內(nèi)自由切換視角進行漫游,且完全零成本。
相較于深度圖或點云所提供的有限3D體驗,其生成的3D世界具備更豐富的幾何復(fù)雜度,能生成更完整的3D場景,用戶不僅能看到輸入視圖中可見的內(nèi)容,還可以查看其背后及視野之外的部分。
與此同時,其博客還提到,他們當(dāng)前的模型旨在創(chuàng)建3D環(huán)境,而不是專注于人或者動物的孤立或中心對象。
在生成式AI的相關(guān)應(yīng)用中,用戶可以在創(chuàng)作過程中自由迭代調(diào)整作品的觀感風(fēng)格。World Labs的模型可將多種風(fēng)格迥異的輸入內(nèi)容轉(zhuǎn)化為3D形式,包括色彩鮮明的平面卡通、細節(jié)豐富的寫實圖像等。
如下面的卡通、科幻等諸多場景。
基于模型的風(fēng)格連貫性和幾何一致性,用戶能夠探索、瀏覽更大尺度的3D世界,并衍生出更多應(yīng)用場景。
例如下面的超大地下洞穴場景,跟隨鏡頭移動也沒有發(fā)生畫面不一致等。
還有下面色彩風(fēng)格多樣,手繪風(fēng)格痕跡也保留了下來:
下面是大理石風(fēng)格類似于樹洞的房子:
二、早期體驗者評價:工作時間從數(shù)月縮短到幾分鐘,像電影制作人在3D場景計劃拍攝
World Labs的博客中,還摘取了不少早期用戶的體驗感受:
有體驗者認為World Labs提供的方案能讓他像電影制作人一樣在連貫且一致的3D場景中計劃拍攝:
還有創(chuàng)作者稱這一方案使他之前需要數(shù)周甚至數(shù)月的工作可以在幾分鐘內(nèi)完成;VR電影制作人非常期待挖掘這一方案的未來應(yīng)用潛力:
結(jié)語:構(gòu)建大型3D世界應(yīng)用潛力激增
World Labs模型的一致性和風(fēng)格依從性,使得用戶構(gòu)建大型3D世界成為可能,能保證不同場景之間不會割裂。不過其博客也提到,當(dāng)下仍然是3D模型發(fā)展的早期。
目前已經(jīng)有不少早期體驗者利用Marble的3D世界構(gòu)建功能來增強他們的創(chuàng)造力和生產(chǎn)力。未來這一工具的普及,或能使動漫創(chuàng)作者、游戲開發(fā)者等創(chuàng)意人士都能從中受益。