這項(xiàng)由香港大學(xué)的涂遠(yuǎn)鵬、趙恒爽教授等人與阿里巴巴達(dá)摩院合作完成的研究于2025年1月發(fā)表在計(jì)算機(jī)視覺(jué)頂級(jí)會(huì)議上，研究成果名為"VideoAnydoor: High-fidelity Video Object Insertion with Precise Motion Control"。想要深入了解技術(shù)細(xì)節(jié)的讀者可以通過(guò)論文地址https://videoanydoor.github.io獲取完整論文。
想象一下，你正在制作一個(gè)視頻，突然想把一只可愛(ài)的貓咪放進(jìn)海灘的畫(huà)面里，讓它沿著海浪的軌跡奔跑?；蛘吣阆朐谝欢纬鞘酗L(fēng)景視頻中添加一輛跑車(chē)，讓它按照你設(shè)定的路線行駛。在以前，這樣的視頻編輯需要專(zhuān)業(yè)的特效團(tuán)隊(duì)花費(fèi)數(shù)天甚至數(shù)周的時(shí)間，而且效果往往不夠自然。但現(xiàn)在，香港大學(xué)的研究團(tuán)隊(duì)開(kāi)發(fā)出了一項(xiàng)革命性的技術(shù)，讓這一切變得像在畫(huà)布上移動(dòng)拼圖塊一樣簡(jiǎn)單。
這項(xiàng)名為VideoAnydoor的技術(shù)就像是給視頻編輯裝上了一雙神奇的手。它可以把任何物體精確地插入到視頻中，不僅保持物體的所有細(xì)節(jié)特征，還能讓物體按照你想要的路徑自然地移動(dòng)。更令人驚嘆的是，這項(xiàng)技術(shù)不需要任何預(yù)先訓(xùn)練或調(diào)整，你只需要提供一張參考圖片和一條運(yùn)動(dòng)軌跡，系統(tǒng)就能自動(dòng)完成整個(gè)插入過(guò)程。
傳統(tǒng)的視頻編輯就像是在黑暗中摸索拼圖。以往的方法通常分為兩個(gè)步驟：先在第一幀中插入物體，然后試圖讓這個(gè)物體在后續(xù)幀中保持一致的外觀和運(yùn)動(dòng)。這種方法的問(wèn)題在于，如果第一步出了差錯(cuò)，整個(gè)視頻的效果就會(huì)受到影響。而且由于缺乏對(duì)物體身份信息的持續(xù)注入，插入的物體往往在視頻后半段會(huì)出現(xiàn)形變或失真，就像復(fù)印機(jī)復(fù)印多次后圖像變模糊一樣。
VideoAnydoor采用了完全不同的策略。研究團(tuán)隊(duì)將整個(gè)過(guò)程比作精心編排一場(chǎng)舞蹈表演。在這個(gè)比喻中，參考圖片就像是舞者的標(biāo)準(zhǔn)照片，軌跡線就像是舞蹈的編舞路線，而系統(tǒng)的任務(wù)就是確保舞者在整個(gè)表演過(guò)程中既保持自己的獨(dú)特特征，又能完美地跟隨編舞路線移動(dòng)。
這項(xiàng)技術(shù)的核心創(chuàng)新在于三個(gè)相互配合的組件。第一個(gè)組件叫做ID提取器，它的作用就像是一個(gè)非常細(xì)致的觀察者，能夠識(shí)別并記住參考物體的所有關(guān)鍵特征，包括顏色、紋理、形狀等細(xì)節(jié)。這個(gè)提取器使用了先進(jìn)的視覺(jué)編碼技術(shù)，能夠?qū)⑽矬w的身份信息壓縮成一組緊湊而富含信息的代碼。
第二個(gè)關(guān)鍵組件是像素變形器，這是整個(gè)系統(tǒng)中最具創(chuàng)新性的部分。如果把視頻編輯比作制作動(dòng)畫(huà)片，那么像素變形器就像是一個(gè)極其精密的動(dòng)畫(huà)師。它不僅能夠理解參考圖片中的每一個(gè)像素點(diǎn)，還能根據(jù)用戶提供的軌跡信息，精確地計(jì)算出這些像素點(diǎn)在視頻中每一幀的位置和變化。更重要的是，它能夠處理物體的姿態(tài)變化，確保插入的物體不會(huì)出現(xiàn)不自然的扭曲或變形。
第三個(gè)組件是一個(gè)經(jīng)過(guò)特殊訓(xùn)練的3D神經(jīng)網(wǎng)絡(luò)，它的作用類(lèi)似于一個(gè)經(jīng)驗(yàn)豐富的電影導(dǎo)演。這個(gè)網(wǎng)絡(luò)不僅要確保插入的物體在每一幀中都保持正確的外觀，還要處理光影、透視和與背景的融合等復(fù)雜問(wèn)題。它能夠理解視頻的時(shí)間連續(xù)性，確保物體的運(yùn)動(dòng)看起來(lái)自然流暢，沒(méi)有突兀的跳躍或斷層。
為了訓(xùn)練這個(gè)系統(tǒng)，研究團(tuán)隊(duì)面臨著一個(gè)巨大的挑戰(zhàn)：如何獲得足夠的高質(zhì)量訓(xùn)練數(shù)據(jù)。理想的訓(xùn)練數(shù)據(jù)應(yīng)該是"同一場(chǎng)景中不同物體"的視頻對(duì)，但這樣的數(shù)據(jù)在現(xiàn)實(shí)中極其稀少。研究團(tuán)隊(duì)想出了一個(gè)巧妙的解決方案，他們將這個(gè)問(wèn)題轉(zhuǎn)化為"同一視頻中不同時(shí)間點(diǎn)的物體"。具體來(lái)說(shuō)，他們從一個(gè)視頻中選擇一個(gè)片段，然后選擇距離這個(gè)片段最遠(yuǎn)的一幀作為參考圖片，這樣就確保了兩者之間有最大的差異性，模擬了真實(shí)應(yīng)用場(chǎng)景。
但僅僅有視頻數(shù)據(jù)還不夠。研究團(tuán)隊(duì)發(fā)現(xiàn)，高質(zhì)量的靜態(tài)圖片數(shù)據(jù)同樣重要，因?yàn)樗鼈儼烁S富的細(xì)節(jié)信息。為了讓靜態(tài)圖片也能參與視頻訓(xùn)練，研究團(tuán)隊(duì)開(kāi)發(fā)了一種圖片增強(qiáng)技術(shù)，通過(guò)模擬攝像機(jī)運(yùn)動(dòng)將靜態(tài)圖片轉(zhuǎn)換為動(dòng)態(tài)序列。這就像是給靜態(tài)照片添加了生命力，讓它們能夠在訓(xùn)練過(guò)程中發(fā)揮作用。
在軌跡控制方面，VideoAnydoor展現(xiàn)了前所未有的精確性。用戶可以通過(guò)多種方式指定物體的運(yùn)動(dòng)路徑：可以直接在視頻上畫(huà)線，可以標(biāo)記幾個(gè)關(guān)鍵點(diǎn)讓系統(tǒng)自動(dòng)連接，甚至可以簡(jiǎn)單地指定起始和結(jié)束位置讓系統(tǒng)自動(dòng)規(guī)劃路徑。系統(tǒng)會(huì)自動(dòng)分析這些軌跡信息，并確保插入的物體嚴(yán)格按照指定路徑移動(dòng)，同時(shí)保持自然的姿態(tài)變化。
為了確保訓(xùn)練效果，研究團(tuán)隊(duì)還引入了一種加權(quán)損失機(jī)制。這個(gè)機(jī)制的作用類(lèi)似于一個(gè)挑剔的藝術(shù)評(píng)論家，它會(huì)特別關(guān)注軌跡周?chē)膮^(qū)域，對(duì)這些關(guān)鍵區(qū)域的質(zhì)量要求更高。對(duì)于運(yùn)動(dòng)幅度較大的軌跡，系統(tǒng)會(huì)給予更多的關(guān)注和更嚴(yán)格的質(zhì)量控制，確保最終結(jié)果的精確性。
實(shí)驗(yàn)結(jié)果令人印象深刻。研究團(tuán)隊(duì)在多個(gè)維度上對(duì)VideoAnydoor進(jìn)行了全面評(píng)估。在身份保持方面，他們使用了CLIP分?jǐn)?shù)和DINO分?jǐn)?shù)等指標(biāo)來(lái)衡量插入物體與參考圖片的相似度。VideoAnydoor在這些指標(biāo)上的表現(xiàn)都顯著優(yōu)于現(xiàn)有方法，這意味著它能夠更準(zhǔn)確地保持物體的原始特征。在運(yùn)動(dòng)一致性方面，研究團(tuán)隊(duì)使用了專(zhuān)業(yè)的跟蹤算法來(lái)評(píng)估物體運(yùn)動(dòng)的準(zhǔn)確性，結(jié)果顯示VideoAnydoor的運(yùn)動(dòng)控制精度達(dá)到了92.5%，遠(yuǎn)高于其他方法。
更重要的是，VideoAnydoor在保持未編輯區(qū)域不變方面表現(xiàn)出色。傳統(tǒng)方法經(jīng)常會(huì)意外改變視頻中不應(yīng)該被修改的部分，而VideoAnydoor通過(guò)精確的掩碼控制和區(qū)域隔離技術(shù)，確保只有指定區(qū)域被修改，其他區(qū)域保持完全不變。這一點(diǎn)對(duì)于實(shí)用性來(lái)說(shuō)至關(guān)重要，因?yàn)橛脩敉ǔＶ幌胄薷囊曨l的特定部分，而不希望其他內(nèi)容受到影響。
VideoAnydoor的應(yīng)用范圍極其廣泛。在電影制作領(lǐng)域，它可以用于快速添加特效元素，比如在爆炸場(chǎng)景中添加飛行的碎片，或者在追車(chē)戲中插入額外的車(chē)輛。在廣告制作中，它可以輕松地在不同場(chǎng)景中展示產(chǎn)品，大大降低拍攝成本。對(duì)于社交媒體內(nèi)容創(chuàng)作者來(lái)說(shuō)，這項(xiàng)技術(shù)開(kāi)啟了無(wú)限的創(chuàng)意可能性，他們可以將自己或任何物體插入到有趣的視頻場(chǎng)景中。
在虛擬試裝領(lǐng)域，VideoAnydoor展現(xiàn)了特殊的潛力。傳統(tǒng)的虛擬試裝通常只能處理靜態(tài)圖片，而這項(xiàng)技術(shù)可以讓用戶看到服裝在動(dòng)態(tài)場(chǎng)景中的效果。用戶可以上傳一張服裝圖片，然后觀看它在不同運(yùn)動(dòng)狀態(tài)下的表現(xiàn)，這對(duì)于在線購(gòu)物來(lái)說(shuō)是一個(gè)巨大的進(jìn)步。
換臉技術(shù)是VideoAnydoor的另一個(gè)重要應(yīng)用領(lǐng)域。與傳統(tǒng)的換臉技術(shù)相比，VideoAnydoor可以更好地保持面部特征的細(xì)節(jié)，同時(shí)確保面部表情和頭部運(yùn)動(dòng)的自然性。這項(xiàng)技術(shù)在電影后期制作、視頻通話美化等場(chǎng)景中有著廣闊的應(yīng)用前景。
多區(qū)域編輯功能讓VideoAnydoor更加實(shí)用。用戶可以同時(shí)編輯視頻中的多個(gè)區(qū)域，比如同時(shí)替換背景中的建筑物和前景中的人物。系統(tǒng)能夠智能地處理這些不同區(qū)域之間的關(guān)系，確保整體效果的協(xié)調(diào)性。這種能力使得復(fù)雜的視頻編輯任務(wù)變得簡(jiǎn)單可行。
從技術(shù)實(shí)現(xiàn)角度來(lái)看，VideoAnydoor采用了端到端的訓(xùn)練策略，這意味著整個(gè)系統(tǒng)被作為一個(gè)整體進(jìn)行優(yōu)化，而不是分別訓(xùn)練各個(gè)組件。這種方法確保了各個(gè)組件之間的最佳協(xié)調(diào)，提高了整體性能。系統(tǒng)基于Stable Diffusion XL架構(gòu)，這是目前最先進(jìn)的圖像生成模型之一，為高質(zhì)量的視頻編輯提供了堅(jiān)實(shí)的基礎(chǔ)。
在數(shù)據(jù)處理方面，研究團(tuán)隊(duì)收集了超過(guò)50萬(wàn)個(gè)樣本的訓(xùn)練數(shù)據(jù)，涵蓋了從高質(zhì)量電影片段到用戶生成內(nèi)容的各種類(lèi)型。這些數(shù)據(jù)經(jīng)過(guò)精心篩選和標(biāo)注，確保了模型能夠?qū)W習(xí)到各種場(chǎng)景下的物體插入規(guī)律。訓(xùn)練過(guò)程使用了16個(gè)NVIDIA A100 GPU，耗時(shí)約一個(gè)月，這樣的計(jì)算規(guī)模體現(xiàn)了研究團(tuán)隊(duì)對(duì)技術(shù)質(zhì)量的堅(jiān)持。
實(shí)際使用時(shí)，VideoAnydoor的操作流程極其簡(jiǎn)單。用戶只需要上傳一個(gè)視頻文件和一張參考圖片，然后在視頻上繪制希望物體移動(dòng)的軌跡。系統(tǒng)會(huì)自動(dòng)處理剩余的所有工作，包括物體檢測(cè)、背景分析、運(yùn)動(dòng)規(guī)劃和最終的視頻合成。整個(gè)過(guò)程通常在幾分鐘內(nèi)完成，這對(duì)于傳統(tǒng)需要數(shù)小時(shí)甚至數(shù)天的視頻編輯工作來(lái)說(shuō)是一個(gè)巨大的進(jìn)步。
當(dāng)然，這項(xiàng)技術(shù)也存在一些局限性。研究團(tuán)隊(duì)誠(chéng)實(shí)地指出，VideoAnydoor在處理極其復(fù)雜的標(biāo)志或文字時(shí)仍然存在一些困難。這主要是因?yàn)檫@些元素通常包含大量的細(xì)節(jié)信息，而且對(duì)準(zhǔn)確性的要求極高。不過(guò)，研究團(tuán)隊(duì)認(rèn)為這個(gè)問(wèn)題可以通過(guò)收集更多相關(guān)數(shù)據(jù)或使用更強(qiáng)大的基礎(chǔ)模型來(lái)解決。
另外，雖然VideoAnydoor在大多數(shù)情況下都能產(chǎn)生令人滿意的結(jié)果，但在處理一些特殊場(chǎng)景時(shí)，比如極端的光照條件或復(fù)雜的物理交互，仍然可能出現(xiàn)一些不自然的現(xiàn)象。這提醒我們，雖然人工智能技術(shù)發(fā)展迅速，但要達(dá)到完美的視頻編輯效果，還需要持續(xù)的技術(shù)改進(jìn)和創(chuàng)新。
用戶研究結(jié)果顯示，VideoAnydoor在質(zhì)量、保真度、流暢性和多樣性等各個(gè)維度上都獲得了顯著高于現(xiàn)有方法的評(píng)分。20名測(cè)試用戶對(duì)比了不同方法的編輯結(jié)果，VideoAnydoor在所有評(píng)估項(xiàng)目中都獲得了最高分，平均評(píng)分達(dá)到3.7分（滿分4分），而其他方法的平均評(píng)分都在2.5分以下。
這項(xiàng)研究的意義遠(yuǎn)不止于技術(shù)本身。它代表了視頻編輯技術(shù)從專(zhuān)業(yè)工具向普通用戶工具轉(zhuǎn)變的重要步驟。在VideoAnydoor之前，高質(zhì)量的視頻編輯需要專(zhuān)業(yè)的軟件、豐富的經(jīng)驗(yàn)和大量的時(shí)間投入。而現(xiàn)在，普通用戶只需要提供簡(jiǎn)單的輸入，就能獲得專(zhuān)業(yè)級(jí)的編輯效果。
從商業(yè)角度來(lái)看，這項(xiàng)技術(shù)有著巨大的市場(chǎng)潛力。在線視頻內(nèi)容的爆炸式增長(zhǎng)創(chuàng)造了對(duì)高效視頻編輯工具的巨大需求。無(wú)論是短視頻平臺(tái)的內(nèi)容創(chuàng)作者、企業(yè)的市場(chǎng)營(yíng)銷(xiāo)團(tuán)隊(duì)，還是個(gè)人用戶，都可能成為這項(xiàng)技術(shù)的受益者。預(yù)計(jì)這項(xiàng)技術(shù)將很快被集成到各種視頻編輯軟件和在線服務(wù)中。
說(shuō)到底，VideoAnydoor代表了人工智能技術(shù)在創(chuàng)意領(lǐng)域應(yīng)用的一個(gè)重要里程碑。它不僅解決了一個(gè)具體的技術(shù)問(wèn)題，更是為未來(lái)的視頻創(chuàng)作開(kāi)辟了新的可能性。當(dāng)技術(shù)能夠如此精確地理解和操作視覺(jué)內(nèi)容時(shí)，我們可以預(yù)見(jiàn)，未來(lái)的內(nèi)容創(chuàng)作將變得更加自由、更加個(gè)性化，也更加富有想象力。
這項(xiàng)研究也展現(xiàn)了學(xué)術(shù)研究與產(chǎn)業(yè)需求結(jié)合的典型例子。香港大學(xué)與阿里巴巴達(dá)摩院的合作模式，既保證了研究的學(xué)術(shù)嚴(yán)謹(jǐn)性，又確保了技術(shù)的實(shí)用價(jià)值。這種合作方式可能會(huì)成為未來(lái)人工智能研究的重要模式，推動(dòng)更多有價(jià)值的技術(shù)從實(shí)驗(yàn)室走向?qū)嶋H應(yīng)用。
對(duì)于關(guān)注人工智能發(fā)展的人來(lái)說(shuō)，VideoAnydoor提供了一個(gè)觀察技術(shù)進(jìn)步的窗口。它展示了當(dāng)前人工智能在理解和生成視覺(jué)內(nèi)容方面已經(jīng)達(dá)到的水平，也提示了未來(lái)可能的發(fā)展方向。隨著計(jì)算能力的不斷提升和算法的持續(xù)優(yōu)化，我們有理由相信，更多類(lèi)似的突破性技術(shù)將會(huì)出現(xiàn)。
有興趣深入了解這項(xiàng)技術(shù)的讀者可以訪問(wèn)研究團(tuán)隊(duì)提供的項(xiàng)目網(wǎng)站https://videoanydoor.github.io，那里不僅有詳細(xì)的技術(shù)文檔，還有豐富的演示視頻和使用示例。這項(xiàng)技術(shù)的開(kāi)源版本也將很快發(fā)布，這將為研究社區(qū)和開(kāi)發(fā)者提供一個(gè)寶貴的工具和學(xué)習(xí)資源。
Q&A
Q1：VideoAnydoor技術(shù)是什么？它能做什么？
A：VideoAnydoor是香港大學(xué)開(kāi)發(fā)的視頻編輯技術(shù)，可以把任何物體精確插入到視頻中并控制其運(yùn)動(dòng)。你只需提供一張參考圖片和繪制運(yùn)動(dòng)軌跡，系統(tǒng)就能自動(dòng)將物體自然地插入視頻，保持所有細(xì)節(jié)特征的同時(shí)讓物體按指定路徑移動(dòng)。
Q2：VideoAnydoor和傳統(tǒng)視頻編輯軟件有什么區(qū)別？
A：傳統(tǒng)視頻編輯需要專(zhuān)業(yè)技能和大量時(shí)間，而VideoAnydoor讓普通用戶也能輕松完成專(zhuān)業(yè)級(jí)編輯。它采用端到端處理，不需要逐幀手動(dòng)調(diào)整，系統(tǒng)自動(dòng)保持物體特征和運(yùn)動(dòng)一致性，幾分鐘就能完成傳統(tǒng)方法需要數(shù)小時(shí)的工作。
Q3：普通用戶如何使用VideoAnydoor技術(shù)？
A：目前可以通過(guò)研究團(tuán)隊(duì)的項(xiàng)目網(wǎng)站https://videoanydoor.github.io了解詳情和觀看演示。雖然開(kāi)源版本即將發(fā)布，但完全普及的消費(fèi)級(jí)產(chǎn)品還需要一些時(shí)間。用戶只需上傳視頻和參考圖片，在視頻上畫(huà)出軌跡線即可。
