Netflix 與索菲亞大學共同開發影片編輯 AI 模型 VOID，可一鍵移除畫面物件並自動修正物理互動，盲測中贏得 64.8% 使用者偏好度，已在 Hugging Face 開源釋出。

串流影音巨頭Netflix正式搭上生成式AI的列車！根據最新發表的研究論文指出，Netflix內部團隊聯合索菲亞大學 (Sofia University)共同開發一款名為「VOID」的視覺語言模型 (VLM)。這款專為影片編輯打造的AI模型，不僅能將畫面中不需要的物件「一鍵抹除」，它還能自動運算，並且填補出移除該物件後，畫面中其他元素在物理上該有的合理互動與軌跡。

這項堪稱後製神器的工具目前在Hugging Face平台以開源形式釋出，預期將為全球影視產業的特效後製流程帶來顛覆性改變。

什麼是VOID？不僅移除物件，更理解「物理因果關係」

這款名為VOID (Video Object and Interaction Deletion，影片物件與互動刪除)的AI模型，其最大的技術突破在於突破傳統AI影片修補 (Inpainting)的極限。

過去AI工具若要抹除影片中的物件，通常只是用背景像素去填補空缺；但如果該物件與環境有「物理互動」，畫面就會破綻百出。而VOID具備理解複雜動態的物理邏輯運算能力，Netflix在論文中舉了兩個極具代表性的應用場景：

從「車禍爆炸」變成「安全駕駛」： 假設導演剛拍完一場兩車對撞、碎片與火光四射的千萬級車禍大戲，但製片突然要求修改劇本讓主角活下來。後製團隊不需要花大錢重拍，只需透過VOID抹除對向來車，AI就會自動消除原本撞擊產生的碎片、煙霧與火光，並且生成主角車輛繼續平穩行駛在乾淨柏油路上的「合理畫面」。

從「跳水濺起水花」變成「平靜無波」： 若畫面中有一人跳入泳池並濺起巨大水花，當你使用VOID移除該名跳水者時，AI不僅會讓人消失，還會同時抹去被激起的水花與漣漪，還原出一個完全無人打擾、水面平靜的泳池。

效能碾壓對手，高達65%受測者偏好VOID

在目前的AI影片後製市場中，已經存在如Runway、ProPainter、DiffuEraser與Generative Omnimatte等多款知名工具。

然而，由Netflix與索菲亞大學研究人員 (包含Saman Motamed、William Harvey等人)組成的團隊在測試中發現，VOID在處理這類「涉及複雜動態與物理互動」的抹除任務時，表現大幅超越現有競品。

在一項涵蓋多種場景、共25人參與的盲測調查中，VOID獲得高達64.8%的壓倒性偏好度；作為對照，目前市場上極受歡迎的Runway僅以18.4%的偏好度位居第二。

擁抱開源社群，已於Hugging Face上架

Netflix並未將這項強大的技術作為內部專用的封閉資產，目前已經將VOID模型上架至知名的開源AI社群平台Hugging Face，意味全世界的開發者、特效師與獨立影像創作者，都能免費下載，並且將其整合到自己的工作流中。

分析觀點

做為一家內容平台，Netflix為什麼要大費周章地研發AI影片編輯模型？答案很簡單：為了極致的內容產製效率與成本控制。

Netflix每年投資數百億美元在全球製作原創影集與電影。在影視製作中，後製特效 (VFX)往往是極度耗時且昂貴的環節。無論是要抹除畫面中不小心穿幫的麥克風收音桿、清除背景裡不連戲的臨時演員，或是像VOID論文中提到的大規模場景修改，過去都需要特效師進行逐格的描邊 (Rotoscoping)與CGI修補。

有像VOID這類具備「物理常識」的AI模型，後製團隊修圖效率將得到指數級的提升。而Netflix選擇將其「開源」，不僅能為自己博得開發者社群的好感，更是仿效Meta等科技巨頭的戰略——透過釋出強大的基礎工具，實質上定義、主導未來影視產業的AI軟體生態標準。

影視後製業界有一個公開的秘密：從影片中移除一個物體很容易，但讓畫面看起來「它從來不存在」卻極度困難。拿掉畫面中 […]

The post Netflix 開源 AI 模型「VOID」：不只是移除物體，還能「重現物理法則」 appeared first on 電腦王阿達.