突破實時生成瓶頸，Soul CEO張璐團隊發布開源模型SoulX-LiveAct

2026-04-10 17:14:28 來源：今日熱點網

突破實時生成瓶頸，Soul CEO張璐團隊發布開源模型SoulX-LiveAct

聚焦長時穩定與實時推理，Soul CEO張璐團隊開源SoulX-LiveAct模型

近日，Soul App CEO張璐團隊宣布，其AI研究團隊Soul AI Lab正式發布開源模型SoulX-LiveAct。作為面向實時數字人生成的重要技術成果，該模型圍繞“長時穩定”與“實時流式”兩大核心目標，對現有生成范式進行了系統性優化。在數字人直播、視頻播客以及實時互動場景不斷擴展的背景下，SoulX-LiveAct為實時生成技術的工程化落地提供了新的實現路徑。

隨著人工智能在內容生成領域的應用加速，數字人技術逐漸從實驗性演示走向實際應用場景。然而，在長時間運行的情況下，傳統生成模型往往難以保持一致表現。當視頻生成時長延伸至分鐘甚至小時級，模型容易出現身份漂移、細節退化、畫面閃爍等問題，同時推理成本也會隨時間增加而上升。

針對上述挑戰，SoulX-LiveAct在整體架構上采用自回歸擴散（AR Diffusion）范式，并引入Neighbor Forcing與ConvKV Memory兩項關鍵機制，構建面向長時序生成的穩定體系。在具體實現上，模型以chunk為基本生成單元，通過逐段生成與上下文銜接，實現連續的視頻輸出。在每個chunk內部，擴散模型負責細節建模，而在chunk之間，通過條件信息傳遞實現動作與身份的一致延續，從而形成完整的流式推理閉環。

在核心機制方面，Neighbor Forcing通過在同一擴散步內傳播相鄰幀的latent信息，使模型在統一的噪聲語義空間中進行預測，有效降低訓練與推理過程中因分布不一致帶來的不穩定因素。與此同時，ConvKV Memory對歷史信息進行結構性壓縮，將傳統線性增長的緩存轉化為“短期精確+長期壓縮”的組合形式：近期信息保留高精度以保證局部細節，遠期信息通過輕量卷積進行壓縮，從而在控制內存占用的同時保留關鍵上下文信息。此外，模型還通過RoPE Reset對位置編碼進行對齊，進一步減少長序列生成中的位置漂移問題。

在推理效率方面，SoulX-LiveAct強調“穩定延遲”與“恒定顯存”。通過ConvKV Memory機制，歷史信息不再隨時間線性增長，使顯存占用保持在固定范圍內。這一設計使得模型在長時間運行過程中，計算與通信成本保持穩定，不會隨著視頻長度增加而顯著上升。在實際性能表現上，系統在512×512分辨率下，可在2×H100/H200硬件條件下實現20 FPS的流式推理，同時端到端延遲約為0.94秒，計算成本為27.2 TFLOPs/frame，體現出較為均衡的實時性與資源利用效率。

在多項評測基準中，SoulX-LiveAct也展示了其綜合性能優勢。在HDTF數據集上，模型取得9.40的Sync-C與6.76的Sync-D，在分布相似性指標上達到10.05 FID與69.43 FVD，并在VBench中獲得97.6的Temporal Quality與63.0的Image Quality，VBench-2.0的Human Fidelity達到99.9。在EMTD數據集上，模型同樣保持領先表現，取得8.61 Sync-C與7.29 Sync-D，并在VBench中實現97.3的Temporal Quality與65.7的Image Quality，Human Fidelity達到98.9。這些結果表明，該模型在口型同步、動作一致性以及整體畫面穩定性方面具備較強能力。

基于上述性能表現，SoulX-LiveAct能夠支持多種需要長期在線運行的應用場景，包括數字人直播、AI教育、智慧服務終端以及知識內容生產等。在開放世界互動場景中，數字角色需要在長時間交互過程中持續保持一致表達能力。SoulX-LiveAct在全身動作數據集上的表現以及其實時流式推理能力，使其具備支持此類復雜場景的基礎條件。

SoulX-LiveAct的發布，也延續了Soul AI團隊在實時數字人方向的技術布局。此前，團隊已開源SoulX-FlashTalk與SoulX-FlashHead兩個模型，分別在超低延遲與輕量化部署方面進行了探索。此外，團隊還在語音與交互領域推出了SoulX-Podcast、SoulX-Singer以及SoulX-Duplug等模型與模塊，逐步構建圍繞“實時交互”的多模態技術體系。

通過持續開放模型與技術方案，Soul CEO張璐團隊不僅推動了自身AI能力的迭代，也為開發者社區提供了可復用的技術基礎，促進更多應用場景的探索與落地。

免責聲明：市場有風險，選擇需謹慎！此文僅供參考，不作買賣依據。

標簽：