藏師傅位元組Seedance 1.5 Pro 影片模型首測！ 這次支持了音畫同出，更驚訝的是還支持方言生成，同時表演中的情緒表達和複雜運鏡也都有非常大的進步 可以去火山引擎、豆包和即夢嘗試，先看一下藏師傅的測試影片混剪 以下是具體的測驗和提示詞👇
懶得等施工🚧可以直接在這裡看長文： mp.weixin.qq.com/s/LDYnJi5VvUuM…lC
首先我找了一個可能沒那麼方言的方言陝西話，很多人說普通話的人可能聽得懂，但又有一些讀音很獨特的詞。 這種一般是比較難的，因為素材跟國語太接近了，而且很多詞不好標註，只有真的下功夫才能搞好。 同時場景選了我每天看的陝西麵食吃播場景，文生視頻，看一下整個畫面和音頻的融合程度，吃東西的時候也會影響說話，可以考驗模型對於場景的判斷。 結果相當驚喜，「聊咋咧」和「美滴很」這兩個比較難的詞都說出來了，而且音調也確實是陝西話的音調。 意外的是提示詞遵循比較好，知道先說一句然後喝飲料再說一句。 邊喝邊說的時候也沒有完全把瓶子放在嘴裡，這時候就不能說話了，它知道說的時候拿開瓶子，然後再喝一口再說，非常真實。
然後是四川方言，我選了一個非常有挑戰性的場景，在提示詞裡面加入了三個年齡不同、性別不同、打扮相差也很大的角色，說著不同的話。 這個提示詞說實話難度有點大了，但Seedance 1.5 Pro 確實給了我很大的驚喜，每次抽卡都能比較好的遵循提示詞完成任務。 每個人都在用自己角色應該有的音色和音調在說話，而且不會串，“巴適得其反板”這種四川話獨有的詞也說的不錯。 我是沒有指定鏡頭運動方式的，它自己會將鏡頭通過類似搖臂旋轉的方式對準正在說話的人，而且還有一點類似手持設備的晃動，鏡頭為止也在麻將桌沒有露面的那個角色那裡，看起來就像那個人手持拍攝一樣。 背景虛化之後的其他人也都在運動和做自己的事情，加上非常有市井氣息的對話，這12 秒的影片變得異常的真實。
最後是粵語，這裡也選了一個相當有市井生活氣息的餐廳場景，依然文生影片。 生成出來的時候這個運鏡真的頂，直接非常順滑的從服務生的背面切換到正面，而且說話的時候很自然的打到男生的臉上。 提示詞遵循也非常好，每個提示詞中的細節都兼顧到了，還有所有動作台詞的時間順序。 對話裡面以我這個不太懂粵語的人聽，還挺是那個味的，粵語特有的發音也都可以說，也歡迎「粵語警察」提意見。
現在各種AI 影視爆款裡面牽涉到音畫同出的除了各種真實人像之外，寵物AI 影片的流量也佔了半壁江山，所以這裡也需要檢視一下寵物的聲音和唇形同步。
首先是小貓吃播，吃播對於音效和表情要求很高，吃東西必須得是跟視頻材質相同的視頻，這裡小貓吃煎餃咔滋咔滋的聲音就讓人聽的非常有食慾。 而且貓咪在咀嚼的時候很好的表現了出了非常擬人的為食物陶醉的表情，但是有沒有恐怖谷的問題，相當不錯。
這裡讓貓咪說人話，除了嘴型以外還有解刨結構的考驗，很多視頻動物說人話的時候嘴裡的舌頭和牙齒就會變得像人，這裡Seedance 1.5 Pro 就很好。 模型輸出的也是類似孩子的聲音，最後我們還用...來表示說話的節奏和表現睏意，生成的時候也按照對應的節奏放慢了說話速度。
既然說到了音畫同出的能力，那麼模型的表演能力和情緒表現也是非常重要的部分，很多時候情緒或者表演能力跟音頻的關係相當大，只有畫面的時候表現力是不夠的。
這裡主要表現的是恐懼壓抑和懇求的複雜情緒，眼睛這裡很傳神，將恐懼害怕同時又由於的情緒表現的很好。 第一句話的時候先是聲音很低的，這時候彷彿還沒下定決心，等到第二句話的時候就表現出那種反正說都說了膽子都大了，同時聲音也變大了。 在第二句話的時候畫面的變化也在同步發生，眼神明顯堅定了許多。 在大口呼吸的時候脖子部分的運動以及嘴上的口水都非常好的表現了出來，進一步增加了真實感。
測試在2D 風格化畫風下的唇形同步以及臉部情緒表現。 沒想到在側臉加2D 的情況下模型的唇形同步、表情以及情緒變化還能表現的這麼好，而且也沒有出現向3D 轉換的傾向相當穩定。 最後的啜泣聲音與說話的聲音融合的也非常好，碰到機器人的時候也有跟金屬碰撞的聲音，細節表現相當不錯了。
這次更新的模型對於複雜運鏡控制的表現也好了很多，可能你透過前面的一些案例也可以看出來，我們再來點難得。
首先是大家熟知的高階運鏡技巧希區考克變焦。 我們這裡搞的非常的離譜了，一個連續12 秒而且速度非常快的希區考克變焦，現實還是很難搞的，沒想到它居然搞定了。 人物的表情也會有微妙的變化，同時音效也會跟隨變焦的速度與主角呼吸的節奏變化，對於人物緊張的情緒渲染的異常的到位。
這是一個長鏡頭測試，對於每個區域的規定也很詳細。 可以看到每個部分中提示詞要求的內容都有呈現，同時在人物遮擋前和遮擋後都保持了很好的一致性。 運鏡部分非常穩定，而且在比較難得轉彎部分以及最後人物停止之後擦汗的部分都嚴格遵循了提示詞的要求，尤其最後鏡頭變焦到人臉的時候相當順滑。
今天，火山引擎正式發布豆包影片生成模型Seedance 1.5 pro，即日起，個人用戶可在即夢AI、豆包APP、火山方舟體驗中心體驗；企業用戶自12月23日起可在火山引擎使用該模型API。
