<p class="ql-block"> 讓照片中的人說話甚至唱歌已不是什么新鮮事，很多AI工具（如Sonic、即夢(mèng)AI等）都能實(shí)現(xiàn)。但這類AI工具大多只支持單人對(duì)口型，即只能讓單人照片開口說話或唱歌。要支持多人對(duì)口型，讓照片中的兩個(gè)甚至更多的人開口說話或唱歌，那恐怕就非MultiTalk莫屬了。</p><p class="ql-block"> MultiTalk是中山大學(xué)深圳校區(qū)、美團(tuán)和香港科技大學(xué)聯(lián)合推出的一款基于音頻驅(qū)動(dòng)的多人對(duì)話視頻生成工具，它不但能為多人對(duì)口型，還能生成較豐富的表情和動(dòng)作，讓視頻更加逼真。</p><p class="ql-block"> 目前MultiTalk已開源，可以在ComfyUI中導(dǎo)入相關(guān)工作流免費(fèi)使用。不過要在本地運(yùn)行必須有足夠強(qiáng)勁的硬件特別是顯卡。我的顯卡是GeForce RTX 4060 Ti，16GB顯存，在ComfyUI 中運(yùn)行MultiTalk的工作流十分吃力，反復(fù)嘗試了多次才勉強(qiáng)可用。</p><p class="ql-block"> 下面是我用一張老照片通過MultiTalk生成的一段雙人對(duì)話的視頻（雖只有短短十幾秒，但因顯存太少，仍不得不分兩次生成，最后再用視頻編輯軟件將兩段視頻合在一起）：</p> <h3 style="text-align: center"><font color="#167efb">兄妹對(duì)話</font></h3>