現在剪視頻,已經可以精準到每一個字了!
(相關資料圖)
只需點擊你要刪減或者要留下的單詞,AI分分鐘都能給你整出新的視頻來。
這操作,有點大爆炸功能內味了。老羅:打錢!
不管是MV、訪談、電影片段各種類型視頻,也不論有無字幕,通通不在話下。
網友們紛紛開始試玩了起來。比如讓rick roll鬼畜起來~
就連中文視頻也能Hold住。實測Demo發現,它甚至直接翻譯成了英文。
不過這也并不影響整個操作,畢竟背后模型是支持中文在內的多個語言的。
精準到每個字剪視頻只需三步,就可以輕松完成精準到字的視頻剪輯——
上傳視頻、選擇刪減/留下的單詞、下載視頻。
釋出的有三個示例,烹飪的美食視頻、小扎采訪、以及「Just Do IT」……
當然你也可以自己試玩,各種語言都能識別。比如就以讓子彈飛一段經典對白為例。
綠色代表保留,紅色代表刪除。你有三種選擇:剪輯、選擇所有單詞、重新設置。
任意選擇保留單詞之后,就可以「Cut Video」了。此處選擇兩處跳脫的臺詞。最終只花了不到十秒鐘就完成了剪輯。
畫面切換可以說是十分順滑了~整個Demo試玩在T4上運行。
基于Whisper模型
這是個荷蘭開發者Matthijs Hollemans在HuggingFace上基于Whisper開發的新功能。
Whisper是OpenAI于去年9月開源的語音識別神經網絡,經過68萬小時的多語言和多任務監督網絡數據的訓練,其魯棒性和準確性接近人類水平。它可以進行多語言轉錄,以及其他語言將翻譯成英文。
它是基于Transformer端到端實現架構,無需任何微調。輸入音頻被分成30秒的塊,轉化為梅爾倒譜(音頻特征提取方式之一,log-Mel spectrogram),然后傳入編碼器。
好了,試玩Demo在此,感興趣的旁友可戳:https://huggingface.co/spaces/radames/whisper-word-level-trim
關鍵詞:
質檢
推薦