OpenAI 在連續 12 天發布新項目的活動中，宣布推出大家期待已久的 Sora 模型，Sora 模型最早在今年 2 月時便有了預告，只是後來一直都沒有動靜，現在終於推出了正式版本，從 Sora 的命名到使用方法與功能，塔塔在本篇都會一一告訴大家，讓大家一篇就了解！
Sora 是什麼？
「Sora」是由 OpenAI 所推出的影片生成模型，命名自日語中「天空」的發音，表示 Sora 有「無限的創造潛力」，與ChatGPT 一樣，使用者能夠用自然語法輸入指令，並且可以用多元素材轉成影片、影片內容可自定義修改以及逐幀剪輯等功能。
目前 Sora 只提供付費用戶使用，如果是訂閱 Plus 方案的用戶一個月擁有 1,000 生成積分，最多可以生成 50 支影片，除了英國、歐盟等地區外，其他地區包含台灣地區的用戶已經可以開始使用 Sora 生成影片了！
Sora 功能有哪些？
Sora 目前開放使用的功能有以下五種：
- Storyboard（暫譯故事畫版）：
故事畫版具有時間軸，使用者可以在時間軸上加上影片、編輯、修改影片的排列順序，不過要注意一點，在排列影片與影片中間的間隔長短時建議不要將間隔縮太短，Sora 有可能會因為間隔不足而產生出不順暢的影片內容。
- Loop（暫譯循環）：
這個功能大家應該也不陌生，但在 Sora 裡面有一個不一樣的地方是使用者可以自由選擇循環長度，並且 Sora 會自動填補頭尾不和諧的斷點，將影片製作成看不出破綻的循環影片。
- Blend（暫譯融合）：
Blend 可以將兩個獨立的影片融合在一起，並進行無縫轉場，Blend 與 Storyboard 的功能看起來很像，但 Blend 的概念是將兩段獨立的影片透過轉場的方式融合在一起，Storyboard 則是同一段影片切換不同的動作或拍攝角度，在呈現上，Blend 會有兩種不一樣的主體 / 物件，而 Storyboard 則是同一個主體 / 物件。
- Recut（暫譯重新剪輯）：
Sora 裡的剪輯功能可跟一般的剪輯功能不一樣喔！一般我們剪輯過的影片會出現明顯的斷點，但是 Sora 會自動在使用者設定的斷點開始延伸畫面內容，讓整部影片看起來更完整，而不是單純的剪斷後就結束了。
- Remix（暫譯疊代）：
在 Sora 裡，使用者可以使用自然語言將畫面中的物件進行疊代、修改，無論是在畫面中新增、移除還是編輯物件都可以做到，使用者能夠選擇疊代的強度，需要疊代的物件或是想要的效果越大，就可以選擇越大的疊代強度，反之，如果只是要修改小型物件，例如移除窗戶或是移除一棵樹，可以選擇低強度，既不會破壞整體也能達到效果。
Sora 要怎麼用？
Sora 不需要太複雜的語言指令，只需要給他主體、形容詞以及簡單的描述，Sora 就會發揮它無限的創造力生成出一段影片，目前 Sora 只能接受英文生成指令，介面也還是以英文為主，中文與其他語言暫時沒開放；接下來塔塔會從生成一段影片開始，再將 5 種特色功能都測試過一次！
▉ 影片生成
- 具體指令生成
塔塔實際以文字生成一段影片，輸入了一段將想呈現的畫面具體描述出來的指令，Sora 生成出來的影片確實符合提示指令，但是影片中，貓咪跑步的動作明顯不和諧再加上飄落的楓葉明顯多出一塊黃色背景，看得出來 Sora 在生成的時候並沒有處理好。
輸入指令為：「Cute painting style, a black cat is wearing a scarf chasing maple leaves in the maple forest, and the picture has maple leaves falling」
▼ 具體指令生成出來的影片
- 簡單指令生成
接下來使用最簡單的單字作為生成指令，生成出來的影片意外有呈現出塔塔想像中的樣子，除了貓咪的眼神不自然以及楓葉不正常飛起的問題外，比起具體指令來說，在貓咪玩楓葉的畫面上更符合塔塔想要的感覺。
輸入指令為：「black cat,cute,maple leaves」
▼ 簡單指令生成的影片
從這裡可以看出 Sora 生成影片的指令與 AI 生成圖片的指令，指令具體程度完全是不一樣的，Sora 是越簡短越能生成出符合要求或想像的影片，AI 生圖則是將想像中的畫面描述得越詳細越好，提醒大家在操作 Sora 的時候要反向思考才不會浪費太多積分在調整影片內容上。
▉ StoryBoard（故事畫版）
生成完影片後開始測試五大功能啦！實際使用故事畫版功能，以上方生成的貓咪影片作為素材，進入故事畫版後，可以看到在原影片當中已經有兩張畫版在時間軸上了，在畫板上可以看到有文字敘述，直接選擇要修改的那張畫板中的敘述進行修改就了！使用者可以在下方時間軸的任意空白位置按一下新增空白畫板，可用拖曳方式改變畫板間的距離。
▼ 故事畫版操作介面
塔塔首先在第二張畫版的敘述中加上「貓咪的眼神要隨著飄動的楓葉轉動」的指令，生成出來的影片還是看的出來貓咪頭部還是有點僵硬，眼神還有點木訥感，不過塔塔認為比起原本的影片來說自然了許多，不會就覺得很假。
▼ 針對眼神加上指令後，生成出來的貓咪自然了點
接下來塔塔嘗試加入第三張畫版並增加「貓咪躺在地上玩楓葉」的指令，大家在增加畫板的時候要注意一件事！畫板之間的距離也會影響 Sora 生成影片的結果喔！如果太靠近的話，有可能會造成空白時間不夠生成影片之間的連接點，出現崩壞或是產生出有偏離指令的內容，建議大家有 2 個或以上的畫板的時候，畫板間距最好間隔 2 秒以上比較好。
▼ 畫板與畫版之間最好保持 2 秒左右的間距
新增了第三張畫板與指令進影片後，生成出來的貓咪動作從剛開始的站著玩楓葉變成直接躺在地上玩楓葉，在貓咪的呈現上，雖然毛髮的反光程度以及動作還是有點不真實的感覺，不過看起來流暢許多，更像是真的貓咪在玩楓葉。
▼ 雖然動作還是有點僵硬，但比起原版影片來說更加自然、真實
▉ Loop（循環播放）
在 Loop 功能裡面，影片循環的區間可以自由拖動選擇，總共有三種循環模式可以選：Short、Normal 以及 Long，這三種模式的差異在於 Sora 會生成幾秒的影片來完整這段影片，Short 會生成 2 秒的影片內容；Normal 會生成 4 秒的影片內容；Long 會生成 6 秒的影片內容；塔塔測試的時候選擇的是 Normal 循環模式。
▼ Loop 共有三種循環模式可以選擇
當塔塔在看生成出來的影片時最大疑問就是「蛤？開始了嗎？結束了嗎？」，Sora 生成的循環影片幾乎看不出頭尾的斷點，它會自動在斷點延伸出一定秒數的影片內容，整段影片感覺就像是原本的影片就是這樣，讓你不知道這段影片怎麼開始的，看起來就像是沒有開始也沒有結束。
▼ Loop 影片
▉ Blend（融合）
Blend 可以將兩支獨立的影片結合在一起，轉換的影片來源可以從電腦上傳，也可以從自己的生成影片庫當中尋找，在 Blend 當中，使用者可以自己選擇要怎麼融合這兩段影片，總共有 4 種曲線可以選擇，分別是：「Transition」（轉換）、「Mix」（混合）、「Sample」（片段範例）以及「Custom blend」（自定義融合）。
▼ Blend 模式中有 4 種融合曲線可以選
使用者在自定義曲線模式當中可以直接拖動曲線值，調整成自己喜歡或者是想要的樣子，也可以在最下方直接輸入、更改數值，讓曲線更準確。
▼ 自定義曲線中可以直接拖拉曲線值，也可以輸入數值
塔塔選擇了這兩段影片想呈現貓咪玩楓葉玩到躺下來的感覺，而使用了 Blend 功能生成出來的效果確實有達到想像中的效果，不仔細看的話其實看不出太大的破綻，就跟真的貓咪拍出來的一樣，而且也沒有出現變形、多一隻貓爪的問題，貓咪的瞳孔也會隨著光線的縮小或放大。
▼ Blend 影片
▉ Recut（重新剪輯）
Recut 的操作方式就跟一般的剪輯很像，使用者可以直接拖曳影片的兩端（下圖紅框處）進行調整，在剪掉的空白部分可以選擇直接留白， Sora 會自動幫你生成延伸畫面，或是使用 Storyboard 新增畫版，增加新的片段上去。
▼ Recut 操作介面
Recut 功能真的看不出來痕跡！塔塔特意將影片結束位置拉到貓咪伸爪揮向楓葉這個斷點明顯的位置，Sora 延伸生成的畫面並沒有露出破綻，雖然在最後貓咪看起來好像還有下一步動作，但原本設定的斷點位置看不出有剪輯過的痕跡。
▼ Recut 影片
▉ Remix（疊代）
Remix 功能可以讓使用者隨意修改畫面中的物件，並且可以選擇修改的強度，總共有 4 種強度，分別是「Strong」、「Mild」、「Subtle」以及「Custom」，在「Custom」當中會將疊代強度細分為 1~8 強度，數字越大疊代強度越強，如果想進行大型物件替換或是加強效果可以選擇「Strong」，如果只是要修小物件的話，可以使用「Subtle」。
▼ Remix 的強度可以自由選擇
因為想要加入、替換的東西希望可以明顯一點，所以塔塔選擇了「Strong」的強度，疊代的指令內容為：「add more falling maple leaves,replace the black cat with white cat」。
在增加更多飄落的楓葉的部分 Sora 沒有判讀錯誤，但是在黑貓變成白貓的部分卻變成了黑白相間的賓士貓，與塔塔原本設想的純黑貓變成純白貓的想像不同。
▼ Remix 影片
總結
OpenAI 這次推出的 Sora 影片生成模型真的讓塔塔眼前為之一亮，在 Sora 的五大功能裡面塔塔個人很喜歡「Blend」跟「Loop」這兩個功能，Blend 將兩段影片進行無縫接軌，讓貓咪的動作看起來更真實，有以假亂真的感覺；而 Loop 功能直接讓影片結束的明顯斷點消失，製造出流暢的循環影片，第一次看會找不出開頭與結尾。
目前使用下來，Sora 除了在剛開始生成影片的時候使用越短的指令，生成出來的影片越好以外，在進行後續修改的時候，還是要盡量描述得越詳細越好，讓 Sora 可以按照我們的提示進行修改，但如果是喜歡驚喜的話，也可以讓 Sora 自由發揮，缺點就是有的時候判讀指令會不完全（例如塔塔的黑白賓士貓），其他部分塔塔個人覺得還不錯。
首圖來源：AI 生成