Sora

Sora是OpenAI首个视频生成模型，拥有与DALL·E 3的画面质量以及指令能力。

该模型可以帮助用户通过简单的文本描述视频中的内容，即可在短时间内得到一个分钟级别的视频素材。

官方模型首页：https://openai.com/sora

官方研究报告：https://openai.com/research/video-generation-models-as-world-simulators

Sora 能够生成具有多个角色、特定运动类型以及主题和背景的准确细节的复杂场景，并具有以下特性:

• 理解用户在提示中所要求的内容，而且还理解这些事物在物理世界中的存在方式。
• 对语言有着深刻的理解，使其能够准确地解释提示，并生成令人信服的字符。
• 能够表达充满活力的情感。
• 在一个生成的视频中创建多个镜头，以准确地保存字符和视觉风格。

官方给出来的Prompt生成视频的例子：

• 一位富有气质的女生走在人来人往的街道上：
  • 视频呈现的效果如同真实摄像机拍摄得到，镜头距离人物由远到静，甚至可以生成人物的细节，模拟特写效果。

生成一段加州淘金热时期的历史录像：

• 视频画质稍带历史年代感的模糊效果，内容方面模拟了古代村落的景观。

Sora的不足

可能难以非常准确保证模拟复杂场景的物理过程，也可能无法理解因果关系的具体实例。

比如：一个人可能咬了一口饼干，但之后饼干上可能没有咬痕。

该模型还可能混淆提示的空间细节，例如：混淆左右，并可能难以准确描述随着时间发生的事件，比如跟随特定的摄像头轨迹。