OpenAI 宣布了视频生成模型 Sora
2024-2-16 19:44:26 Author: www.solidot.org(查看原文) 阅读量:4 收藏

OpenAI 宣布了视频生成模型 Sora,并公布了一份相关的技术报告。Sora 能生成最长 1 分钟的高清视频,OpenAI 公布了数十个示例,展现了其惊人的文本生成视频能力。大模型使用 text tokens 统一代码、数学和自然语言的不同文本形式,而 Sora 使用了 visual patches 统一了所有类型的视觉数据。OpenAI 表示,Sora 能够根据文本指令生成长达 60 秒的视频,同时保持视觉质量并遵守用户提示。Sora 可生成具有多个角色、特定类型运动以及精确主题和背景细节的复杂场景。该模型对语言有深刻理解,能够准确领会提示,生成令人信服的角色。Sora 还可以在单个生成视频中创建多个镜头,准确保留角色和视觉风格。除了能仅从文本指令生成视频外,该模型还能够利用现有的静止图像从中生成视频,精确地将图像内容动画化,也可以利用现有视频进行扩展或填充缺失的帧。Sora 仍在开发中,存在明显“弱点”,特别是在提示空间细节方面会混淆左右,也无法理解因果关系的具体实例,比如制作了一个视频,视频中有人咬了一口饼干,但之后饼干上没有咬痕。

https://openai.com/sora
https://openai.com/research/video-generation-models-as-world-simulators
https://news.sciencenet.cn/htmlnews/2024/2/517566.shtm


文章来源: https://www.solidot.org/story?sid=77363
如有侵权请联系:admin#unsafe.sh