10 秒钟收获影视级短片，花式运镜主体依然清晰，这个全新国产视频模型稳稳拿捏

文生视频的赛道越来越热闹了，两周一更新，一月一迭代，马斯克当模特都快要忙不过来了。真的好能卷。豆包的视频生成模型带来了全新设计的扩散模型，针对高动态的复杂场景，展现出了影视级写实度和逼真细节。用一句话来描述效果：很强，很炸裂，不敢相信自己的眼睛。
9 月 24 日，2024 火山引擎 AI 创新巡展来到深圳，重磅发布了全新视频生成模型，一次性为整个 AI 视频赛道丢下了两颗炸弹：豆包视频生成-PixelDance、豆包视频生成-Seaweed 两款大模型。
作为国内首批通过算法备案的基座大模型厂商，闯入文生视频的赛道并不意外。甚至也不由得让人期待：还能怎么卷？在参与实际测试这个强大的国产模型之后，我们发现它的厉害之处，绝对不止在生成影像上，而是有一个更大的生态和愿景。
语义理解、一致性重要突破，充分掌握镜头语言
生成式视频的「魔法」，来自于「魔咒」。
换句话说，模型的语义理解能力是基础。只有在精准领悟 prompt 文字内容的情况下，才能恰当地呈现出预期中的画面——得先把「阅读理解」做明白。
这次 APPSO 参与了内部测试，得到称得上是了不起的效果——还是那句话，很强，很炸裂。


▲ prompt：一只小猫穿着围裙，戴着手套，在布满泡沫的水桶里洗碗，上方是正在出水的水龙头
每一个用 prompt 指示的元素，都得到了体现，没有「读漏题」唯一的问题是：太漂亮了——我家的土猫，没有这样的高级气质。
算了，小猫咪能有什么错。从成像来看，泡沫和水流的细节都非常惊人，以及猫猫的傲娇表情也很生动。
一个小细节：水流落在小猫的头顶，然后从背后和下巴处落下，这个细节符合物理规律，足以得见模型理解能力的强大。类似的表现，在官方演示中也能看到。


▲ 官方演示
头发在风中凌乱的还原，除了体现飘动的发丝，方向跟人物的运动节奏也是一致的，符合物理逻辑。
这种高保真的能力，背后来自抖音、剪映对视频创作的理解和技术积累，通过自研的高压缩比、高还原性视频隐状态编码和解码模型，强力保证了扩散模型的高效编码与运转。


▲ prompt：树木密布的森林里，仰望天空，天空被茂密的树叶遮住，阳光透过树叶间的缝隙洒落出来。仰拍视角，明暗对比强烈
绿色调是非常棘手的色调，调好了是复古清新，调不好就是色调跑偏。这里却精准还原光线经过了绿叶和树枝的折射，所形成的光圈效果，直逼镜头。
不得不说，在经过剪映、即梦 AI 等业务场景，反复打磨和持续迭代之后，让豆包·视频生成模型真正具备了专业级光影布局和色彩调节能力，支持 3D 动画、2D 动画、国画、黑白、厚涂等多种风格，以及更重要的——掌握镜头语言。
炫酷运镜，无论动作怎么变，主角都是稳稳的
镜头语言的重要性，强调多少次都不为过。没有人想自己倒腾半天，只做出一个动态 PPT。
然而对于普通用户来说，专门去上个「镜头语言」培训班也没有必要：豆包·视频生成模型已经准备好一系列运镜方案，从变焦、环绕、平摇，到缩放、目标跟随等超多镜头语言，都可以用 prompt 完成，实现灵活控制视角。
看上去轻松，实现起来并不简单：一致性是个不小的挑战。
模型从理解指令，生成主体，再根据镜头要求，设计主体的变化和行动轨迹，这一系列步骤中，不仅需要主体面目「不变」，还需要主体根据动作和角度，适当「可变」。


▲prompt：一只边牧穿着太空服在月球表面奔跑，跳起来追逐在浮在空中的飞盘。月光斜角度照射，打亮它的皮毛，低角度，4k 画质，慢动作
在小狗跃起时，头部、四肢都没有大变形，稳稳的，很安心。


▲ prompt：马斯克站在水稻田里，弯腰插秧，头顶戴着一个草笠，抬起头后，举手向镜头打招呼
在面对镜头讲话的十秒钟里，马斯克的表情、手臂、身体姿态都随着动作变化，但整体没有崩掉，一系列动作都非常流畅。
在处理这种「变」与「不变」的挑战中，几乎完美地保证了主体一致性，表现实在是太强大了。
当镜头有所变化的时候，道理也是一样的。在官方的演示 demo 里，有一个水下片段令人印象深刻。


▲ 官方演示
镜头一个简单的变焦，对于模型来说要完成的是：前面要有精致的细节，然后主体移动，显出新主体，最后落定在新主体上，整个一气呵成的大动作。
除了出众的一致性表现，惊人的运镜能力，自然也支持多种风格，3D、2D 动画、厚涂、漫画等，还有多种比例选择，都给了用户无比自由的选择。


▲ 官方演示


▲ prompt：Beautiful, snowy Tokyo city is bustling. The camera moves through a bustling city street, following several people enjoying the beautiful snowy weather and shopping at nearby stalls. Gorgeous sakura petals are flying through the wind along with snowflakes


▲ prompt: 香港夜晚的十字路口，汽车和巴士快速驶过，形成流动的线条。有行人在等红绿灯。背景中建筑物虚化，形成光斑，低角度，4k 画质
从「高大上」到「好落地」
尽管豆包·视频生成模型才刚走到用户面前，但背后的技术已经打磨了很久。根据去年 11 月 ByteDance Research 发布的技术报告，字节团队把第一帧和最后一帧的图像指令与文本指令结合起来，最后一帧指令被证明是创建复杂场景或动作的关键构成要件。
另外，在当时字节选择了自回归路线，而非分层方法，以此来实现高稳定性的画面表现能力。这背后的考量是，模型要能确保生成的内容和用户期望一致，只有这样，用户才会积极参与生成的过程，扮演「导演」的角色，从而让强大的模型能力，尽快落实在实际应用中。
对比同类产品（不包括期货），豆包的视频生成模型完全是第一梯队的水准表现。相比较于国外产品，比如 Luma，比如 Runway，它更懂中文和中文用户，更适配中文互联网中的创作工作流。


▲ 官方演示
如此优秀的性能，脱颖而出是必然的。这还不单指视频生成模型，而是整个豆包大模型家族：作为国内首批通过算法备案的大模型之一，豆包大模型通过火山引擎和火山方舟，面向企业提供服务。
截至 9 月，豆包语言模型的日均 tokens 使用量超过 1.3 万亿，相比 5 月首次发布时猛增十倍。
为了提供最强的性能，豆包通用模型 Pro 默认支持 800K 的初始 tpm，可以看到这个数字远超行业最好水平，并且可根据实际需求进一步扩容，帮助大企业能安心的在生产环境里大规模使用。
而在技术力如此强大的同时，在各家大模型最强版本价格对比中，豆包大模型比行业价格低 98% 以上——用 AI 的门槛已经前所未有的低了。
越是高大上的技术，越需要落地实现，走进日常生活中。
在实际的业务场景里，需要的是效果好、速度快、易上手。以电商为例，既要考虑营销节点，又要顾及不同平台的展示效果，需要的是灵活快速的制作方法。
无论是广告拍摄、还是短视频、直播电商等领域，都需要简单易上手的工具，嵌入现有的制作流程里。
在 24 号的发布会上，火山引擎总裁谭待还展示了一系列大模型的应用，尤其是真真正正落地到商业使用场景中的案例。
火山引擎通过全栈大模型服务，把豆包大模型的实力，真正接入到实际的业务场景中。今年以来，火山引擎建立了零售大模型生态联盟、汽车大模型生态联盟和智能终端大模型联盟，覆盖的业务和场景种类十分丰富多样。
更强模型，更低价格，更易落地，这无疑是豆包大模型的重要优势。
「更强模型」不用多说，豆包大模型能够支撑起每天超万亿 tokens 用量，通过字节跳动内部 50+ 业务实践、30+ 行业客户的应用，不断增加的调用量，覆盖越来越多场景。在收获更多的企业反馈的同时，也帮助⾖包⼤模型越来越好，越来越全⾯。
在发布会上，谭待表示，「大模型的应用成本已经得到很好解决。大模型要从卷价格走向卷性能，卷更好的模型能力和服务」。
「商业场景的应用，是豆包·视频生成模型在一开始就在考虑的事情，需要在商业价值取得突破才能得到更好的应用。」谭待表示，「我们在各种场景里面都做了充分适配，这样可以让大家在商业环境中真实通过豆包·视频生成模型实现业务的创新和加速。」
爱好者能够借由低门槛的 C 端产品，开启对 AI 世界的探索。而开发者能够利用火山引擎，以更低价、更多样、更灵活的方式实现 AI 的工作，为更广泛的用户群，提供进一步探索的新产品、新内容。
随后的记者问答会上，他还分享到，在技术不断迭代、进步的情况下，当 AI 能够完整地解决一个问题时，toB 和 toC 之间的区别未必有这么大。
或许这将是 AI 时代最壮观的景象：原本高不可及的壁垒，正在被推翻。无论有没有经验，无论是为了业务赋能还是为自娱自乐，只要上手起来，就是在创造奇迹。