即梦AI接入豆包·视频生成模型,打造更高质量智能化创作体验
2024-09-27 10:30:01爱云资讯阅读量:3,188
9月24日,2024火山引擎 AI 创新巡展在深圳举办。巡展正式发布豆包·视频生成模型等全新模型,豆包通用模型pro 及多个垂类模型也得到了大幅升级。
会上,即梦 AI 及剪映市场和运营负责人陈欣然从产品和用户使用的角度,分享了 AIGC 时代即梦 AI 将如何基于豆包·视频生成模型,帮助创作者解放创意,带来效率提升。
即梦 AI 及剪映市场和运营负责人 陈欣然
陈欣然指出,目前即梦 AI 已经接入了豆包·视频生成模型,正在进行内测的场景和效果打磨,未来将逐步开放给所有用户,让每个人都能够体验到 AI 创作的趣味性。
01.
即梦AI等业务场景打磨+技术突破
豆包·视频生成模型加速AIGC应用创新
陈欣然表示,AI 进行创作的过程,与传统创作工具体验存在很大区别。AI 创作是动态的过程,过程中由于生成式 AI 本身的随机性,往往会带给创作者惊喜和启发,在激发更多灵感的同时,拓展想象力的边界,成为创作者和艺术家的智能伙伴。基于这一理念,即梦 AI、剪映、CapCut、醒图等产品都基于豆包·视频生成模型的能力,上线应用了 AI 技术。
截至9月,豆包大模型日均 tokens 使用量已经超过1.3万亿,相比5月首次发布时猛增十倍。豆包通用模型pro 最新版本综合能力累计提升 25%,在各个维度都处于国内领先。作为豆包大模型家族最新成员之一,豆包·视频生成模型具有精准语义理解、强大动态与炫酷运镜、一致性多镜头生成、高保真多风格等优势。基于精准的语义理解能力,能遵从复杂的用户 prompt,解锁时序性多拍动作指令与多个主体间的交互能⼒;拥有变焦、环绕、平摇、缩放、目标跟随等多镜头语言能力,灵活控制视角;在一个 prompt 内实现多个镜头切换,同时保持主体、风格、氛围的一致性;支持包括黑白、3D 动画、2D 动画、国画等多种风格和不同比例尺寸,适配于各种终端,以及电影、手机竖屏等不同画幅。
众多优势背后,是字节跳动对视频⼤模型技术研发的不断投⼊。通过⾼效的 DiT 融合计算单元、全新设计的扩散模型训练⽅法和深度优化后的 Transformer 结构,让⽣成视频的动作更灵动,镜头更多样,细节更丰满。
02.
即梦AI便捷、易用
提升创作效率、打造自由创作体验
豆包·视频生成模型的进展,得益于抖音和剪映对视频日积月累的理解,而反过来,模型也为视频创作带来了巨大提升。从产品及用户应用角度出发,针对品牌宣传与推广、市场营销等需求,即梦 AI 已经形成并具体落地了部分 AIGC 能力,帮助实现业务创新及加速。现场,陈欣然展示了即梦 AI 基于豆包·视频生成模型制作的成果。
仅需录制或上传一段高清、时长3分钟的正面视频,即梦 AI 即可创造出用户的“数字分身”。同时在豆包·声音复刻模型帮助下,用户仅需5秒语音输入就能实现声音的克隆,为数字人配上自然流畅、毫无违和的声音。
内容营销创作神器可为电商商家用户带来高质量的内容素材。过去,商家可能需要花费几个小时拆解带货视频的镜头转换、文案等,并花费大量时间进行剪辑。启用即梦 AI 后,仅需填写商品名、上传素材或者粘贴商品页链接,即可配合节日等热点,一键生成多个不同风格的带货视频,全过程时间仅需几分钟,极大提升营销素材制作效率。
此前,即梦 AI 联动剪映共同举办了名为“未来影像计划”的短片大赛,大量新时代 AIGC 创作者、艺术家云集于此,并涌现了海量奇思妙想。在此过程中,生成式 AI 极大降低了创作门槛。以往此类创意短片视频往往需要5-10人团队进行协作,且制作周期可能长达1-2个月,在即梦 AI 以及剪映的帮助下,大部分创作者可以独立完成视频的创作,制作时间也缩短至1-2周,能够更为高效地呈现出自己的创意。
陈欣然认为,创作不应该受限于制作成本、风格或者文化背景。豆包·视频生成模型的推出,为创作者提供了探索全新未来世界的有力工具。即梦 AI 希望能够成为创作者们最喜欢和信赖的生成式 AI 工具及内容平台,为所有人提供有趣的、快乐的、自由的创作体验,以更广阔的创作空间和灵感启发,帮助用户打开连接现实世界和想象世界的大门。