迄今最大视频开源模型!腾讯混元文生视频上线:一句话生成视频

12月3日消息,今日,腾讯混元大模型宣布文生视频功能上线,一句话就能生成视频。

此次开源的视频生成大模型,参数量130亿,是当前最大的视频开源模型。

目前,该模型已在Hugging Face平台及Github上发布,包含模型权重、推理代码、模型算法等完整模型,可供企业与个人开发者免费使用和开发生态插件。

大家可在腾讯元宝APP-AI应用-AI视频中提交申请试用,企业客户可通过腾讯云提供服务接入,API同步开放内测申请。

迄今最大视频开源模型!腾讯混元文生视频上线:一句话生成视频-第1张-科技-土特城网

据了解,目前生成视频支持中英文双语输入、多种视频尺寸以及多种视频清晰度。

腾讯混元视频生成大模型可以生成超写实的高质量视频,比如,像冲浪、跳舞这种大动作场景,生成的画面自然合理,不容易变形。

在镜面或镜子场景中,可以做到镜面反射动作和外面完全同步,光影反射基本符合物理规律。

迄今最大视频开源模型!腾讯混元文生视频上线:一句话生成视频-第2张-科技-土特城网

迄今最大视频开源模型!腾讯混元文生视频上线:一句话生成视频-第3张-科技-土特城网

迄今最大视频开源模型!腾讯混元文生视频上线:一句话生成视频-第4张-科技-土特城网

迄今最大视频开源模型!腾讯混元文生视频上线:一句话生成视频-第5张-科技-土特城网

迄今最大视频开源模型!腾讯混元文生视频上线:一句话生成视频-第6张-科技-土特城网

据腾讯介绍,腾讯混元视频生成大模型采用DiT架构,并在架构设计上进行多处升级。

适配了新一代文本编码器提升语义遵循,其具备强大的语义跟随能力,更好地应对多个主体描绘,实现更加细致的指令和画面呈现。

通过先进的图像视频混合VAE(3D变分编码器),让模型在细节表现有明显提升,特别是小人脸、高速镜头等场景。

迄今最大视频开源模型!腾讯混元文生视频上线:一句话生成视频-第7张-科技-土特城网

迄今最大视频开源模型!腾讯混元文生视频上线:一句话生成视频-第8张-科技-土特城网

迄今最大视频开源模型!腾讯混元文生视频上线:一句话生成视频-第9张-科技-土特城网

迄今最大视频开源模型!腾讯混元文生视频上线:一句话生成视频-第10张-科技-土特城网

迄今最大视频开源模型!腾讯混元文生视频上线:一句话生成视频-第11张-科技-土特城网

免责声明:本文章由会员“极目新闻”发布如果文章侵权,请联系我们处理,本站仅提供信息存储空间服务如因作品内容、版权和其他问题请于本站联系