5秒创意无限,视频创作轻松有趣
3月6日,腾讯混元在微信公众号上宣布,他们发布了一款新的图生视频模型,并且对外进行了开源。该模型不仅支持生成高质量的2K视频,还增加了对口型和动作驱动等功能,甚至能够自动生成背景音效。这一创新无疑为数字内容创作提供了新的可能性,使得非专业人士也能轻松制作出专业级别的视频内容。这不仅是技术上的一个重大突破,也预示着未来视频创作领域的巨大变革。
通过图生视频功能,用户仅需上传一张图片,并简单描述期望的动态效果和镜头变化,混元便能根据要求使图片动起来,生成一段5秒的短视频,并自动添加背景音效。此外,上传一张人物图片并输入希望“对口型”的文本或音频,该人物图片就能实现“说话”或“唱歌”。利用“动作驱动”功能,还可以一键生成相同的跳舞视频。
目前用户可通过混元AI视频官网(https://video.hunyuan.tencent.com/)进行体验,企业和开发者若需使用API接口,则需在腾讯云提出申请。
此次开源的图生视频模型是对混元文生视频模型开源工作的进一步推进。该模型维持了总参数量130亿,能够广泛应用于各种类型的角色和场景,包括写实视频制作、动漫角色乃至CGI角色的生成。 这一进展无疑为视觉内容创作领域带来了新的活力。在当前数字内容爆炸式增长的背景下,如此强大且灵活的模型将极大地促进高质量视频内容的生产。它不仅降低了视频制作的技术门槛,也为创作者提供了更多可能性,使得个性化和创意化的视频内容得以更便捷地实现。同时,这也预示着未来AI在多媒体内容生成方面的潜力巨大,值得整个行业持续关注。
开源内容包含权重、推理代码和 LoRA 训练代码,支持开发者基于混元训练专属 LoRA 等衍生模型。目前在 Github、HuggingFace 等主流开发者社区均可下载体验。
混元开源技术报告表明,混元视频生成模型具有高度的灵活性与可扩展性。该模型在相同的数据集上同时支持图像生成视频和文本生成视频的任务。在确保超逼真画质、平滑表现大幅度动作、自然的镜头转换等特性的同时,模型能够捕捉到丰富的视觉和语义信息,并且能够综合图像、文本、音频和姿态等多种输入条件,实现对生成视频的全方位控制。
目前,混元开源系列模型现已全面涵盖文本、图像、视频及3D生成等多种模态,在GitHub上已收获超过2.3万开发者的关注与点赞。
附:混元图生视频开源链接
Github:https://github.com/Tencent/HunyuanVideo-I2V
Huggingface:https://huggingface.co/tencent/HunyuanVideo-I2V
免责声明:本站所有文章来源于网络或投稿,如果任何问题,请联系648751016@qq.com
页面执行时间0.008006秒