首页
读书
网课
《人工智能》目录


正文

今天早上在微博刷到了阿里的 ai champ, 于是来知乎搜“如何看待阿里的 champ“结果什么也没搜到。没想到下午就推给我了。

源码地址:github.com/fudan-genera

从地址可以看出,这个 Champ 是复旦开发的,从介绍可以看出是由阿里巴巴、复旦大学和南京大学的研究人员共同提出的,这个模型可以将人物图片转换为视频动画的,该方法结合了3D参数化模型(特别是SMPL模型)和潜在扩散模型,能够精确地捕捉和再现人体的 3D 形状和动态,同时保持动画的时间一致性和视觉真实性,以生成高质量的人类动画视频。

00:35

从 GitHub 仓库的 Roamp 可以看出,相关的训练代码和训练用的数据集会在 4 月 1 日开源。

首先,从技术的角度来看,Champ 通过深度学习和 3D 建模技术,能够自动将二维图片转化为三维模型,并生成流畅的视频。这一技术不仅极大地提高了制作效率,而且使得动画效果更加逼真、生动。此外,Champ 还融合了 SMPL 模型作为三维人体参数模型,使得人物形状和动作的表达更加精准和丰富。这种技术的出现,无疑为动画制作领域带来了革命性的变革。

之前通义千问有个插件叫“全民舞王”,用户只需上传照片,即可生成包含多种热门舞蹈动作的视频。“全民舞王”则更侧重于娱乐和社交领域,为用户提供一种新颖、有趣的互动方式,让用户可以轻松成为“舞王”,分享到朋友圈或者其他社交媒体上。而这个 Champ 的通用性更强,可以应用于各种需要高质量视频内容的场景,如影视制作、广告行业等。

从技术实现角度看,Champ 基于 3D 建模和深度学习技术,实现对图片的三维转化和视频生成。而“全民舞王”则主要依赖于阿里通义实验室自研的视频生成 AI 模型 Animate Anyone,该模型能够结合用户上传的照片和舞蹈模板,生成逼真的舞蹈视频。

而另一个对比对象则是 Stable Video

00:04

从效果看,Runway 和 Stable Video 都非常不错,唯一的不足就是视频太短。

以后用 chatgpt 写剧本,用 Runway/Stable Video/Champ 生成多段视频,在用 Suno AI 做音乐,剪辑一下就可以直接发抖音了。



上一篇: 没有了
下一篇: 没有了
圣贤书院