Hello，大家好，最近给大家分享了很多AI开源项目，而图生视频领域的AI开源项目一直是AI前沿比较火热且备受关注的！

近期小编也专门去盘点汇总了热门的图生视频开源项目，并做成相应专题，有文生视频，图生视频，图片人物动起来/开口说话等，可直接拿来部署使用。

接下来的文章就给大家盘点盘点！觉得对你有帮助记得点赞和收藏哦！感谢大家！

01. 16.7Kstar！Open-Sora：国产开源的视频生成模型！

国产技术团队Colossal-Al开源了视频生成模型Open-Sora1.0,该模型继承并超越了OpenAl Sora的优异视频生成效果，通过提供一个低成本且高效的训练及推理复现流程，极大降低了技术门槛。

Open-Sora的架构采用了Diffusion Transformer (DiT）模型，结合时间注意力层，优化了对视频数据的处理。通过预训练的VAE和文本编码器，以及空间-时间注意力机制的应用，实现了高效的空间布局和时间序列关联的学习。此外，模型还引入了多阶段训练策略，包括大规模图像预训练、视频预训练及高质量视频数据的微调，有效提升了视频生成的细节和质量。

GitHub:https://github.com/hpcaitech/Open-Sora

02.  SVD开源！SD母公司StabilityAI推出的图生视频开源！

Stable Video Diffusion是Stability Al发布的视频生成大模型。

技术特点：

一、多阶段训练策略

Stable Video Diffusion采用了多阶段的训练策略，包括文本到图像的预训练、视频预训练以及高质量视频微调。这种分阶段的训练方法使得模型能够逐步学习到从文本到图像，再到视频的复杂映射关系，提高了生成视频的质量和准确性。

二、灵活的应用场景

由于Stable Video Difusion提供了强大的多视图3D先验和运动表征能力，它可以广泛应用于各种场景，包括文本到视频的生成、图像到视频的生成以及对摄像机运动特定的适应性等。此外，该模型还可以以前馈方式生成对象的多个视图，具有较小的算力需求和优于基于图像方法的性能。

三、高质量的生成效果

通过多阶段的训练策略和精心准备的数据集，Stable Video Difusion能够生成高质量、动作连贯且时间一致的视频内容。

背景不动，只让两只鸟动也可以:

开源地址： https://github.com/Stability-AI/generative-models

官方提供文生视频地址：https://www.stablevideo.com/

demo体验地址：https://stable-video-diffusion.com/

huggingface地址： https://huggingface.co/stabilityai/stable-video-diffusion-img2vid

03. MoneyPrinterTurbo：1.2K星！这个AI工具可以一键生成短视频和文案语音！

这个MoneyPrinterTurbo 开源AI项目 已经1.2k的star量了！只需提供一个视频 主题或关键词 ，就可以全自动生成视频文案、视频素材、视频字幕、视频背景音乐，然后合成一个高清的短视频。

最终生成视频效果展示：

github地址：https://github.com/harry0703/MoneyPrinterTurbo

04. sora平替! StreamingT2V:根据文字提示生成2分钟的视频!

StreamingT2V采用自回归方法来逐帧生成视频内容，也就是会根据前一段视频的内容来生成下一段内容，就像连环画中，每一幅画都是基于前一幅来绘制的。

它能够生成长达1200帧（约2分钟）的视频，同时保证整个视频与文本描述紧密相关且动态连续。

项目及演示：https://streamingt2v.github.io

论文：https://arxiv.org/abs/2403.14773

github：https://t.co/h8nsZR8IHv

05. 开源！AnimateDiff：成熟的图生视频sd插件!

AnimateDiff是由上海人工智能实验室、香港中文大学和斯坦福大学的研究人员推出的一款将个性化的文本到图像模型扩展为动画生成器的框架，其核心在于它能够利用从大规模视频数据集中学习到的运动先验知识，可以作为Stable Diffusion文生图模型的插件，允许用户将静态图像转换为动态动画。该框架的目的是简化动画生成的过程，使得用户能够通过文本描述来控制动画的内容和风格，而无需进行特定的模型调优。

原图：

生成视频效果：

开源地址：https://github.com/guoyww/animatediff

06. StoryDiffusion：开源的AI故事创作项目，支持生成剧情漫画和故事视频！

StoryDiffusion可以通过生成一致的图像和视频来创建一个神奇的故事，基于一致性自注意力(Consistent Self-Attention)和语义运动预测(SemanticMotion Predictor)技术的创新生成模型。它主要用于生成一系列风格和内容一致的图像和视频，适用于需要连续视觉内容来讲述故事的场景。

生成动漫视频效果展示：

生成人物视频效果展示：

官方地址：https://storydiffusion.github.io/

github地址：https://github.com/HVision-NKU/StoryDiffusion

huggingface：https://huggingface.co/spaces/YupengZhou/StoryDiffusion#/

07.高效方法！Video-LAVIT：开源图文视频生成大模型!

Video-LaVIT模型的核心在于将视频分解为关键帧和时间运动。视频通常被分为多个镜头，每个镜头内的视频帧往往存在大量的信息冗余。因此，将视频分解为交替的关键帧和运动向量，关键帧捕捉主要的视觉语义，而运动向量描述其对应关键帧随时间的动态演变。这种分解表示的好处在于，与使用3D编码器处理连续视频帧相比，单个关键帧和运动向量的组合需要更少的标记来表示视频的时空动态，这对于大规模预训练更为高效。

为了将连续的视频数据转换为紧凑的离散标记序列，Video-LaVIT设计了视频标记器。关键帧通过使用已建立的图像标记器进行处理，而时间运动的转换则通过设计一个时空运动编码器来实现。该编码器能够捕捉提取的运动向量中包含的随时间变化的上下文信息，从而显著提高LLMs理解视频中复杂动作的能力。

项目地址:https://video-lavit.github.io

08. MagicTime：是一个专注于生成变形时间延迟视频的模型！

MagicTime是一个创新的模型，专注于创建变形时间延迟视频。它采用了基于DiT(Detection and Tracking）的架构，有效解决了现有文本到视频（Text-to-Video,T2V）生成模型在编码现实世界物理知识方面的不足。在传统的T2V生成过程中，视频往往动作范围有限，变化表现不足，无法充分展现复杂的变形效果。

MagicTime的核心贡献在于:

1.物理知识编码的改进:MagicTime通过更精确地反映现实世界的物理规律，解决了现有模型在物理知识编码上的不足。

2.动作和变化的丰富性:与以往生成的视频相比，MagicTime能够产生动作更丰富、变化更复杂的视频，更好地模拟了物体的变形过程。

项目及演示：https://pku-yuangroup.github.io/MagicTime/

论文：https://arxiv.org/abs/2404.05014

GitHub：https://github.com/PKU-YuanGroup/MagicTime/tree/main

09. 想动哪里点哪里!创新图生视频模型"Follow Your Click"开源!

腾讯、混元、清华大学以及香港科技大学共同合作推出了一项全新的图像生成视频模型，名为Follow-Your-Click。

这项创新的技术具有非常简单的操作方法。用户只需将任意一张照片输入该模型，然后点击相应区域并添加少量简单的提示词，即可使原本静态的图像区域焕发生机，轻松地转换为一段动态视频。

论文链接:https://arxiv.org/pdf/2403.08268

GitHub: https://github.com/mayuelala/FollowYourClick

10. 已获13.6k星! Animate Anyone：自动生成动画元素，让照片起舞！

Animate Anyone是阿里巴巴旗下研究院发布的动画制作Al软件。能够自动生成角色、场景、动作等动画元素，并将其组合成完美动画作品，用户只需提供一些简单的参数即可。这大大降低了动画制作的难度，让动画制作变得更加简单。

体验地址： https://humanaigc.github.io/animate-anyone/

github地址： https://github.com/HumanAIGC/AnimateAnyone

11. 腾讯开源！MuseV：生成表情自然的虚拟人视频新工具！

MuseV是一个由腾讯音乐娱乐的天琴实验室开源的虚拟人视频生成框架，专注于生成高质量的虚拟人视频和口型同步。它利用先进的算法，能够制作出具有高度一致性和自然表情的长视频内容。MuseV支持自定义动作和风格，视频时长理论上无限，且生成速度快。这一技术在AI创作领域中表现出色，为虚拟人视频制作提供了新的可能性。

试玩页面： https://huggingface.co/spaces/AnchorFake/MuseVDemo

项目地址：https://github.com/TMElyralab/MuseV

12. 让照片开口唱歌说话！腾讯AniPortrait比阿里EMO先开源！

之前阿里展示EMO项目让照片唱歌说话时，惊艳了所有人，然而到现在为止一直还没开源被饱受诟病，今天腾讯的AniPortrait来啦！也是一个让照片开口项目说话的项目！

根据音频和图像输入 生成会说话、唱歌的动态视频它可以根据音频（比如说话声）和一张静态的人脸图片，自动生成逼真的人脸动画，并保持口型一致。支持多种语言，同时支持进行面部重绘和头部姿势控制。

github地址：https://github.com/Zejun-Yang/AniPortrait

13. 跳个科目三不在话下！Champ ：国外开源的让照片跳舞的AI项目！

Champ 利用潜在扩散框架内的 3D 人体参数模型，实现了无与伦比的形状对齐和运动引导。

捕捉复杂的人体几何形状和运动从未如此简单！

github地址： https://github.com/fudan-generative-vision/champ

14. DreamTalk ：单张图像一键生成说话视频!

DreamTalk是一个基于扩散的音频驱动表达性头部生成框架,能够生成具有多种说话风格的高质量头部视频。DreamTalk在各种输入中表现出强大的性能,包括歌曲、多种语言的语音、含噪声音频和领域外的肖像画。

github：https://github.com/ali-vilab/dreamtalk

15. 开源!AniTalker:一张照片和输入音频生成生动的能说话的面部视频

AniTalker通过一个静态的肖像画和输入音频，生成生动多样的说话面部动画视频。该框架不仅仅着重于嘴唇同步这样的言语线索，而且能够捕捉到面部表情和非言语线索的复杂动态。

1.面部动画生成:通过输入静态的人像和音频信号，AniTalker可以生成说话的面部动画。这种动画不仅包括口型同步，还包括与说话内容匹配的面部表情和头部动作。

2.多样化和可控性:集成的扩散模型和方差适配器允许生成具有高度多样性和可控性的动画。这意味着可以根据不同的输入和参数设置，生成各种不同表情和动作的面部动画。

3.真实感和动态表现: AniTalker的动画不仅外观真实，动作流畅，还能很好地捕捉细微的面部动态和复杂的非言语信息，如眨眼、微笑等。

4.长视频生成: AniTalker 可以生成较长的面部动画视频，演示视频显示，最长可以超过3分钟，适用于多种应用场景，如虚拟助理、数字人物表演等。

项目及演示:https://x-lance.github.io/AniTalker/

论文:https://arxiv.org/abs/2405.03121

GitHub: https://github.com/X-LANCE/AniTalker

16. VASA-1:实现从静态图像和一段语音生成逼真的对话面部动画

VASA-1，由微软亚洲研究员开发的项目，可以实现从单一静态图像和一段语音音频生成逼真的对话面部动画。VASA-1不仅能够精确同步音频和唇部动作，还能捕捉到丰富的面部细微表情和自然的头部动作，增强了真实感和生动感。

项目及演示:

https://www.microsoft.com/en-us/research/project/vasa-1/

论文:https://arxiv.org/abs/2404.10667

以上就是图生视频的开源项目汇总，如果对你有帮助感谢大家的收藏点赞支持！

小编会继续给大家推出更多AI开源项目专题文章，有啥想要了解的开源项目专题合集文章可以在评论区留言哦！小编会尽快给大家推出的！感谢大家的支持！