AI 文字和图片生成数字人(输入一张图片和一段文字即可生成数字人)
《用三个开源项目整合成可以商用的数字人项目》
文本生成语音开源地址:https://github.com/weineng-zhou/text2voice
语音驱动表情和嘴型开源地址:https://github.com/YuanxunLu/LiveSpeechPortraits
动作迁移开源地址:https://github.com/yoyo-nb/Thin-Plate-Spline-Motion-Model
Text+Image2DigitalPerson (浪子之心科技 卢瑞 )
1、输入文字 ------ 输入" text-input"
2、将文字转化成语音 ------ 输出 "voice-output"
3、输入------"voice-output"到语音驱动嘴唇及表情
4、用语音驱动嘴唇及表情( LiveSpeechPortraits) ------ 输出“LiveSpeech-output”
5、输入图片 ------ 输入“image-input”到Thin-Plate-Spline-Motion-Model 进行动作迁移
6、动作迁移后 ------ 输出 “Moton-output”
7、最后将声音和视频合成 ------ 输出 “result”
备注: 如果要商业,还需要视频融合,超分辨率,界面设计,打包部署等。
感兴趣的或者有商业合作想法的可以加我微信18116581760