这款AI一键让照片说话的模型叫SadTalker,是由西安交通大学的研究人员提出的,它可以让照片里的人物跟随音频的输入动起来,且头部运动、面部表情比较真实,下图是官方展示的效果图,还在等什么呢,即刻拥有它!
可以根据一张图片、一段音频,合成面部说这段语音的视频。图片需要真人或者接近真人。目前项目已经支持stable diffusion webui,可以SD出图后,结合一段音频合成面部说话的视频
下载:https://pan.quark.cn/s/4fc0e7d8e52d
原址:https://github.com/OpenTalker/SadTalker
1、启动软件
在下载下来的 SadTalker.zip 上点右键,选”解压到 SadTalker 文件夹”解压出来
打开解压出来的 SadTalker 文件夹,找到 WEBUI 运行.bat,打开它会弹出一个黑色窗口,稍等会,窗门里会出现 2行文字,如下图
把黑色窗口第一行那个网址 (就是http://127…1:7860这个) 复制一下只能选中后,按 Ctrl+C 复制,右键出不来菜单,然后粘贴Ctrl+v到浏览器地址栏里打开
最好用谷歌浏览器,或微软 Edge浏览器
打开那个网址后,浏览器显示的内容如下图所示
注意:不可开着梯子,不可开着代理之类的,网络必须直连
2、软件的使用
首先,上传相片,上传音频,如下图所示音频可以用文字转语音工具制作,也可以自己录制。
接着,设置一下右边的选项,有两种建议方案
-第一种设置方案-
该方案生成的数字人和原图一样大,头部动作幅度虽然较小但不会出现头部和身子分离的现象,身子不动。
请按照下图设置
-第二种设置方案-
该方案会对原图进行裁切,只生成头部视频,没有身子,生成的数字人表情动作比第一种方案更丰富,更生动。
请按照下图设置。
3、下载生成视频
设置完成后,点”生成”,稍等一会,就会在左下方生成视频。原来的那个黑色窗口里会看到进度。
生成视频后,在生成的视频上点右键,会看到下载选项。
如果找不到下载选项,可以直接打开软件目录里的“results”文件夹再打开里面的文件夹,会看到几个 mp4文件,有的仅是头部,有的是普通画质,有的是超清画质,都打开看看,找个好的。
4、处理说明
处理方式说明。
crop:对原图进行裁切,只生成头部视频,没有身子,生成的数字人表情动作丰富,更生动
resize:生成的数字人身子也稍微动,但效果很烂,太假,不建议使用。
full:生成的数字人和原图一样大,身子不动,如果勾选”静态模式”,则头部动作幅度较小,但不会出现头部和身子分离的现象;如果不勾选”静态模式”,则头部动作幅度更大,但有时候会出现头部和身子分离的现象。
extcrop、exfull: 与 crop、full 功能一样,但对头部的裁剪范围更大。
其他说明
姿态 Pose style: 头部晃动幅度,值越大,表情晃动越厉害。
expression scale: 脸部表情幅度,尤其是嘴唇,值越大,动作越大。
batch size in generation: 值越大,处理越快,但对显卡要求越高。显卡不好选 1就行。
启用参考视频 Use Reference Video 。
下方的选项
pose:生成的数字人的脸部姿势和参考视频一致。
blink:生成的数字人眨眼和参考视频一致。
pose+blink:生成的数字人脸部、眨眼与参考视频一致all:生成的数字人和参考视频全部保持一致,包括声音。