我们提供预训练好的Audio2Motion模型(在voxceleb2,一个2000小时的英文数据集上训练)。你可以从Google Drive 或 BaiduYun Disk (密码 9cqp) 下载预训练的Audio2Motion模型,并将模型放在 checkpoints/audio2motion_vae
里。
你需要先遵循 docs/process_data/guide.md
的步骤来获得预处理后的数据集,并且你可以找到一个二进制化的 .npy
文件 data/binary/videos/{Video_ID}/trainval_dataset.npy
(Video_ID 是目标的人物名字, 这里我们指定 May
作为例子.)
# 训练 Head NeRF 模型
# 模型与tensorboard会被保存在 `checkpoints/<exp_name>`
CUDA_VISIBLE_DEVICES=0 python tasks/run.py --config=egs/datasets/May/lm3d_radnerf_sr.yaml --exp_name=motion2video_nerf/may_head --reset
# 训练 Torso NeRF 模型
CUDA_VISIBLE_DEVICES=0 python tasks/run.py --config=egs/datasets/May/lm3d_radnerf_torso_sr.yaml --exp_name=motion2video_nerf/may_torso --hparams=head_model_dir=checkpoints/motion2video_nerf/may_head --reset
对于May
,你也可以从Google Drive 或 BaiduYun Disk(密码 e1a3) 下载预训练的模型, 并放置模型在 checkpoints/motion2video_nerf
里。
假设你有一个视频 {Video_ID}.mp4
data/raw/videos/{Video_ID}.mp4
egs/datasets/May
的config文件到 egs/datasets/{Video_ID}
,并修改config里的video: May
为 video: {Video_ID}
docs/process_data/guide.md
来预处理视频,你会得到data/binary/videos/{Video_ID}/trainval_dataset.npy
# 使用我们提供的推理脚本.
CUDA_VISIBLE_DEVICES=0 python inference/genefacepp_infer.py --head_ckpt= --torso_ckpt=motion2video_nerf/may_torso --drv_aud=data/raw/val_wavs/MacronSpeech.wav
# --debug 选项可以可视化一些中间过程与特征
CUDA_VISIBLE_DEVICES=0 python inference/genefacepp_infer.py --head_ckpt= --torso_ckpt=motion2video_nerf/may_torso --drv_aud=data/raw/val_wavs/MacronSpeech.wav --debug
CUDA_VISIBLE_DEVICES=0 python inference/app_genefacepp.py --a2m_ckpt=checkpoints/audio2motion_vae --head_ckpt= --torso_ckpt=motion2video_nerf/may_torso