[Question]用自己的训练数据，train SVD-v2，生成的图一样

[aleeyang]

我用了pretrained权重初始化模型，训练中进行可视化，发现训练到后期，模型生成的图一摸一样？这个潜在的问题是什么？是inference 时候的问题还是训练出了问题？是否有办法进行修复呢？谢谢！

[aleeyang]

这个是直接用权重加载，训练之前测试的

[Pbihao]

你好，感谢你的兴趣。
这里看起来你的所有的pose骨架都是一样的，没有变化啊。

[aleeyang]

谢谢您的回复，这个数据人体整体的运动比较小，所以pose区别不是很大（主要是面部，以及手位置的变换）。

上面第一张图是是train了6000iteration之后的结果，第二张图是直接使用您提供的权重进行inference的结果。结果表明：直接inference人脸还可以转过来，使用我们的数据训练之后反而不行

• 个人认为这个是训练不够导致的，所以我继续load刚才6k的权重，继续训练，但是发现，越训练，中间出来的结果越奇怪
  下面是最后1.3 w iterations的结果，训练脚本用的是这里提供的，只是修改了帧数到14帧，8张H100
  压缩包是整个训练过程中的结果，200iteration inference一次
  这潜在的问题会是什么呢？您在实践训练中有遇到类似的问题吗？
  谢谢！！！
  

vis_p1.zip
vis_p2.zip
vis_p3.zip

[Pbihao]

你好，训练视频确实是一个很多坑的过程，这几天也有陆续人加我微信问我，但是很难定位，因为原因实在是太多了。SVD本身也不是一个很好训练的框架。
这里我看你的结果应该是训练都崩了。
我们遇到的反馈情况很多，包括：
1.检查dependencies的版本是否正确，因为diffusers一直在更新，每次更新还变化巨大
2.数据问题，可能本身数据质量不高或者太多噪音
3.开放的参数多少
4.本身实验的环境配置，CUDA版本等
情况是在太多了。
我的建议是：
你先把controlnext的scale直接设置为0，这样就没有control信号的干扰了，先确保这个框架在没有control信号的情况下能够正常做全局的finetune，然后再一点一点地排查问题。
希望能帮到你

[exisas]

@aleeyang 你好，我也碰到了同样的问题，请问解决了嘛

[potentialming]

@aleeyang 你好，我也碰到了同样的问题，请问解决了嘛

+1

[aleeyang]

各位没有还解决！>_< 不过大家可试试基于SD的模型，比如animateanyone（不过这个也有问题，画面会抖，不过不会蹦～）