Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

处理过手指的重定向吗? #209

Open
anddyhzw opened this issue Sep 3, 2022 · 3 comments
Open

处理过手指的重定向吗? #209

anddyhzw opened this issue Sep 3, 2022 · 3 comments

Comments

@anddyhzw
Copy link

anddyhzw commented Sep 3, 2022

您好,请问有使用此方法处理过手指吗?
我用自己的数据训练了模型,重定向后的身体动作基本一致,但是手指部分还是存在一些问题,以下用其中一个动作来示意说明,原动作如下图所示:
原动作
重定向后的手指如下图所示:
重定向后
主要存在的问题是手指关节的角度有较明显的差别,详细如下:
1、左手四指指端没有伸直并拢,左手大拇指没有弯曲并拢;
2、右手四指弯曲的角度不对。
我大致的思路是,在bvh_parser.py对骨架扩展了所有的手指关节,手指的末端作为末端关节,去掉gan后进行训练,训练的epoch到2k,loss曲线如下:
loss

@PeizhuoLi
Copy link
Collaborator

您好,我们还没有尝试过带手指的数据。但直观上看,手指部分带来的复杂度和整体身体相当,因此可能还需要进行一些额外的loss/设计才能比较完美的解决

@anddyhzw
Copy link
Author

感谢百忙之中的回复。
我的数据是配对数据,我尝试过,加入如下loss:
将生成的dst数据与dst ground truth数据的relative pos、absolute pos、quaternion进行误差计算,src的进行同样处理。
但是发现训练后推理的结果变得更差。考虑到手指运动更细,更容易受到手指的父关节影响,也尝试过,将dist扩展到dist=4,但是结果也没有变得好。
不知道您,对loss设计这块有怎样的建议不。
再次感谢!

@abcyzj
Copy link

abcyzj commented Aug 14, 2023

@anddyhzw 安利一下我们在手指重定向方面的新工作:Semantics2Hands,在重定向手指时能够很好地保留原动作手指之间的位置关系

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants