Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

如何去使用inference features?How to use inference features? #9

Open
SFKgroup opened this issue Jul 30, 2024 · 3 comments
Open

Comments

@SFKgroup
Copy link

SFKgroup commented Jul 30, 2024

在尝试利用该模型进行推理,解决Action Spotting问题的过程中,对有一些步骤感到疑惑,烦请解答。
在README中,作者写到 “In the new feature, the feature dimension is reduced to just 768, 3489 is the number of frames.” ,其中 number of frames 在中文语境下指的是什么?我在尝试的过程中发现feature.shape[0]的值和config.json中设置的 length_secs 有关,在 length_secs 较短的情况下 feature.shape[0] == length_secs - 5。其值并不等于 视频的帧数(length_secs*fps) 也不等于 视频的秒数(length_secs) 这使我感到困惑,这使我无法获取到Action的时间点。
README中写道 "One still need to train a stage 2 model to use these features" 这里的 stage 2 model 是用于建立features->Action&Time的关系还是仅用于features->Action的关系?换言之我的模型是需要建立成一个768个输入,17个输出的网络,以获得每一个 "frame" 下的Action 还是将整个features输入模型,通过其他方法获取连带时间戳的Action类型?
如果有人能回答我的问题,我会非常感谢!

@paulxinzhou
Copy link
Collaborator

  1. Number of frames指的是帧数,比如n秒,fps是1,就是n帧,fps是2就是2n帧。 feature.shape[0] == length_secs - 5 这个应该是不对的。得看看问题在哪。
  2. stage 2 model 我们当时是 features -> action,然后 time是nms提取出来的(参考soccernet netvlad模型)。

@SFKgroup
Copy link
Author

这里的fps是视频原有帧率还是重新采样后的FPS呢?config.json需要包含fps,我不清楚该fps的对于获取features的作用,但是我发现更改fps的值并不会影响Number of frames。我很好奇为何config.json需要包含fps,如果这个fps是指程序将自动将视频resample到该fps,那么它也应该会改变Number of frames,如果这个fps只是客观记录视频的fps以计算帧数,那么openCV可以直接在读取视频时获取到FPS与帧数,亦不必多此一举。这使我感到困惑。

1 similar comment
@SFKgroup
Copy link
Author

这里的fps是视频原有帧率还是重新采样后的FPS呢?config.json需要包含fps,我不清楚该fps的对于获取features的作用,但是我发现更改fps的值并不会影响Number of frames。我很好奇为何config.json需要包含fps,如果这个fps是指程序将自动将视频resample到该fps,那么它也应该会改变Number of frames,如果这个fps只是客观记录视频的fps以计算帧数,那么openCV可以直接在读取视频时获取到FPS与帧数,亦不必多此一举。这使我感到困惑。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants