Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

NCNN版本的到底该怎么跑呀作者大大 #3

Open
lemonnader opened this issue Mar 23, 2022 · 16 comments
Open

NCNN版本的到底该怎么跑呀作者大大 #3

lemonnader opened this issue Mar 23, 2022 · 16 comments

Comments

@lemonnader
Copy link

No description provided.

@lemonnader
Copy link
Author

树莓派下编译NCNN版本的lite.ai.toolkit的时候需要注意什么呀,它老是不通过

@DefTruth
Copy link
Owner

DefTruth commented Mar 23, 2022

还没有在树莓派玩过.....你要是只用其中几个模型的话,可以考虑把 xxx.h 和 xxx.cpp 以及lite/ncnn/core摘出来,模型之间是完全解耦的。可以参考我写的前后推理逻辑,应该很容易就能自己捏一个。

@lemonnader
Copy link
Author

哇!你回复好快!是这样的,我想在树莓派【感觉和普通linux系统的应该差不多】上跑ncnn版本的yolo5face,但我是一个小白,我不太懂我到底应该怎么操作才能正常的跑出来效果,或者我还买了云服务器,装的linux系统,就是想问下用您写的工具跑ncnn版本的yolo5face到底怎么操作呀[哭]

@DefTruth
Copy link
Owner

没办法,我确实也不太熟悉树莓派(哭.....)因为lite.ai.toolkit的依赖其实不少,包括ffmpeg、opencv、onnxruntime、NCNN等等,如果你是在嵌入式玩,我其实是不建议用lite.ai.toolkit的,因为东西太多了。你需要把所有的东西都配好才能编lite.ai.toolkit。还不如只选择你想用的那部分,修改一下,把lite.ai.toolkit当成参考啥的。

@lemonnader
Copy link
Author

好吧谢谢!!那...那如果是在linux系统的服务器上呢,用lite.ai.toolkit跑ncnn版本的yolo5face应该怎么操作呀

@DefTruth
Copy link
Owner

可以来看下我写一个介绍lite.ai.toolkit目录结构的issue:

@lemonnader
Copy link
Author

我看不太懂(...),我看您在 https://github.com/DefTruth/YOLO5Face.lite.ai.toolkit 这个仓库里写了NCNN版本的推理实现已经测试通过了,可以问一下怎么用嘛?另外还想问一下您有测过onnx和ncnn推理的速度区别吗,差距大吗?]

@DefTruth
Copy link
Owner

好吧谢谢!!那...那如果是在linux系统的服务器上呢,用lite.ai.toolkit跑ncnn版本的yolo5face应该怎么操作呀

那就正常用就好了,但是lite.ai.toolkit在linux下的预编译库现在只有onnxruntime的版本。ncnn版本你需要重新编译,lite.ai.toolkit,可以参考以下步骤:

  • 下载lite.ai.toolkit主页中的linux预编译库(为了用我编好的opencv+ffmpeg,这玩意有点复杂,如果你想自己编带ffmpeg支持的opencv,可以看我写的博客:https://zhuanlan.zhihu.com/p/472115312)
  • 下载lite.ai.toolkit源代码,因为你想编译NCNN版本,我预编译的lite.ai.toolkit只支持onnxruntime,所以要用lite.ai.toolkit的源码重新编译
  • 下载NCNN官方release的linux预编译库,参考lite.ai.toolkit的README编译linux版本

@DefTruth
Copy link
Owner

lite.ai.toolkit有中文文档的,你可以看一下

@DefTruth
Copy link
Owner

我看不太懂(...),我看您在 https://github.com/DefTruth/YOLO5Face.lite.ai.toolkit 这个仓库里写了NCNN版本的推理实现已经测试通过了,可以问一下怎么用嘛?另外还想问一下您有测过onnx和ncnn推理的速度区别吗,差距大吗?]

这是在Mac测的,linux的类似,但是要把库替换成linux的,CMakelists可能也要修改。pc下ncnn并不快,onnxruntime比较快,但移动端ncnn性能还可以。

@lemonnader
Copy link
Author

好吧谢谢!!那...那如果是在linux系统的服务器上呢,用lite.ai.toolkit跑ncnn版本的yolo5face应该怎么操作呀

那就正常用就好了,但是lite.ai.toolkit在linux下的预编译库现在只有onnxruntime的版本。ncnn版本你需要重新编译,lite.ai.toolkit,可以参考以下步骤:

  • 下载lite.ai.toolkit主页中的linux预编译库(为了用我编好的opencv+ffmpeg,这玩意有点复杂,如果你想自己编带ffmpeg支持的opencv,可以看我写的博客:https://zhuanlan.zhihu.com/p/472115312)
  • 下载lite.ai.toolkit源代码,因为你想编译NCNN版本,我预编译的lite.ai.toolkit只支持onnxruntime,所以要用lite.ai.toolkit的源码重新编译
  • 下载NCNN官方release的linux预编译库,参考lite.ai.toolkit的README编译linux版本

好的我试一下!谢谢!

@lemonnader
Copy link
Author

您好!我还有一个问题,编译NCNN版本的lite.ai.toolkit时,是需要修改build.sh里面的参数就可以吗?CMakeLists需不需要修改呢?

@DefTruth
Copy link
Owner

您好!我还有一个问题,编译NCNN版本的lite.ai.toolkit时,是需要修改build.sh里面的参数就可以吗?CMakeLists需不需要修改呢?

参考lite.ai.toolkit的README文档,开启-DENABLE_NCNN=ON

@lemonnader
Copy link
Author

您好!我还有一个问题,编译NCNN版本的lite.ai.toolkit时,是需要修改build.sh里面的参数就可以吗?CMakeLists需不需要修改呢?

参考lite.ai.toolkit的README文档,开启-DENABLE_NCNN=ON

好的!

@lemonnader
Copy link
Author

跑通了!!感谢!!

@XiaoPeiCode
Copy link

我想问下,怎么在windows系统下配置安装呀?我找不到教程

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants