Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

如何获取其他设备的推理延迟 #18

Open
ouzejun opened this issue May 19, 2023 · 2 comments
Open

如何获取其他设备的推理延迟 #18

ouzejun opened this issue May 19, 2023 · 2 comments

Comments

@ouzejun
Copy link

ouzejun commented May 19, 2023

希望能够在一个移动设备上实现目标检测算法,因此需要构建移动设备的延迟推理库。根据tinynas/latency/op_profiler/README.md中所述,可以通过tinynas/latency/op_profiler/python/下的一系列模块实现。但是在执行

sh sample.sh

的时候,我发现需要一个名为venus_eval_test_uclibc的文件。经过搜索并未查找到所需要的文件。我想请问我该如何解决这个问题。

@xiuyu-sxy
Copy link
Collaborator

hi 这是我们的一个疏忽,venus_eval_test_uclibc 文件是我们内部使用的一个针对NVGPU平台下不同算子的测速评估程序,该部分由于版权问题是没有被开源的,我们后续会将其更换成开源版本。

如果是针对特定移动端设备的话,要做的就是生成类似于 conv_data.out 的查找表,这部分的评测代码需要自行实现。

@ouzejun
Copy link
Author

ouzejun commented Aug 18, 2023

谢谢,抱歉这么久才回复您。
我想请问以下关于conv_data.out中是一个怎样的数据格式吗?这样方便个人自行制作相关的数据。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants