3399pro使用rknn模型推理慢有可能是系统原因吗?

固件类型:官方提供的固件
固件文件名称:AIO-RK3399PRO-JD4_Ubuntu18.04-Minimal-r21156_v1.4.
固件下载地址:百度网盘
Log日志:null.zip

在rk3399pro板子上使用rknn-toolkit-lite库推理yolov5s.rknn模型,单inference这一步,就要100ms以上,正常npu加速不可能这么慢啊,会不会和系统有关,根本没有调用npu进行加速?

使用的系统ubuntu18.04-minimal版,使用的python3.6,rknn-toolkit-lite1.7.3,驱动也是1.7.3,看资料都是在debian10上测试的,这会不会和系统有关?
tchip_askquestions
null.zip (22 Bytes)

我这里也是出现这个问题,请问你解决了吗

chenll 发表于 2023-9-21 15:03
我这里也是出现这个问题,请问你解决了吗

一百多毫秒已经是加速后的结果,如果没有npu加速的话,一次推理就要秒级以上。
至于网上那些几十毫秒一次的,我也不知道是怎么实现的