ROC-RK3566安卓RKNN模型例程无法使用,且会导致重启

本帖最后由 zwmasdf 于 2021-8-20 15:45 编辑

如题,安卓RKNN模型无法按照例程跑,主要有以下几个问题
一、rknnrt/examples/rknn_mobilenet_demo下的例程无法编译,按照ReadMe.md的步骤无法完成CMake的编译
主要修改了:ANDROID_NDK_PATH=…/Android/Sdk,这里不管指向Sdk还是指向Sdk/ndk、21.4.7075529都无法导致编译成功,
然后尝试修改了19行的cmake为C:/Users/R190095/AppData/Local/Android/Sdk/cmake/3.10.2.4988404/bin/cmake还是无法编译成功,
提示无法找到…/Android/Sdk/platforms/android-24,然后去Sdk/platforms下找,发现没有android-24的文件夹,至此,放弃该编译方式。
使用第二种NDK+Cmake编译
二、使用Android Studio新建Native C++工程
修改app/build.gradle,修改如下:

defaultConfig {
    ......
    externalNativeBuild {
        cmake {
            cppFlags ''
            abiFilters 'armeabi-v7a', "arm64-v8a"
        }
    }

    ndk {
        abiFilters 'armeabi-v7a', "arm64-v8a"
    }
}
然后将rknn相关lib和头文件加到工程中,如图所示
![image.png|352x599](upload://dvI69f1nzT793WiIF74BTtrB5mP.png)
然后修改CMakeList.txt,代码如下:
cmake_minimum_required(VERSION 3.10.2)

project("mytest")

add_library(
        mytest
        SHARED
        native-lib.cpp)

include_directories(${CMAKE_SOURCE_DIR}/include)

add_library(rknn_api_android #这里不管有没有android后缀都一样
        SHARED
        IMPORTED)

set_target_properties(rknn_api_android #这里不管有没有android后缀都一样
        PROPERTIES IMPORTED_LOCATION
        ${CMAKE_SOURCE_DIR}/lib/${ANDROID_ABI}/librknn_api_android.so) #这里不管有没有android后缀都一样

add_library(rknnrt
        SHARED
        IMPORTED)

set_target_properties(rknnrt
        PROPERTIES IMPORTED_LOCATION
        ${CMAKE_SOURCE_DIR}/lib/${ANDROID_ABI}/librknnrt.so)

find_library(
        log-lib
        log)

target_link_libraries(
        mytest

        rknn_api_android  #这里不管有没有android后缀都一样
        rknnrt

        ${log-lib})
接着修改native-lib.cpp代码,内容如下:
#include <jni.h>
#include <string>
#include <android/log.h>
#include <pthread.h>

#include "rknn_api.h"

#define TAG "NATIVE_LIB"

#define LOGD(...) __android_log_print(ANDROID_LOG_DEBUG, TAG, __VA_ARGS__)

static unsigned char *load_model(const char *filename, int *model_size)
{
    FILE *fp = fopen(filename, "rb");
    if(fp == nullptr) {
        LOGD("fopen %s fail!\n", filename);
        return nullptr;
    }
    fseek(fp, 0, SEEK_END);
    int model_len = ftell(fp);
    unsigned char *model = (unsigned char*)malloc(model_len);
    fseek(fp, 0, SEEK_SET);
    if(model_len != fread(model, 1, model_len, fp)) {
        LOGD("fread %s fail!\n", filename);
        free(model);
        return nullptr;
    }
    *model_size = model_len;
    fclose(fp);
    return model;
}

void* test(void *arg) {
    int model_len = 0;
    unsigned char *model = nullptr;
    rknn_context ctx;
    int ret;

    model = load_model("/vendor/model/mobilenet_v1.rknn", &model_len);
    if(!model) {
        LOGD("load model failed\n");
        return nullptr;
    }
    LOGD("load model ok");
    ret = rknn_init(&ctx, model, model_len, 0, nullptr);
    if(ret < 0) {
        LOGD("rknn_init fail! ret=%d\n", ret);
        return nullptr;
    }
    LOGD("rknn_init ok");
    return nullptr;
}

extern "C" JNIEXPORT jstring JNICALL
        Java_com_example_mytest_MainActivity_stringFromJNI(
    JNIEnv* env,
    jobject /* this */) {
    std::string hello = "Hello from C++";
    LOGD("hello");
    int err;
    pthread_t ntid;
    err = pthread_create(&ntid, nullptr, test, nullptr);
    if (err != 0) {
        LOGD("can't create thread: %s\n", strerror(err));
    }

    return env->NewStringUTF(hello.c_str());
}
然后使用adb root && adb remount激活root(前提是安卓启用开发者并启用root)
接着把rknn_mobilenet_demo下的model文件夹通过adb push model /vendor/拷贝到开发板内
接着adb push Android/rknn_server/${BOARD_ARCH}/rknn_server到/vendor/bin目录,这里试了切换不同架构的rknn_server也不行
然后adb push Android/librknn_api/${BOARD_ARCH}/librknnrt.so到/vendor/lib64(64位系统特有)和/vendor/lib目录,换架构也不行
然后adb shell进入控制台, 并通过su切换成root, 接下来执行:
       chmod 777 /vendor/bin/rknn_server
       setenforce 0
       /vendor/bin/rknn_server &
然后编译安卓程序,运行后控制台依次打印hello和load model ok,然后卡住了,app上也没显示Hello from C++
然后过了几秒钟开发板重启了,尝试切换架构,push不同的文件到开发板,都不行
后来去/vendor/lib和/vendor/lib64下看librknnrt.so文件属性,发现都是只读的,而且无法删除

以上是尝试调用rknn的过程,但是一直以失败而告终,请求支持

不建议使用太新的NDK版本,参考脚本的版本android-ndk-r16b

zyk 发表于 2021-8-20 16:29
不建议使用太新的NDK版本,参考脚本的版本android-ndk-r16b

那问题二重启又是咋回事

固件是什么版本,跑官方demo是否会重启

Firefly版本为:
rk3566_roc_pc/Android11.0/V1.0.2106160927/8849e45f60b4
版本号:
rk3566_roc_pc-userdebug 11 RQ1D.210105.003.eng.lzf.20210616.092756 release-keys
跑官方demo直接失败了,demo从:https://www.t-firefly.com/doc/download/103.html#other_478下载下来的
但是跑官方demo也会重启,步骤如下:
adb root
adb remount
adb push ./rknn_ssd_demo /vendor
adb push ./model /vendor
adb shell
su
setenforce 0
/vendor/bin/rknn_server &
cd /vendor
chmod 777 rknn_ssd_demo
./rknn_ssd_demo ./model/ssd_inception_v2.rknn ./model/road.bmp

更新到最新的固件试试

zyk 发表于 2021-8-21 08:57
更新到最新的固件试试

ROC-3566的安卓固件百度云提取码有误

提取码可以正常操作,请检查输入是否有误

zyk 发表于 2021-8-23 09:15
提取码可以正常操作,请检查输入是否有误

3566和3568固件通用吗

zyk 发表于 2021-8-23 09:15
提取码可以正常操作,请检查输入是否有误

现在不会重启了,但是rknn_init()返回-7,不知道是什么原因,换rknn模型也不行

按wiki教程走一下看一下是否有遗漏的步骤https://wiki.t-firefly.com/ROC-RK3566-PC/usage_npu.html

zyk 发表于 2021-8-23 16:54
按wiki教程走一下看一下是否有遗漏的步骤https://wiki.t-firefly.com/ROC-RK3566-PC/usage_npu.html

找到问题了,但是文档有自相矛盾的地方,rknnrt/doc/Rockchip_RK356X_User_Guide_RKNN_API_V1.1.0_CN.pdf中3.3.1章节安卓平台要求应用链接librknn_api_android.so,但是实际就是rknn_init返回错误,改成librknn_api.so就不会rknn_init错误了,请问两者有何区别,为什么文档描述的是错误的。

如文档描述,是否有生成相应的库

/system/lib/librknn_api_android.so
/system/lib/librknnhal_bridge.rockchip.so
/system/lib64/librknn_api_android.so
/system/lib64/librknnhal_bridge.rockchip.so
/vendor/lib64/rockchip.hardware.neuralnetworks@1.0.so
/vendor/lib64/rockchip.hardware.neuralnetworks@1.0-adapter-helper.so
/vendor/lib64/librknnrt.so
/vendor/lib64/hw/rockchip.hardware.neuralnetworks@1.0-impl.so

zyk 发表于 2021-8-24 08:56
如文档描述,是否有生成相应的库

我是直接用下载的资料里的库的,但是按照文档链接librknn_api_android.so是不行的,一定要链接librknn_api.so才行,这是什么原因呢,两者有何区别

本帖最后由 zyk 于 2021-8-24 10:08 编辑

<div>
<div>#链接librknnrt.so</div></div><div><div>rknn_ssd_demo_Android
    ├── lib
    │&nbsp;&nbsp; ├── librknn_api.so -> librknnrt.so
    │&nbsp;&nbsp; └── librknnrt.so
    ├── model
    │&nbsp;&nbsp; ├── box_priors.txt
    │&nbsp;&nbsp; ├── coco_labels_list.txt
    │&nbsp;&nbsp; ├── road.bmp
    │&nbsp;&nbsp; └── ssd_inception_v2.rknn
    └── rknn_ssd_demo
</div></div>