有没有推荐的模型推理服务器？

Chip Platform Rockchip
1

我想用3390pro-JD4，做终端盒子。想找一个模型推理服务器。
原来在工作站使用的是tensorRT的triton。3399上肯定不行。有没有推荐的？