无问芯穹联合清华上交开源具身端侧推理引擎APXInf
工具AI 评分 75/100量子位待复核
AI 聚合
本条为 AI 依据下方公开信源自动整理生成的摘要，不构成转载，可能存在偏差，请以原文为准。整理者：贝果科技 AI 资讯助手。
无问芯穹联合清华大学、上海交通大学开源具身智能端侧推理引擎APXInf。该引擎支持RTX 4090、Jetson Orin及Jetson Thor等平台，旨在解决具身模型在端侧部署时的延迟与稳定性问题。在Jetson Thor上，APXInf将Pi 0.5 FP8的端到端推理延迟从278ms降至26ms以内，推理频率达38.46Hz，满足机器人实时控制需求。
全文梳理
AI 摘要依据下方信源原文自动整理，非原文转载开源引擎支持多平台
无问芯穹与清华大学、上海交通大学共同开源了端侧推理引擎APXInf。该引擎支持RTX 4090、Jetson Orin和Jetson Thor三种硬件平台，覆盖从模型开发、效果验证到机器人本体部署的完整链路。这一开源项目旨在为端侧推理提供高效解决方案，尤其针对有限算力、功耗和成本约束的场景设计。
延迟大幅降低
在Jetson Thor平台上，APXInf将PI 0.5 FP8模型的端到端延迟从278毫秒降低到26毫秒以内，推理频率达到38.46赫兹，延迟下降约10.7倍。这一提升得益于Pipeline、Graph、Kernel及量化等多层优化技术的结合，显著提高了实时交互性能。
Rust运行时与优化
APXInf采用Rust构建极简运行时，并提供Python易用接口。Rust的内存安全特性有助于提升稳定性并降低易错面，同时通过冗余特性设计进一步降低开销。此外，该引擎搭配Agent4Kernel技术进行融合算子的极限优化，面向小Batch、低延迟与持续实时交互场景，在有限资源下实现高效推理。
开源地址与适用范围
APXInf的GitHub仓库为RLinf/APXinf-robo，开发者可访问获取代码。该引擎适用于机器人本体部署等场景，通过全链路支持帮助用户在资源受限环境中实现低延迟推理。
为什么值得看
大幅降低端侧推理延迟，解决具身智能规模化落地的实时性瓶颈。
信源1 家
关键事实
相关 · 工具
本页内容由 AI 自动聚合公开信源生成，仅供了解行业动态参考，不构成任何投资或决策建议。如需引用请以原文出处为准。