Reddit r/LocalLLaMA (开源AI)· /u/No-Doughnut6532·· 21 小时前AI 评分52
Orange Pi 5 Plus(RK3588,16GB)本地大语言模型实测:Ollama 吞吐、NPU 卸载与温控
[Benchmark] Running Local LLMs on Orange Pi 5 Plus (RK3588, 16GB): Ollama Tok/s, NPU Offloading, Core Pinning & Thermals
AI 导读
作者对 Orange Pi 5 Plus(RK3588,16GB)实测本地大语言模型推理,发现将 Ollama 限制为 4 线程只用 A76 大核时,Qwen 2.5 1.5B 从 3.46 提升到 14.48 tok/s(+318%)。
来源:Reddit r/LocalLLaMA (开源AI) · reddit.com