跳到正文
原文
Reddit r/LocalLLaMA (开源AI)· /u/No-Doughnut6532·· 21 小时前AI 评分52

Orange Pi 5 Plus(RK3588,16GB)本地大语言模型实测:Ollama 吞吐、NPU 卸载与温控

[Benchmark] Running Local LLMs on Orange Pi 5 Plus (RK3588, 16GB): Ollama Tok/s, NPU Offloading, Core Pinning & Thermals

AI 导读

作者对 Orange Pi 5 Plus(RK3588,16GB)实测本地大语言模型推理,发现将 Ollama 限制为 4 线程只用 A76 大核时,Qwen 2.5 1.5B 从 3.46 提升到 14.48 tok/s(+318%)。

来源:Reddit r/LocalLLaMA (开源AI) · reddit.com