LLM 推理资源仪表盘：支持多引擎、64MB 轻量级本地监控工具开发中

一位开发者在 Reddit r/LocalLLaMA 展示正在开发的 LLM 推理仪表盘，支持 llama、strata、自定义 CUDA 引擎、unsloth 和 LMS 等多种引擎，本地运行上限 64MB，并可通过 collector 在网络 API 端点上扩展。其日志和指标比默认 endpoint API 更丰富，目前尚未公开，作者在征集用户兴趣。