Reddit r/LocalLLaMA (开源AI)· /u/BringTea_666·· 2 小时前AI 评分43
MegaCapybara 发布：RTX5090 专用 Qwen3.8 27B 推理引擎，速度约为 ninfer 两倍
The fastest interference engine for RTX5090 and Qwen3.8 27B. Twice as fast as ninfer. 500+ t/s single coding, 2000+t/s up to 12 agents at the same time with 800k context. Smart VRAM-RAM-DISC Cache management, Loop Guard, Nice UI etc.
AI 导读
开发者发布面向 RTX5090 的推理引擎 MegaCapybara，专注 Qwen3.8 27B，解码速度约为此前 SOTA 引擎 ninfer 的两倍，单路编码可达 500+ t/s，12 slots 同时服务智能体时超 2000 t/s，上下文最高 800k。
来源：Reddit r/LocalLLaMA (开源AI) · reddit.com