跳到正文
原文
Reddit r/LocalLLaMA (开源AI)· /u/BringTea_666·· 2 小时前AI 评分48

单张 RTX5090 解码太快,CPU 工具调用成为多智能体编码新瓶颈

Practical limit hit. Decoding so fast that tool calls (cpu) starting to become real limit not decode or prefill. Single RTX5090. Porting Kenshi to Godot project.

AI 导读

一位开发者用单张 RTX5090 为移植 Kenshi 到 Godot 的项目运行多智能体编码,GPU 实际工作平均约 700t/s,但开到 25 个 agent 时 CPU(9800X3D)全部线程跑满 100%,工具调用取代解码和 prefill 成为实际瓶颈。

来源:Reddit r/LocalLLaMA (开源AI) · reddit.com