Reddit r/LocalLLaMA (开源AI)· /u/Yaniss916·· 2 小时前AI 评分56
Yamz Labs 发布 Kyojin 引擎:GLM-5.3-Flash 与 MiMo-V2.6-Flash 各跑通单台 128 GB AMD Strix Halo 迷你主机
Two ~300B MoE models, each on ONE 128 GB mini PC (AMD Strix Halo): GLM-5.3-Flash at ~580 tok/s prefill, MiMo-V2.6-Flash up to 44 tok/s decode. EXL3 weights + open ROCm engine
AI 导读
作者团队发布基于 ExLlamaV3 的 Kyojin 引擎,面向 AMD Strix Halo(gfx1151,ROCm),并提供两个可装入单台 128 GB 迷你主机的 300B 级 MoE 量化模型。
来源:Reddit r/LocalLLaMA (开源AI) · reddit.com