Reddit r/LocalLLaMA (开源AI)· /u/bjivanovich·· 4 小时前AI 评分51
ATX-Swift-1.5-Qwen3.8-27B 量化版发布:单张 RTX 3090 在 131k 上下文下维持 50-65+ t/s
[Release & Deep Dive] ATX-Swift-1.5-Qwen3.8-27B-Uncensored-MTP (i1-Q5_K_M): Sustaining 50-65+ t/s Across a FULL 128k (131,072) Context on a Single 24GB RTX 3090
AI 导读
作者 /u/bjivanovich 发布 ATX-Swift-1.5-Qwen3.8-27B-Uncensored-MTP 量化套件,在单张 24GB RTX 3090 上以 i1-Q5_K_M 精度跑满 131,072 tokens 上下文,深上下文(约 80k-98k tokens) sustained 速度 50-53.72 t/s,峰值超 63 t/s。
来源:Reddit r/LocalLLaMA (开源AI) · reddit.com