跳到正文
原文
Reddit r/LocalLLaMA (开源AI)· /u/StayLameBro·· 1 小时前AI 评分54

Reddit 用户把 iPhone 17 Pro Max 变成 24 GB MacBook 的第二 GPU,Qwen 3.8 27B prefill 提速 29–44%

I made my iPhone a second GPU for my 24 GB MacBook: Qwen 3.8 27B prefills 29–44% faster & my holds part of the CTX window.

AI 导读

Reddit 用户 /u/StayLameBro 用 10 Gb/s USB-C 连接 iPhone 17 Pro Max,让手机在 Qwen 3.8 27B(IQ4_XS)推理中承担部分层和 KV cache,prefill 在 8k–48k 上下文下提速 29–44%,16k 时从 109 提到 157 tok/s。

来源:Reddit r/LocalLLaMA (开源AI) · reddit.com