Reddit r/LocalLLaMA (开源AI)· /u/AdventurousTwo6445·· 21 小时前AI 评分36
闭式轨迹权重手术：将 Qwen 4B 能力迁移到 0.8B 而无需数十亿 token，4 个锚点层如何修复中间层崩溃
Closed-form trajectory weight surgery: transferring 4B capabilities into 0.8B without billions of tokens (why middle layers break, and how 4 anchor blocks fixed it)
AI 导读
一名开源开发者在 Qwen 3.5（4B→0.8B）上跳过反向传播，用正则化最小二乘和谱投影直接求解 MLP 权重更新，实现闭式轨迹迁移。直接编辑全部 24 层会让 NLL 暴涨 64.78%，改为仅在 0、7、15、23 四个锚点层手术后，30 个 benchmark 上 held-out NLL 下降 10.8%，HellaSwag 从 54.75% 升至 55.25%。
来源：Reddit r/LocalLLaMA (开源AI) · reddit.com