Reddit r/LocalLLaMA (开源AI)· /u/tom_tsai28·2026-10-04 11:48· 2 小时前AI 评分34

5KB 纯 x86-64 汇编推理引擎运行 Gemma-2B：CPU 上 FP16 达 4.6 tok/s

[Discussion] A 5KB pure x86-64 assembly engine for Gemma-2B (FP16, 4.6 tok/s on CPU)

AI 导读

一位开发者在 Reddit r/LocalLLaMA 分享用纯 x86-64 汇编（FASM）编写的 Gemma-2B 推理引擎，总二进制仅 5.2 KB，零 C/C++ 运行时、零 PyTorch 依赖。