跳到正文
原文
Reddit r/LocalLLaMA (开源AI)· /u/I_am_purrfect·· 4 小时前AI 评分43

在eBay矿卡FPGA上实现Qwen3.5 9B/27B INT4模型推理架构

Qwen3.5 arch implementation in FPGA fabric for 9B/27B INT4 models on relatively cheap eBay mining hardware

AI 导读

一名开发者用约280美元的SQRL FK33矿卡FPGA实现了Qwen3.5 9B INT4的FPGA推理:2卡FK33在75MHz下生成约3.2 tok/s、prefill约6 tok/s,输出已与llama.cpp逐层核对。

来源:Reddit r/LocalLLaMA (开源AI) · reddit.com