跳到正文
原文
Reddit r/LocalLLaMA (开源AI)· /u/ComfortableKindly507·· 2 小时前AI 评分61

Blockway 发布 Agens Volundr 32B Preview,自研混合架构仅 72 层中 18 层保留 KV cache

Agens Volundr 32B Preview: our small team's first model on our own hybrid architecture. Only 18 of 72 layers keep a KV cache (Apache-2.0)

AI 导读

香港小团队 Blockway 发布 Agens Volundr 32B Preview,是其基于自研混合架构的首个模型,以 Apache-2.0 开源,上下文窗口 262K,72 层中仅 18 层保留 KV cache。

来源:Reddit r/LocalLLaMA (开源AI) · reddit.com