Reddit r/LocalLLaMA (开源AI)· /u/ComfortableKindly507·· 2 小时前AI 评分61
Blockway 发布 Agens Volundr 32B Preview,自研混合架构仅 72 层中 18 层保留 KV cache
Agens Volundr 32B Preview: our small team's first model on our own hybrid architecture. Only 18 of 72 layers keep a KV cache (Apache-2.0)
AI 导读
香港小团队 Blockway 发布 Agens Volundr 32B Preview,是其基于自研混合架构的首个模型,以 Apache-2.0 开源,上下文窗口 262K,72 层中仅 18 层保留 KV cache。
来源:Reddit r/LocalLLaMA (开源AI) · reddit.com