跳到正文
原文
Hugging Face Blog·· 6 天前AI 评分55

Liquid AI 发布 LFM2.5-VL-3B 的 DSpark 草稿模型,解码最高提速 3.13x

Accelerating vision-language models with LFM2.5-VL-DSpark

AI 导读

Liquid AI 为视觉语言模型 LFM2.5-VL-3B 发布实验性 DSpark 草稿模型,通过投机解码在不改变输出质量的前提下换取加速。解码速度在设备端最高提速 3.13x、H100 上 2.66x,端到端分别最高 2.62x 和 2.27x。草稿模型新增 280M 参数(约 8.9%),首发支持 llama.cpp、MLX-VLM 和 SGLang。

来源:Hugging Face Blog · huggingface.co