跳到正文
原文
Reddit r/LocalLLaMA (开源AI)· /u/KissMyShinyArse·· 5 小时前AI 评分34

Strata 如何配置采样参数

Strata: how to configure sampling parameters

AI 导读

Strata 引擎可在运行配置 JSON(如 strata-iq3_s.json)中添加可选的 "sampling" 块,为省略相应字段的请求设置默认采样参数,例如 temperature: 1.0、top_p: 0.95、top_k: 20。请求自带的采样字段优先于该默认值;若完全没有 sampling 块,未指定采样参数的请求将按 greedy 方式解码。

来源:Reddit r/LocalLLaMA (开源AI) · reddit.com