Reddit r/LocalLLaMA (开源AI)· /u/KissMyShinyArse·· 5 小时前AI 评分34
Strata 如何配置采样参数
Strata: how to configure sampling parameters
AI 导读
Strata 引擎可在运行配置 JSON(如 strata-iq3_s.json)中添加可选的 "sampling" 块,为省略相应字段的请求设置默认采样参数,例如 temperature: 1.0、top_p: 0.95、top_k: 20。请求自带的采样字段优先于该默认值;若完全没有 sampling 块,未指定采样参数的请求将按 greedy 方式解码。
来源:Reddit r/LocalLLaMA (开源AI) · reddit.com