Reddit r/MachineLearning· /u/iam_gkrishna·· 1 天前AI 评分45
小型置信度评分模型 Jev 与 Laya 自测基准对比
Benchmarking small confidence scoring decision (Jev, Laya) models [P]
AI 导读
作者对两款不做文本生成、只对候选标签输出置信度评分的小型分类模型做了自建评测:TypeSafe AI 托管的 Jev 1.13.0 和开源替代品 Laya。Jev 校准良好(ECE 0.013),在 90% 置信度过滤下支持意图分类准确率从 92.3% 提升到 97.6%,覆盖 82% 案例;未调优的 Laya ECE 为 0.486。
来源:Reddit r/MachineLearning · reddit.com