Reddit r/MachineLearning· /u/Kinexity·· 1 天前AI 评分14
为什么不让 softmax 少一个输入?(讨论)
Why not just have one less feature before softmax? [D]
AI 导读
Reddit 用户提出:softmax 的 N 个输出因求和为 1 只有 N-1 个自由度,因此可假设各 logit 之和为零,用 N-1 个输入并由负求和推出最后一个 logit,从而省去最后一层的部分参数。作者询问除收益微小外是否有理由不这样做,并猜测或可略微加快收敛。
来源:Reddit r/MachineLearning · reddit.com