Reddit讨论softmax前减少一维输入的可能性

2026年9月29日，Reddit r/MachineLearning 上有用户发帖讨论：由于 softmax 的 N 个输出因求和为 1 而只有 N-1 个自由度，可以假设各 logit 之和为零，从而只用 N-1 个输入，最后一个 logit 由负的求和推出，这样可省去 softmax 前一层的部分参数。发帖者询问这一做法除收益微小之外是否有理由不这样做，并猜测或可略微加快收敛。目前该帖仅为讨论性质，尚无更多后续进展的报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。