32位研究者发布现代NLP分词综述

2026年10月1日，Reddit r/MachineLearning 上一则帖子介绍了一份由32位分词（tokenizer）研究者历时约8个月完成的领域综述。该综述覆盖分词算法、评测、多语言、编码与理论等方面，还探讨了潜在或视觉分词等替代方案，并涉及受限生成、token healing 与分词器安全等相邻主题。目前该事件仅有这一篇报道，尚无后续进展或其他信息。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。