Tokenization：现代 NLP 分词技术综述

一份由 32 位分词（tokenizer）研究者历时约 8 个月完成的领域综述发布，覆盖分词算法、评测、多语言、编码与理论等方面，还探讨了潜在或视觉分词等替代方案，以及受限生成、token healing 与分词器安全等相邻主题。