Falcon-Emirati-7B：让 LLM 学会阿联酋方言、文化与语言细微差异

Hugging Face 发布 Falcon-Emirati-7B，一个基于 Falcon-H1-Arabic 的方言专精模型，旨在像母语者一样理解和生成阿联酋阿拉伯语。该模型采用 Mamba 与 Transformer 混合架构，上下文窗口最高 128K 和 256K token。训练结合阿联酋方言真实网页数据、关于阿联酋文化的 MSA 语料，以及用专用词表和语法规则约束生成的合成数据。