个人训练31k参数transformer预测血糖

一位 1 型糖尿病患者在 Reddit r/MachineLearning 发帖介绍其预测血糖模型的第二部分工作。该作者训练了一个 encoder-only transformer 模型，用于预测未来 2 小时血糖。模型仅使用模拟器生成的合成数据训练，未见过任何真实血糖数据。模型规模为 31,251 个参数，结构为 16 层、每层 1 个注意力头、隐藏维度 16。训练在 nvidia dgx spark 上进行，耗时不到 60 分钟。模型可自回归地用于 8 小时夜间血糖预测，并具备反事实推理能力。目前该事件仅有这一篇报道，暂无其他进展信息。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。