NOTES FROM THE FARM
关于模型训练的研究笔记。分享方法、实验和可以复现的过程。
Puro-2B 的低成本预训练实践：在 RTX 5090 上训练约 20 亿参数的模型，介绍硬件、FP8、优化器和数据配方，以及复现实验所需的开源材料。
从一篇训练笔记开始。