Puro-2B：窮實驗室在 5090 美元內、用 RTX 5090 訓出的 Qwen2-1.5B
Puro-2B: Poor Lab's Qwen2-1.5B Trained on RTX 5090 within $5090
arXiv
22
Liang-Hsun Huang 許願
DoReMi：最佳化資料混合比例加速語言模型預訓練
DoReMi Optimizing Data Mixtures Speeds Up Language Model Pretraining
arXiv
7
Liang-Hsun Huang 許願
透過多 token 預測打造更好、更快的大型語言模型
Better and Faster Large Language Models via Multi-token Prediction
arXiv
94
林伯燊 許願