gh-MoonshotAI-Moonlight
MIT License
Moonshot AI、UCLA
Muon 可以擴展到 LLM 訓練
Muon is Scalable for LLM Training
Jingyuan Liu、Jianlin Su、Xingcheng Yao、Zhejun Jiang、Guokun Lai、Yulun Du、Yidao Qin、Weixin Xu、Enzhe Lu、...
LLMMuonOptimizerMoEScaling Law開源模型
Liang-Hsun Huang 許願