讀紙 ReadPaper

由 Claude Code Max 翻譯的 AI 論文繁體中文版 · 101 篇

標籤 願望清單
篩選標籤： 持續預訓練 2 篇 × 清除
2503.05029v2 CC BY-NC-SA 4.0 Université de Montréal、Mila – Quebec AI Institute、Capital One、University of Chicago、Concordia University

MoE 的持續預訓練：你的路由器有多穩健？

Continual Pre-training of MoEs: How robust is your router?

Benjamin Thérien、Charles-Étienne Joseph、Zain Sarwar、Ashwinee Panda、Anirban Das、Shi-Xiong Zhang、Steph...

MoELLM持續預訓練RoutingLoad BalancingCatastrophic ForgettingReplay
arXiv 48
Liang-Hsun Huang 許願
2607.15232v1 CC BY 4.0 MIT

預訓練 LLM 的原地詞元化器擴充

In-Place Tokenizer Expansion for Pre-trained LLMs

Jimmy T. H. Smith, Tarek Dakhran, Alberto Cabrera, Simon S. Lee, Paul Pak, Aditya Tadimeti, Tim Seyd...

LLMTokenizer詞彙擴充多語言持續預訓練On-deviceMoE
arXiv 22
Liang-Hsun Huang 許願