發明一個資料集：以零種子測量資料集生成能力
Invent a Dataset: Measuring dataset generation abilities with zero seed
Liang-Hsun Huang 許願
Harness-Zero：透過代理人即Harness進行Harness蒸餾
Harness-Zero: Harness Distillation via Agent-as-Harness
Liang-Hsun Huang 許願
資料受限下的語言模型 Scaling
Scaling Data-Constrained Language Models
Liang-Hsun Huang 許願
Muon 可以擴展到 LLM 訓練
Muon is Scalable for LLM Training
Liang-Hsun Huang 許願
Kimi K3：開放的前沿智慧
Kimi K3: Open Frontier Intelligence
Liang-Hsun Huang 許願
論 Qwen3.8-Next 架構設計：評測、效率與訓練穩定性
On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability
Liang-Hsun Huang 許願
大型語言模型代理人的工具創建與工具使用聯合最佳化
Joint Optimization of Tool Creation and Use for Large Language Model Agents
Liang-Hsun Huang 許願
MoE 的持續預訓練：你的路由器有多穩健？
Continual Pre-training of MoEs: How robust is your router?
Liang-Hsun Huang 許願
少即足夠：用稀疏自編碼器在 LLM 特徵空間中合成多樣化資料
Less is Enough: Synthesizing Diverse Data in LLM Feature Space with Sparse Autoencoders
Liang-Hsun Huang 許願
預訓練 LLM 的原地詞元化器擴充
In-Place Tokenizer Expansion for Pre-trained LLMs
Liang-Hsun Huang 許願
論預訓練、中期訓練與強化學習在推理語言模型上的交互作用
On the Interplay of Pre-Training, Mid-Training, and RL on Reasoning Language Models
kerg kerg 許願
指令遵循式剪枝：面向大型語言模型
Instruction-Following Pruning for Large Language Models
林伯燊 許願
超越 GPT-5：透過效能—效率最佳化路由讓 LLM 更便宜也更好
Beyond GPT-5: Making LLMs Cheaper and Better via Performance-Efficiency Optimized Routing
林伯燊 許願
LLMRouterBench：一個大規模基準與用於 LLM 路由的統一框架
LLMRouterBench: A Massive Benchmark and Unified Framework for LLM Routing
林伯燊 許願
透過簡單且統一的擴展實現金牌級奧林匹亞推理
Achieving Gold-Medal-Level Olympiad Reasoning via Simple and Unified Scaling
Teds Lin 許願
模型自適應的工具必要性揭示了 LLM 工具使用中的「知行落差」
Model-Adaptive Tool Necessity Reveals the Knowing-Doing Gap in LLM Tool Use
Teds Lin 許願
EndPrompt：透過終端錨定 (Terminal Anchoring) 達成高效長上下文擴展
EndPrompt: Efficient Long-Context Extension via Terminal Anchoring
Teds Lin 許願
MeMo：記憶即模型
MeMo: Memory as a Model
Teds Lin 許願
小型大型語言模型：剪枝 vs. 從頭訓練
Small LLMs: Pruning vs. Training from Scratch
kerg kerg 許願
TW-LegalBench：衡量台灣法律理解能力
TW-LegalBench: Measuring Taiwanese Legal Understanding
鄭子凡 許願
思考增強預訓練 (Thinking Augmented Pre-training)
Thinking Augmented Pre-training
Teds Lin 許願
共同演化策略蒸餾
Co-Evolving Policy Distillation
Teds Lin 許願
語言模型是少樣本學習者（GPT-3）
Language Models are Few-Shot Learners
Thomas Liang 許願
DataComp-LM：探索下一代語言模型訓練集
DataComp-LM In search of the next generation of training sets for language models
Thomas Liang 許願
OpenThoughts：推理模型的資料配方
OpenThoughts Data Recipes for Reasoning Models
Thomas Liang 許願
Self-Distilled RLVR：以自我蒸餾改進可驗證獎勵的強化學習
Self-Distilled RLVR
Teds Lin 許願
Attention to Mamba：跨架構蒸餾的配方
Attention to Mamba A Recipe for Cross-Architecture Distillation
Teds Lin 許願
Autogenesis：自我演化的智能體協定
Autogenesis A Self-Evolving Agent Protocol
Teds Lin 許願
當你委派工作時，LLMs 會污染你的文件
LLMs Corrupt Your Documents When You Delegate
Liang-Hsun Huang 許願
大型語言模型的混合策略蒸餾
Hybrid Policy Distillation for LLMs
Teds Lin 許願
翻轉 TIDE：擴散大型語言模型的跨架構蒸餾
Turning the TIDE Cross-Architecture Distillation for Diffusion Large Language Models
Liang-Hsun Huang 許願
Prefill-as-a-Service：下一代模型的 KVCache 可跨資料中心傳輸
Prefill-as-a-Service KVCache of Next-Generation Models Could Go Cross-Datacenter
Teds Lin 許願
訓練 LLM 智能體透過世界知識探索實現自發、無獎勵的自我演化
Training LLM Agents for Spontaneous Reward-Free Self-Evolution via World Knowledge Exploration
Teds Lin 許願
Nemotron 3 Nano：開放高效的 MoE 混合 Mamba-Transformer 智能體推理模型
Nemotron 3 Nano Open Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning
林伯燊 許願
如何微調推理模型？師生合作框架合成學生一致的 SFT 資料
How to Fine-Tune a Reasoning Model A Teacher-Student Cooperation Framework to Synthesize Student-Consistent SFT Data
Teds Lin 許願
LongAct：利用內在激活模式實現長上下文強化學習
LongAct Harnessing Intrinsic Activation Patterns for Long-Context Reinforcement Learning
Teds Lin 許願
TREX：以智能體驅動的樹狀探索自動化 LLM 微調
TREX Automating LLM Fine-tuning via Agent-Driven Tree-based Exploration
Teds Lin 許願
DFlash：用區塊擴散模型實現閃電推測解碼
DFlash Block Diffusion for Flash Speculative Decoding
林伯燊 許願
Self-Anchor：透過逐步注意力對齊改進 LLM 推理
Self-Anchor LLM Reasoning via Step-by-step Attention Alignment
kerg kerg 許願
上下文並行：可擴展的百萬 Token 推理
Context Parallelism for Scalable Million-Token Inference
kerg kerg 許願
SERA：軟驗證的高效程式碼倉庫智能體
SERA Soft-Verified Efficient Repository Agents
kerg kerg 許願
自蒸餾實現持續學習
Self-Distillation Enables Continual Learning
kerg kerg 許願
Lightning OPD：利用離線同策略蒸餾實現大型推理模型的高效後訓練
Lightning OPD Efficient Post-Training for Large Reasoning Models with Offline On-Policy Distillation
Teds Lin 許願
Nemotron 3 Super：開源高效混合專家 Mamba-Transformer 模型，面向智能體推理
Nemotron 3 Super Open Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning
Teds Lin 許願
大型語言模型後訓練：離策略與在策略學習的統一視角
Large Language Model Post-Training A Unified View of Off-Policy and On-Policy Learning
Teds Lin 許願
學習即遺忘：LLM 訓練作為有損壓縮
Learning is Forgetting LLM Training As Lossy Compression
Teds Lin 許願
DoReMi：最佳化資料混合比例加速語言模型預訓練
DoReMi Optimizing Data Mixtures Speeds Up Language Model Pretraining
Liang-Hsun Huang 許願
交錯頭注意力機制
Interleaved Head Attention
Teds Lin 許願
重新思考推理 SFT 中的泛化：對最佳化、資料與模型能力的條件式分析
Rethinking Generalization in Reasoning SFT
Teds Lin 許願
透過循環語言模型擴展潛在推理 / Ouro
Scaling Latent Reasoning via Looped Language Models
Teds Lin 許願
基於 Fisher–Rao 流形的功能導向 LLM 合併
Functionality-Oriented LLM Merging on the Fisher-Rao Manifold
葉鴻 許願
ReAct：在語言模型中協同推理與行動
ReAct Synergizing Reasoning and Acting in Language Models
Thomas Liang 許願
透過多 token 預測打造更好、更快的大型語言模型
Better and Faster Large Language Models via Multi-token Prediction
林伯燊 許願
就地測試時訓練
In-Place Test-Time Training
Teds Lin 許願
使用大型語言模型自動化資料庫原生函式程式碼合成
Automating Database-Native Function Code Synthesis with LLMs
Teds Lin 許願
2 OLMo 2 Furious：完全開放的下一代語言模型家族
2 OLMo 2 Furious
林伯燊 許願
自我改進式預訓練：利用後訓練模型來預訓練更好的模型
Self-Improving Pretraining using post-trained models to pretrain better models
Liang-Hsun Huang 許願
Qwen3 技術報告
Qwen3 Technical Report
Liang-Hsun Huang 許願