發明一個資料集：以零種子測量資料集生成能力
Invent a Dataset: Measuring dataset generation abilities with zero seed
Liang-Hsun Huang 許願
Harness-Zero：透過代理人即Harness進行Harness蒸餾
Harness-Zero: Harness Distillation via Agent-as-Harness
Liang-Hsun Huang 許願
大型語言模型的代理式推理綜述：邁向遞迴自我改進與集體代理
A Survey of Agentic Reasoning for Large Language Models
Liang-Hsun Huang 許願
DeepSeek Elastic Compute (DSec)：面向大規模高效代理式訓練的沙箱基礎設施
DeepSeek Elastic Compute (DSec): A Sandbox Infrastructure for Effective Agentic Training at Scale
Liang-Hsun Huang 許願
用集體技能強化代理（Skill2Env）
Reinforcing Agents with Collective Skills
Liang-Hsun Huang 許願
Jina-OCR-v1：以推測式解碼與稠密可驗證獎勵做高效文件解析
Jina-OCR-v1: Efficient Document Parsing with Speculative Decoding and Dense Verifiable Rewards
鄭子凡 許願
MiMo-V2.6：將強化學習擴展至自我改進
MiMo-V2.6: Scaling Reinforcement Learning Towards Self-Improvement
Liang-Hsun Huang 許願
ZGCM-1：一個完全開放、極致高效、面向數學與代理式搜尋的基礎模型
ZGCM-1: A Fully Open and Extremely Efficient Foundation Model for Math and Agentic Search
Liang-Hsun Huang 許願
稀疏再造 (Sparse Upcycling)：從稠密檢查點訓練 Mixture-of-Experts
Sparse Upcycling: Training Mixture-of-Experts from Dense Checkpoints
Liang-Hsun Huang 許願
FrogNano：以線上任務合成訓練 4B 程式碼代理
FrogNano: Training a 4B Coding Agent via Online Task Synthesis
Liang-Hsun Huang 許願
FinEval：一個面向大型語言模型的中文金融領域知識評測基準
FinEval: A Chinese Financial Domain Knowledge Evaluation Benchmark for Large Language Models
Liang-Hsun Huang 許願
HarnessEvolve：從參考軌跡學習，實現可靠的代理自我演化
HarnessEvolve: Learning from Reference Trajectories for Reliable Agent Self-Evolution
Liang-Hsun Huang 許願
Puro-2B：窮實驗室在 5090 美元內、用 RTX 5090 訓出的 Qwen2-1.5B
Puro-2B: Poor Lab's Qwen2-1.5B Trained on RTX 5090 within $5090
Liang-Hsun Huang 許願
Agent Seer：從規格理解合成評測情境
Agent Seer: Synthesizing Scenarios from Specification Understanding
Liang-Hsun Huang 許願
MiniMax-M1：以閃電注意力高效地擴展測試時運算
MiniMax-M1: Scaling Test-Time Compute Efficiently with Lightning Attention
Liang-Hsun Huang 許願
在大詞彙語言模型中削減你的損失
Cut Your Losses in Large-Vocabulary Language Models
Liang-Hsun Huang 許願
門控 Delta 網路：用 Delta 規則改進 Mamba2
Gated Delta Networks: Improving Mamba2 with Delta Rule
Liang-Hsun Huang 許願
MiniCPM：以可擴展的訓練策略揭示小型語言模型的潛力
MiniCPM: Unveiling the Potential of Small Language Models with Scalable Training Strategies
Liang-Hsun Huang 許願
大批次訓練的一個經驗模型
An Empirical Model of Large-Batch Training
Liang-Hsun Huang 許願
心智病毒：多代理 LLM 系統中會自我傳播的想法
Mind Viruses: Self-Propagating Ideas in Multi-Agent LLM Systems
Liang-Hsun Huang 許願
資料受限下的語言模型 Scaling
Scaling Data-Constrained Language Models
Liang-Hsun Huang 許願
Muon 可以擴展到 LLM 訓練
Muon is Scalable for LLM Training
Liang-Hsun Huang 許願
Kimi K3：開放的前沿智慧
Kimi K3: Open Frontier Intelligence
Liang-Hsun Huang 許願
論 Qwen3.8-Next 架構設計：評測、效率與訓練穩定性
On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability
Liang-Hsun Huang 許願
大型語言模型代理人的工具創建與工具使用聯合最佳化
Joint Optimization of Tool Creation and Use for Large Language Model Agents
Liang-Hsun Huang 許願
MoE 的持續預訓練：你的路由器有多穩健？
Continual Pre-training of MoEs: How robust is your router?
Liang-Hsun Huang 許願
少即足夠：用稀疏自編碼器在 LLM 特徵空間中合成多樣化資料
Less is Enough: Synthesizing Diverse Data in LLM Feature Space with Sparse Autoencoders
Liang-Hsun Huang 許願
Cosmos：面向物理 AI 的世界基礎模型平台
Cosmos World Foundation Model Platform for Physical AI
林伯燊 許願
Cosmos 3：面向物理 AI 的全模態世界模型
Cosmos 3 Omnimodal World Models for Physical AI
林伯燊 許願
ARC-AGI-3：前沿代理式智慧的全新挑戰
ARC-AGI-3 A New Challenge for Frontier Agentic Intelligence
Liang-Hsun Huang 許願
預訓練 LLM 的原地詞元化器擴充
In-Place Tokenizer Expansion for Pre-trained LLMs
Liang-Hsun Huang 許願
論預訓練、中期訓練與強化學習在推理語言模型上的交互作用
On the Interplay of Pre-Training, Mid-Training, and RL on Reasoning Language Models
kerg kerg 許願
Autodata：以代理人扮演資料科學家來生成高品質合成資料
Autodata: An agentic data scientist to create high quality synthetic data
kerg kerg 許願
指令遵循式剪枝：面向大型語言模型
Instruction-Following Pruning for Large Language Models
林伯燊 許願
AutoData：一個用於開放網路資料蒐集的多代理人系統
AutoData: A Multi-Agent System for Open Web Data Collection
kerg kerg 許願
超越 GPT-5：透過效能—效率最佳化路由讓 LLM 更便宜也更好
Beyond GPT-5: Making LLMs Cheaper and Better via Performance-Efficiency Optimized Routing
林伯燊 許願
LLMRouterBench：一個大規模基準與用於 LLM 路由的統一框架
LLMRouterBench: A Massive Benchmark and Unified Framework for LLM Routing
林伯燊 許願
透過簡單且統一的擴展實現金牌級奧林匹亞推理
Achieving Gold-Medal-Level Olympiad Reasoning via Simple and Unified Scaling
Teds Lin 許願
模型自適應的工具必要性揭示了 LLM 工具使用中的「知行落差」
Model-Adaptive Tool Necessity Reveals the Knowing-Doing Gap in LLM Tool Use
Teds Lin 許願
EndPrompt：透過終端錨定 (Terminal Anchoring) 達成高效長上下文擴展
EndPrompt: Efficient Long-Context Extension via Terminal Anchoring
Teds Lin 許願
MeMo：記憶即模型
MeMo: Memory as a Model
Teds Lin 許願
小型大型語言模型：剪枝 vs. 從頭訓練
Small LLMs: Pruning vs. Training from Scratch
kerg kerg 許願
TW-LegalBench：衡量台灣法律理解能力
TW-LegalBench: Measuring Taiwanese Legal Understanding
鄭子凡 許願
訓練長上下文視覺語言模型：以 128K 之外的泛化能力為目標的有效訓練方案
Training Long-Context Vision-Language Models Effectively with Generalization Beyond 128K Context
Teds Lin 許願
思考增強預訓練 (Thinking Augmented Pre-training)
Thinking Augmented Pre-training
Teds Lin 許願
共同演化策略蒸餾
Co-Evolving Policy Distillation
Teds Lin 許願
語言模型是少樣本學習者（GPT-3）
Language Models are Few-Shot Learners
Thomas Liang 許願
DataComp-LM：探索下一代語言模型訓練集
DataComp-LM In search of the next generation of training sets for language models
Thomas Liang 許願
OpenThoughts：推理模型的資料配方
OpenThoughts Data Recipes for Reasoning Models
Thomas Liang 許願
Self-Distilled RLVR：以自我蒸餾改進可驗證獎勵的強化學習
Self-Distilled RLVR
Teds Lin 許願
Pioneer Agent：生產環境中小型語言模型的持續改進
Pioneer Agent Continual Improvement of Small Language Models in Production
Liang-Hsun Huang 許願
Attention to Mamba：跨架構蒸餾的配方
Attention to Mamba A Recipe for Cross-Architecture Distillation
Teds Lin 許願
Autogenesis：自我演化的智能體協定
Autogenesis A Self-Evolving Agent Protocol
Teds Lin 許願
當你委派工作時，LLMs 會污染你的文件
LLMs Corrupt Your Documents When You Delegate
Liang-Hsun Huang 許願
大型語言模型的混合策略蒸餾
Hybrid Policy Distillation for LLMs
Teds Lin 許願
翻轉 TIDE：擴散大型語言模型的跨架構蒸餾
Turning the TIDE Cross-Architecture Distillation for Diffusion Large Language Models
Liang-Hsun Huang 許願
Prefill-as-a-Service：下一代模型的 KVCache 可跨資料中心傳輸
Prefill-as-a-Service KVCache of Next-Generation Models Could Go Cross-Datacenter
Teds Lin 許願
訓練 LLM 智能體透過世界知識探索實現自發、無獎勵的自我演化
Training LLM Agents for Spontaneous Reward-Free Self-Evolution via World Knowledge Exploration
Teds Lin 許願
Nemotron 3 Nano：開放高效的 MoE 混合 Mamba-Transformer 智能體推理模型
Nemotron 3 Nano Open Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning
林伯燊 許願
如何微調推理模型？師生合作框架合成學生一致的 SFT 資料
How to Fine-Tune a Reasoning Model A Teacher-Student Cooperation Framework to Synthesize Student-Consistent SFT Data
Teds Lin 許願
深入 Claude Code：當代與未來 AI 智能體系統的設計空間
Dive into Claude Code The Design Space of Todays and Future AI Agent Systems
Teds Lin 許願
LongAct：利用內在激活模式實現長上下文強化學習
LongAct Harnessing Intrinsic Activation Patterns for Long-Context Reinforcement Learning
Teds Lin 許願
MinerU2.5-Pro：推動資料中心文件解析的規模極限
MinerU2.5-Pro Pushing the Limits of Data-Centric Document Parsing at Scale
鄭子凡 許願
TREX：以智能體驅動的樹狀探索自動化 LLM 微調
TREX Automating LLM Fine-tuning via Agent-Driven Tree-based Exploration
Teds Lin 許願
DFlash：用區塊擴散模型實現閃電推測解碼
DFlash Block Diffusion for Flash Speculative Decoding
林伯燊 許願
Self-Anchor：透過逐步注意力對齊改進 LLM 推理
Self-Anchor LLM Reasoning via Step-by-step Attention Alignment
kerg kerg 許願
上下文並行：可擴展的百萬 Token 推理
Context Parallelism for Scalable Million-Token Inference
kerg kerg 許願
改進大型視覺語言模型中的模態對齊
Improved Alignment of Modalities in Large Vision Language Models
kerg kerg 許願
SERA：軟驗證的高效程式碼倉庫智能體
SERA Soft-Verified Efficient Repository Agents
kerg kerg 許願
自蒸餾實現持續學習
Self-Distillation Enables Continual Learning
kerg kerg 許願
Lightning OPD：利用離線同策略蒸餾實現大型推理模型的高效後訓練
Lightning OPD Efficient Post-Training for Large Reasoning Models with Offline On-Policy Distillation
Teds Lin 許願
Nemotron 3 Super：開源高效混合專家 Mamba-Transformer 模型，面向智能體推理
Nemotron 3 Super Open Efficient Mixture-of-Experts Hybrid Mamba-Transformer Model for Agentic Reasoning
Teds Lin 許願
大型語言模型後訓練：離策略與在策略學習的統一視角
Large Language Model Post-Training A Unified View of Off-Policy and On-Policy Learning
Teds Lin 許願
學習即遺忘：LLM 訓練作為有損壓縮
Learning is Forgetting LLM Training As Lossy Compression
Teds Lin 許願
DoReMi：最佳化資料混合比例加速語言模型預訓練
DoReMi Optimizing Data Mixtures Speeds Up Language Model Pretraining
Liang-Hsun Huang 許願
VisionFoundry：用合成圖像教導視覺語言模型學習視覺感知
VisionFoundry Teaching VLMs Visual Perception with Synthetic Images
Teds Lin 許願
交錯頭注意力機制
Interleaved Head Attention
Teds Lin 許願
從安全風險到設計原則：多智能體 LLM 系統中的同儕保護及其對協調式民主論述分析的啟示
From Safety Risk to Design Principle Peer-Preservation in Multi-Agent LLM Systems
簡遺 許願
LLM 代理的外部化：記憶體、技能、協定與 harness 工程的統一綜述
Externalization in LLM Agents A Unified Review of Memory Skills Protocols and Harness Engineering
Teds Lin 許願
重新思考推理 SFT 中的泛化：對最佳化、資料與模型能力的條件式分析
Rethinking Generalization in Reasoning SFT
Teds Lin 許願
大型語言模型推論硬體的挑戰與研究方向
Challenges and Research Directions for Large Language Model Inference Hardware
Teds Lin 許願
透過循環語言模型擴展潛在推理 / Ouro
Scaling Latent Reasoning via Looped Language Models
Teds Lin 許願
神經計算機 / Neural Computers
Neural Computers
Liang-Hsun Huang 許願
dots.ocr：用單一視覺語言模型完成多語文件版面解析
dots.ocr Multilingual Document Layout Parsing in a Single Vision-Language Model
鄭子凡 許願
基於 Fisher–Rao 流形的功能導向 LLM 合併
Functionality-Oriented LLM Merging on the Fisher-Rao Manifold
葉鴻 許願
HDP：為代理式 AI 系統設計的輕量級人類委派來源加密協議
HDP A Lightweight Cryptographic Protocol for Human Delegation Provenance in Agentic AI Systems
Teds Lin 許願
ReAct：在語言模型中協同推理與行動
ReAct Synergizing Reasoning and Acting in Language Models
Thomas Liang 許願
透過多 token 預測打造更好、更快的大型語言模型
Better and Faster Large Language Models via Multi-token Prediction
林伯燊 許願
Transformer 即為 SSM：透過結構化狀態空間對偶性的廣義模型與高效演算法
Transformers are SSMs Generalized Models and Efficient Algorithms Through Structured State Space Duality
林伯燊 許願
就地測試時訓練
In-Place Test-Time Training
Teds Lin 許願
使用大型語言模型自動化資料庫原生函式程式碼合成
Automating Database-Native Function Code Synthesis with LLMs
Teds Lin 許願
智慧行動：在代理人式多模態模型中培養後設認知的工具使用
Act Wisely Cultivating Meta-Cognitive Tool Use in Agentic Multimodal Models
Teds Lin 許願
2 OLMo 2 Furious：完全開放的下一代語言模型家族
2 OLMo 2 Furious
林伯燊 許願
Olmo 3：完全開放的語言模型家族
Olmo 3
林伯燊 許願
基於脈衝神經網路的邊緣智慧
Edge Intelligence with Spiking Neural Networks
林伯燊 許願
為電腦使用代理打造驗證器的藝術
The Art of Building Verifiers for Computer Use Agents
Liang-Hsun Huang 許願
自我改進式預訓練：利用後訓練模型來預訓練更好的模型
Self-Improving Pretraining using post-trained models to pretrain better models
Liang-Hsun Huang 許願
深度天花板：大型語言模型在發現潛在規劃中的極限
The Depth Ceiling On the Limits of Large Language Models in Discovering Latent Planning
Liang-Hsun Huang 許願
TurboQuant：具有近最優失真率的線上向量量化
TurboQuant Online Vector Quantization with Near-optimal Distortion Rate
Liang-Hsun Huang 許願
Qwen3 技術報告
Qwen3 Technical Report
Liang-Hsun Huang 許願
對比解碼緩解 LLM 評審中的分數範圍偏差
Contrastive Decoding Mitigates Score Range Bias in LLM-as-a-Judge
Liang-Hsun Huang 許願