|
|
7月13日，第20届国际操作系统设计与实现学术会议（USENIX Symposium on Operating Systems Design and Implementation，OSDI 2026）在美国西雅图召开。我校计算机科学与技术学院李诚特任教授课题组与字节跳动Seed团队合作完成的论文“Teaching The Old Dog New Tricks: Building Efficient Data Pipelines for Large-Scale LLM Pre-training”荣获大会Jay Lepreau Best Paper Award（最佳论文奖）。本届会议录用论文136篇，只有三篇论文获此奖项。这是OSDI自1994年举办以来，首次由中国内地机构作为第一完成单位获得该奖项，并且论文作者全部来自国内高校、科研机构和企业，实现了我国科研团队在国际计算机系统顶级会议上的重要突破。
f$ f2 ?3 Y) N, B( k: \
- a3 m( r8 n6 F; p
u! p6 ^; P" J: ~5 ?! J0 o e. w3 b% s% z' o+ f7 f6 w
图1 OSDI2026组委会宣布最佳论文奖# d8 j4 M: A' N' t( t$ u
% z( N. n6 p" R9 t" J- {: p
近年来，大模型训练规模的持续增长使得数据访存系统日益成为影响训练效率的关键瓶颈。然而，现有研究主要聚焦于并行计算与通信优化，而对支撑训练流程的数据管线（data pipeline）关注不足。为填补这一空白，论文基于万卡集群中3万余个训练任务、历时90天的生产环境运行数据，首次系统性地揭示了预训练数据管线面临的三类核心瓶颈，即：模型阶段性评测引发的跨算力中心数据迁移开销、训练启动阶段的I/O风暴，以及多模态数据预处理带来的CPU计算瓶颈。针对上述问题，科研团队分别提出了预测式检查点复制、热点文件主动复制和存储侧数据预处理卸载等应对方案。实验验证表明，这些方法可令模型评测阶段的GPU空闲时间降低76.1%，训练启动时间缩短40.8%，同时将多模态数据加载导致的训练停顿减少63.2%，从而显著提升超大规模大模型训练系统的整体效率。
9 b+ i. F j3 `6 Y, X1 A" ^- ~: N' @5 j }

& G; r$ i+ W7 o; ~& C3 @# |) d" `, G. x& S. j% ^: `2 T
图2 最佳论文奖证书. I( f. I$ y+ G3 P+ v4 ]3 D; ]2 ~
: ]7 O) R+ {6 F5 F& n
OSDI与SOSP并称系统领域“奥斯卡”，是操作系统、分布式系统、云计算，以及AI基础设施等方向的权威顶级会议，录取率常年低于20%。从奠定大数据时代的MapReduce、Bigtable，到驱动AI工业化的Parameter Server与TensorFlow，这些改写产业格局的里程碑工作均首发于此。因此，OSDI不仅定义学术前沿，更持续塑造着全球计算产业的演进方向，是系统研究的风向标。/ N* V& t; f, J6 P
1 L* u; D5 D) Y, O- f+ C* n4 p我校计算机学院博士研究生陈泺帆、硕士研究生王晨晗为共同第一作者，白有辉特任副研究员和字节跳动Seed张伟东工程师为共同通讯作者。合作单位包括清华大学和合肥综合性国家科学中心人工智能研究院。研究工作受到了国家自然科学基金企业创新发展联合基金重点项目、面上项目等的资助，并得到了国家高性能计算中心（合肥）、高性能计算安徽省重点实验室、合肥综合性国家科学中心人工智能研究院信息计算平台等研究平台的支持。
: ~' |* N' X- e* g: z) A2 @4 Z* u! }$ l; K3 y
李诚特任教授课题组长期深耕大模型并行计算与存储系统方向，在SOSP、OSDI等国际顶会发表论文50余篇，研究成果已在华为、新华三、字节、阿里、百度、OPPO、中科类脑等企业关键业务中落地应用。同时，为字节、华为、腾讯、阿里等人工智能头部企业输送了20余位从事国产大模型迭代研发的专业人才。+ }2 {9 k: N) t6 {
/ n7 \' z/ | c) p
论文链接：https://www.usenix.org/conference/osdi26/presentation/chen-luofan |
|
发表于 
